回歸和分類的區別

• 分類：對離散型變量進行預測（二分類、多分類）
• 回歸：對數值型變量進行預測
• 區別：回歸的y為數值連續型變量；分類的y是類別離散型變量

分類問題

1. 分類問題示例：信用卡
從x1:職業，x2：收入等等信用卡申請人不同的信息維度，來判斷y：是否發放信用卡，發放哪一類信用卡

2. 分類經典方法：logistic回歸（二分類）
雖然名字里有回歸二字，但logistic回歸解決的是分類的問題

• 回歸得到的數值y可以看做屬于類別1的概率:
  下圖為logistic函數(也叫sigmoid函數)圖像

• 二分類到多分類：通過One vs. Rest
  使用logistic進行多分類，scikit-learn 會默認采用OvR方法：

1. 為每個類別分別建立一個二分類器
2. 訓練中正例為該類別樣本，負例為所有其他樣本
3. 在所有分類中，選擇概率最高的那個類別

如iris數據集中有三個類別，選擇使用logistic回歸進行分類，則需要訓練三個分類器，根據每個樣本隸屬不同類的概率大小來進行分類

3. scikit learn 實現logistic回歸

載入iris數據集

import pandas 
iris = pandas.read_csv('http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data',header=None)
iris.columns=['SepalLengthCm','SepalWidthCm','PetalLengthCm','PetalWidthCm','Species']

實現logistic回歸

import sklearn
import numpy as np
from sklearn import linear_model
lm=linear_model.LogisticRegression()
features=['PetalLengthCm']
X=iris[features]
#需要講Species這個字段由字符串類型轉變為數值類型，以表示不同的類別
from sklearn.preprocessing import LabelEncoder
#初始化label
le=LabelEncoder()
le.fit(iris['Species'])
#用離散值轉化標簽值
y=le.transform(iris['Species'])
print(y)

[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2
 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
 2 2]

#通過交叉檢驗，得到分類準確率
from sklearn.model_selection import cross_val_score
#logistic中的scoring參數指定為accuracy
scores=cross_val_score(lm,X,y,cv=5,scoring='accuracy')
print(np.mean(scores))

0.786666666667

往Feature中添加特征，看看準確率的變化

features=['PetalLengthCm','SepalWidthCm','PetalLengthCm']
X=iris[features]
#需要講Species這個字段由字符串類型轉變為數值類型，以表示不同的類別
from sklearn.preprocessing import LabelEncoder
#初始化label
le=LabelEncoder()
le.fit(iris['Species'])
#用離散值轉化標簽值
y=le.transform(iris['Species'])
##print(y)
#通過交叉檢驗，得到分類準確率
from sklearn.model_selection import cross_val_score
#logistic中的scoring參數指定為accuracy
scores=cross_val_score(lm,X,y,cv=5,scoring='accuracy')
print(np.mean(scores))

0.906666666667

果然好了很多！