特征選擇的定義：

特征選擇( Feature Selection )也稱特征子集選擇( Feature Subset Selection , FSS )，或屬性選擇( Attribute Selection )。是指從已有的M個特征(Feature)中選擇N個特征使得系統的特定指標最優化，是從原始特征中選擇出一些最有效特征以降低數據集維度的過程，是提高學習算法性能的一個重要手段，也是模式識別中關鍵的數據預處理步驟。對于一個學習算法來說,好的學習樣本是訓練模型的關鍵。

特征選擇的方法：

數據驅動：分析手上已有的訓練數據，得出哪些x里面的特征對預測y最重要的。主要的三大種類方法如下：

• 相關性：考察在我們已有的數據里面的特征x與預測值y的相關度
• 迭代刪除（增加）：確定要使用哪個算法后，選擇最合適的訓練子集，從而使得模型的效果最好
• 基于模型：通過隨機森林等可以直接得出每個訓練特征的重要性的模型；或者是在進行預測時加入的一些正則化調整，引起的對特征的篩選，從而挑選出最重要的特征

領域專家：通過相關領域的專家知識、經驗來挑選特征

相關性系數：皮爾遜系數

定義：
在統計學中，皮爾遜積矩相關系數（英語：Pearson product-moment correlation coefficient，又稱作 PPMCC或PCCs, 文章中常用r或Pearson’s r表示）用于度量兩個變量X和Y之間的相關（線性相關），其值介于-1與1之間。在自然科學領域中，該系數廣泛用于度量兩個變量之間的相關程度。它是由卡爾·皮爾遜從弗朗西斯·高爾頓在19世紀80年代提出的一個相似卻又稍有不同的想法演變而來的。這個相關系數也稱作“皮爾森相關系數r”。

公式：
Python實現：

from scipy.stats.stats import pearsonr
pearsonr(x,y)

迭代特征選擇

解決的問題：假設我們已經確定了要使用哪個算法后，我們怎么知道哪個X的子集合作為特征訓練模型效果最好。

解決方案：

迭代特征選擇python實現：

import pandas
import numpy as np
from sklearn import linear_model
from sklearn.model_selection import cross_val_score
from sklearn.preprocessing import LabelEncoder

iris =pandas.read_csv('http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data',header=None)
iris.columns=['SepalLengthCm','SepalWidthCm','PetalLengthCm','PetalWidthCm','Species']
le = LabelEncoder()
le.fit(iris['Species'])
lm = linear_model.LogisticRegression()
features = ['PetalLengthCm','PetalWidthCm','SepalLengthCm','SepalWidthCm']
y = le.transform(iris['Species'])

selected_features = []
rest_features = features[:]
best_acc = 0
while len(rest_features)>0:
    temp_best_i = ''
    temp_best_acc = 0
    for feature_i in rest_features:
        temp_features = selected_features + [feature_i,]
        X = iris[temp_features]
        scores = cross_val_score(lm,X,y,cv=5 , scoring='accuracy')
        acc = np.mean(scores)
        if acc > temp_best_acc:
            temp_best_acc = acc
            temp_best_i = feature_i
    print("select",temp_best_i,"acc:",temp_best_acc)
    if temp_best_acc > best_acc:
        best_acc = temp_best_acc
        selected_features += [temp_best_i,]
        rest_features.remove(temp_best_i)
    else: 
        break
print("best feature set: ",selected_features,"acc: ",best_acc)

select PetalWidthCm acc: 0.853333333333
select SepalWidthCm acc: 0.94
select PetalLengthCm acc: 0.953333333333
select SepalLengthCm acc: 0.96
best feature set:  ['PetalWidthCm', 'SepalWidthCm', 'PetalLengthCm', 'SepalLengthCm'] acc:  0.96

ok,跟之前得到的一樣，就是三個特征都選擇了，效果最好。

最后，來認識一下什么叫特征工程

特征工程

有這么一句話在業界廣泛流傳：數據和特征決定了機器學習的上限，而模型和算法只是逼近這個上限而已。那特征工程到底是什么呢？顧名思義，其本質是一項工程活動，目的是最大限度地從原始數據中提取特征以供算法和模型使用。

引用知乎的一張圖：https://www.zhihu.com/question/29316149