多元線性回歸

多元線性回歸與一元線性回歸類似，只是特征值由一個變為了兩個及以上。
表達式：$h_\theta(x_i)=\theta_0+\theta_1x+\theta_2x_2+...+\theta_nx_n$hθ?(xi?)=θ0?+θ1?x+θ2?x2?+...+θn?xn?
因此可用向量寫成：$h_\theta(x_i)=\theta_iX_i^T$hθ?(xi?)=θi?XiT?
其中$X^T=(X_0,X_1,X_2....,X_n)$XT=(X0?,X1?,X2?....,Xn?)其中$X_0$X0?恒為1。
而代價函數仍為：$(真實值-預測值)^2$(真實值?預測值)2 的平均·。

除了多元線性回歸，還有多項式回歸。多項式回歸是因為用直線擬合不夠準確，因此要用平滑的曲線擬合，如下圖為多項式回歸的一種情況：

多項式回歸的一般式子可寫成：$Y_i=\beta_0+\beta_1X_i+\beta_2X_2+...+\beta_kX_i^k$Yi?=β0?+β1?Xi?+β2?X2?+...+βk?Xik?
其中當k的值越大時，擬合的效果越好，曲線越平滑，但可能出現過擬合的情況。

標準方程法

除了梯度下降法，還有標準方程法也可用于求解參數。一般當參數較少時用標準方程法較為合適，其復雜度為O($n^3$n3)，其中n為k的大小，即特征量的個數。
已知代價函數為：$\sum_{i=1}^{m}(h_w(x^i)-y^i)^2=(y-Xw)^T(y-Xw)$∑i=1m?(hw?(xi)?yi)2=(y?Xw)T(y?Xw)

例如下列一組數據：
$x= \left[ \begin{matrix} x_0&x_1&x_2&x_3&x_4\\ 1 & 2104 &5&1&45 \\ 1 & 1416 &3&2&40\\ 1 & 1536 &3&2&30 \\ 1 & 852 &2&1&36 \\ \end{matrix} \right]$x=???????x0?1111?x1?210414161536852?x2?5332?x3?1221?x4?45403036????????
$w= \left[ \begin{matrix} w_0\\ w_1\\ w_2\\ w_3\\ w_4\\ \end{matrix} \right]$w=???????w0?w1?w2?w3?w4?????????
$y= \left[ \begin{matrix} 460\\ 232\\ 315\\ 178\\ \end{matrix} \right]$y=?????460232315178??????
其中w為參數向量，對代價函數的w進行求偏導，即$\frac{\partial}{\partial w}[(y-Xw)^T(y-Xw)]$?w??[(y?Xw)T(y?Xw)]
根據矩陣求導法則可求得 w=$(X^TX)^{-1}X^Ty$(XTX)?1XTy
實例代碼如下：

import numpy as np
from numpy import genfromtxt
import matplotlib.pyplot as plt

# 載入數據
data = np.genfromtxt("Salary_Data.csv",delimiter=",")
x_data = data[1:,0,np.newaxis]
y_data = data[1:,1,np.newaxis]
plt.scatter(x_data,y_data)
plt.show()

#為X矩陣 添加偏置項，即添加x0=1
X_data = np.concatenate((np.ones((30,1)),x_data),axis=1)
print(X_data)

#標準方程法求解回歸參數
def weights(xArr, yArr):
    xMat = np.mat(xArr)
    yMat = np.mat(yArr)
    xTx  = xMat.T*xMat # 矩陣乘法
    # 計算矩陣的值，如果值為0，說明矩陣不可逆
    if np.linalg.det(xTx) == 0.0:
        print("矩陣不可逆！")
        return
    ws=xTx.I*xMat.T*yMat
    return ws

x_test = np.array([[0],[12]])
y_test = ws[0]+x_test*ws[1]
plt.plot(x_data,y_data,'b.')
plt.plot(x_test,y_test,'r')
plt.show()

其中salary_data.csv 為參考的工資數據。

最終結果如下：