偏最小二乘演算法-九游会j9娱乐平台

❶ 如何學習偏最小二乘法

偏最小二乘法 最小二乘法是一種數學優化技術，它通過最小化誤差的平方和找到一組數據的最佳函數匹配。 用最簡的方法求得一些絕對不可知的真值，而令誤差平方之和為最小。 通常用於曲線擬合。很多其他的優化問題也可通過最小化能量或最大化熵用最小二乘形式表達。
偏最小二乘回歸≈多元線性回歸分析＋典型相關分析＋主成分分析
與傳統多元線性回歸模型相比，偏最小二乘回歸的特點是：（1）能夠在自變數存在嚴重多重相關性的條件下進行回歸建模；（2）允許在樣本點個數少於變數個數的條件下進行回歸建模；（3）偏最小二乘回歸在最終模型中將包含原有的所有自變數；（4）偏最小二乘回歸模型更易於辨識系統信息與雜訊（甚至一些非隨機性的雜訊）；（5）在偏最小二乘回歸模型中，每一個自變數的回歸系數將更容易解釋。
在計算方差和協方差時，求和號前面的系數有兩種取法：當樣本點集合是隨機抽取得到時，應該取1/(n-1)；如果不是隨機抽取的，這個系數可取1/n。
多重相關性的診斷
1 經驗式診斷方法
1、在自變數的簡單相關系數矩陣中，有某些自變數的相關系數值較大。
2、回歸系數的代數符號與專業知識或一般經驗相反；或者，它同該自變數與y的簡單相關系數符號相反。
3、對重要自變數的回歸系數進行t檢驗，其結果不顯著。
特別典型的是，當f檢驗能在高精度下通過，測定系數r2的值亦很大，但自變數的t檢驗卻全都不顯著，這時，多重相關性的可能性將很大。
4、如果增加（或刪除）一個變數，或者增加（或刪除）一個觀測值，回歸系數的估計值發生了很大的變化。
5、重要自變數的回歸系數置信區間明顯過大。
6、在自變數中，某一個自變數是另一部分自變數的完全或近似完全的線性組合。
7、對於一般的觀測數據，如果樣本點的個數過少，樣本數據中的多重相關性是經常存在的。
但是，採用經驗式方法診斷自變數系統中是否確實存在多重相關性，並不十分可靠，另一種較正規的方法是利用統計檢驗（回歸分析），檢查每一個自變數相對其它自變數是否存在線性關系。
2 方差膨脹因子
最常用的多重相關性的正規診斷方法是使用方差膨脹因子。自變數xj的方差膨脹因子記為（vif）j，它的計算方法為
（4-5） （vif）j =（1-r j2）-1
式中，r j2是以xj為因變數時對其它自變數回歸的復測定系數。
所有xj變數中最大的（vif）j通常被用來作為測量多重相關性的指標。一般認為，如果最大的（vif）j超過10，常常表示多重相關性將嚴重影響最小二乘的估計值。
（vif）j被稱為方差膨脹因子的原因，是由於它還可以度量回歸系數的估計方差與自變數線性無關時相比，增加了多少。
不妨假設x1,x2,…,xp均是標准化變數。採用最小二乘法得到回歸系數向量b，它的精度是用它的方差來測量的。b的協方差矩陣為
cov(b)= σ2 (x'x)-1
式中，σ2是誤差項方差。所以，對於回歸系數b j，有
var(b j)= σ2cjj
cjj是(x'x)-1矩陣中第j個對角元素。可以證明，
cjj =（vif）j
嶺回歸分析
1 嶺回歸估計量
嶺回歸分析是一種修正的最小二乘估計法，當自變數系統中存在多重相關性時，它可以提供一個比最小二乘法更為穩定的估計，並且回歸系數的標准差也比最小二乘估計的要小。
根據高斯——馬爾科夫定理，多重相關性並不影響最小二乘估計量的無偏性和最小方差性。但是，雖然最小二乘估計量在所有線性無偏估計量中是方差最小的，但是這個方差卻不一定小。於是可以找一個有偏估計量，這個估計量雖然有微小的偏差，但它的精度卻能夠大大高於無偏的估計量。
在應用嶺回歸分析時，它的計算大多從標准化數據出發。對於標准化變數，最小二乘的正規方程為
rxxb=ryx
式中，rxx是x的相關系數矩陣，ryx是y與所有自變數的相關系數向量。
嶺回歸估計量是通過在正規方程中引入有偏常數c（c≥0）而求得的。它的正規方程為
（4-8） （rxx ci） br=ryx
所以，在嶺回歸分析中，標准化回歸系數為
（4-9） br =（rxx ci）-1 ryx
2 嶺回歸估計量的性質
（1）嶺回歸系數是一般最小二乘准則下回歸系數的線性組合，即
（4-10） br =（i crxx-1）-1b
（2）記β是總體參數的理論值。當β≠0時，可以證明一定存在一個正數c0，使得當0< c< c0時，一致地有
（4-11） e|| br -β||2≤ e|| b -β||2
（3）嶺回歸估計量的絕對值常比普通最小二乘估計量的絕對值小，即
（4-12） || br ||<|| b ||
嶺回歸估計量的質量取決於偏倚系數c的選取。c的選取不宜過大，因為
e（br）=（i crxx-1）-1 e （b）=（i crxx-1）-1β
關於偏倚系數c的選取尚沒有正規的決策准則，目前主要以嶺跡和方差膨脹因子為依據。嶺跡是指p-1個嶺回歸系數估計量對不同的c值所描繪的曲線（c值一般在0~1之間）。在通過檢查嶺跡和方差膨脹因子來選擇c值時，其判斷方法是選擇一個盡可能小的c值，在這個較小的c值上，嶺跡中的回歸系數已變得比較穩定，並且方差膨脹因子也變得足夠小。
從理論上，最佳的c值是存在的，它可以使估計量的偏差和方差的組合效應達到一個最佳水準。然而，困難卻在於c的最優值對不同的應用而有所不同，對其選擇還只能憑經驗判斷。
其他補救方法簡介
最常見的一種思路是設法去掉不太重要的相關性變數。由於變數間多重相關性的形式十分復雜，而且還缺乏十分可靠的檢驗方法，刪除部分多重相關變數的做法常導致增大模型的解釋誤差，將本應保留的系統信息舍棄，使得接受一個錯誤結論的可能和做出錯誤決策的風險都不斷增長。另一方面，在一些經濟模型中，從經濟理論上要求一些重要的解釋變數必須被包括在模型中，而這些變數又存在多重相關性。這時採用剔除部分相關變數的做法就不符合實際工作的要求。
另一種補救的辦法是增加樣本容量。然而，在實際工作中，由於時間、經費以及客觀條件的限制，增大樣本容量的方法常常是不可行的。
此外，還可以採用變數轉換的方式，來削弱多重相關性的嚴重性。一階差分回歸模型有可能減少多重相關性的嚴重性。然而，一階差分變換又帶來了一些其它問題。差分後的誤差項可能不滿足總體模型中關於誤差項不是序列相關的假定。事實上，在大部分情形下，在原來的誤差項是不自相關的條件下，一階差分所得到的誤差項將會是序列相關的。而且，由於差分方法損失了一個觀察值，這在小樣本的情況下是極不可取的。另外，一階差分方法在截面樣本中是不宜利用的。
1 主成分分析
主成分分析的計算結果必然受到重疊信息的影響。因此，當人為地採用一些無益的相關變數時，無論從方向上還是從數量上，都會扭曲客觀結論。在主成分分析之前，對變數系統的確定必須是慎之又慎的。
2 特異點的發現
第i個樣本點（樣本量為n）對第h主成分的貢獻率是
（5-32） ctr(i)=fh2(i)/(nλh) （若遠超過1/n，為特異點）
3 典型相關分析
從某種意義上說，多元回歸分析、判別分析或對應分析等許多重要的數據分析方法，都可以歸結為典型相關分析的一種特例，同時它還是偏最小二乘回歸分析的理論基石。
典型相關分析，是從變數組x中提取一個典型成分f=xa，再從變數組y中提取一個成分g=yb，在提取過程中，要求f與g的相關程度達到最大。
在典型相關分析中，採用下述原則尋優，即
max=ax'yb a'x'xa=1, b'y'yb=1
其結果為，a是對應於矩陣v11-1 v12 v22-1 v21最大特徵值的特徵向量，而b是對應於矩陣v22-1 v21v11-1 v12最大特徵值的特徵向量，這兩個最大特徵值相同。其中，
v11=x'x，v12=x'y，v22=y'y。
f與g之間存在著明顯的換算關系。
有時只有一個典型成分還不夠，還可以考慮第二個典型成分。
多因變數的偏最小二乘回歸模型
1 工作目標
偏最小二乘回歸分析的建模方法
設有q個因變數和p個自變數。為了研究因變數與自變數的統計關系，觀測了n個樣本點，由此構成了自變數與因變數的數據表x和y。偏最小二乘回歸分別在x與y中提取出t和u，要求：（1）t和u應盡可能大地攜帶它們各自數據表中的變異信息；（2）t和u的相關程度能夠達到最大。在第一個成分被提取後，偏最小二乘回歸分別實施x對t的回歸以及y對t的回歸。如果回歸方程已經達到滿意的精度，則演算法終止；否則，將利用x被t解釋後的殘余信息以及y被t解釋後的殘余信息進行第二輪的成分提取。如此往復，直到能達到一個較滿意的精度為止。若最終對x共提取了多個成分，偏最小二乘回歸將通過施行yk對x的這些成分的回歸，然後再表達成yk關於原自變數的回歸方程。
2 計算方法
首先將數據做標准化處理。x經標准化處理後的數據矩陣記為e0=( e01,…,e0p)n×p，y的相應矩陣記為f0=( f01,…,f0q)n×q。
第一步 記t 1是e0的第一個成分，t 1= e0w1，w1是e0的第一個軸，它是一個單位向量，即|| w1||=1。
記u 1是f0的第一個成分，u 1= f0c1，c1是f0的第一個軸，並且|| c1||=1。
於是，要求解下列優化問題，即
（7-1）
記θ1= w1'e0'f0c1，即正是優化問題的目標函數值。
採用拉格朗日演算法，可得
（7-8） e0'f0f0'e0w1=θ12 w1
（7-9） f0'e0e0'f0c1=θ12 c1
所以，w1是對應於e0'f0f0'e0矩陣最大特徵值的單位特徵向量，而c1是對應於f0'e0e0'f0矩陣最大特徵值θ12的單位特徵向量。
求得軸w1和c1後，即可得到成分
t 1= e0w1
u 1= f0c1
然後，分別求e0和f0對t 1的回歸方程
（7-10） e0= t 1 p1' e1
（7-12） f0= t 1r1' f1
式中，回歸系數向量是
（7-13） p1= e0' t 1/|| t 1||2
（7-15） r1= f0' t 1/|| t 1||2
而e1和f1分別是兩個方程的殘差矩陣。
第二步 用殘差矩陣e1和f1取代e0和f0，然後，求第二個軸w2和c2以及第二個成分t2，u2，有
t 2= e1w2
u 2= f1c2
θ2=< t2, u2>= w2'e1'f1c2
w2是對應於e1'f1f1'e1矩陣最大特徵值的單位特徵向量，而c2是對應於f1'e1e1'f1矩陣最大特徵值θ22的單位特徵向量。計算回歸系數
p2= e1' t 2/|| t 2||2
r2= f1' t 2/|| t2||2
因此，有回歸方程
e1= t 2 p2' e2
f1= t 2r2' f2
如此計算下去，如果x的秩是a，則會有
（7-16） e0= t 1 p1' … t a pa'
（7-17） f0= t 1r1' … t a ra' fa
由於t1，…，t a均可以表示成e01，…，e0p的線性組合，因此，式（7-17）還可以還原成yk*= f0k關於xj*= e0j的回歸方程形式，即
yk*=αk1 x1* … αkp xp* fak， k=1,2,…,q
fak是殘差矩陣fa的第k列。
3 交叉有效性
如果多一個成分而少一個樣本的預測誤差平方和（所有因變數和預測樣本相加）除以少一個成分的誤差平方和（所有的因變數和樣本相加）小於0.952，則多一個成分是值得的。
4 一種更簡潔的計算方法
用下述原則提取自變數中的成分t 1，是與原則式（7-1）的結果完全等價的，即
（7-24）
（1）求矩陣e0'f0f0'e0最大特徵值所對應的單位特徵向量w1，求成分t 1，得
t 1= e0w1
e1= e0-t 1 p1'
式中， p1= e0' t 1/|| t 1||2
（2）求矩陣e1'f0f0'e1最大特徵值所對應的單位特徵向量w2，求成分t2，得
t 2= e1w2
e2= e1-t 2 p2'
式中， p2= e1' t 2/|| t2||2
……
（m）至第m步，求成分tm= em-1wm，wm是矩陣em-1'f0f0'em-1最大特徵值所對應的單位特徵向量.
如果根據交叉有效性，確定共抽取m個成分t1，…，tm可以得到一個滿意的觀測模型，則求f0在t1，…，tm上的普通最小二乘回歸方程為
f0= t 1r1' … t mrm' fm
偏最小二乘回歸的輔助分析技術
1 精度分析
定義自變數成分th的各種解釋能力如下
（1）th對某自變數xj的解釋能力
（8-1） rd(xj; th)=r2(xj, th)
（2）th對x的解釋能力
（8-2） rd(x; th)=[r2(x1, th) … r2(xp, th)]/p
（3）t1，…，tm對x的累計解釋能力
（8-3） rd(x; t1，…，tm)= rd(x; t1) … rd(x; tm)
（4）t1，…，tm對某自變數xj的累計解釋能力
（8-4） rd(xj; t1，…，tm)= rd(xj; t1) … rd(xj; tm)
（5）th對某因變數yk的解釋能力
（8-5） rd(yk; th)=r2(yk, th)
（6）th對y的解釋能力
（8-6） rd(y; th)=[r2(y1, th) … r2(yq, th)]/q
（7）t1，…，tm對y的累計解釋能力
（8-7） rd(y; t1，…，tm)= rd(y; t1) … rd(y; tm)
（8）t1，…，tm對某因變數yk的累計解釋能力
（8-8） rd(yk; t1，…，tm)= rd(yk; t1) … rd(yk; tm)
2 自變數x j在解釋因變數集合y的作用
x j在解釋y時作用的重要性，可以用變數投影重要性指標vip j來測度
vip j 2=p[rd(y; t1) w1j2 … rd(y; tm) wmj2]/[rd(y; t1) … rd(y; tm)]
式中，whj是軸wh的第j個分量。注意 vip1 2 … vip p2=p
3 特異點的發現
定義第i個樣本點對第h成分th的貢獻率thi2，用它來發現樣本點集合中的特異點，即
（8-10） thi2=thi2/((n-1)s h2)
式中，s h2是成分th的方差。
由此，還可以測算樣本點i對成分t1，…，tm的累計貢獻率
（8-11） ti2= t1i2 … tmi2
當
ti2≥m(n2-1)f0.05(m,n-m)/(n2 (n-m))
時，可以認為在95%的檢驗水平上，樣本點i對成分t1，…，tm的貢獻過大。
單因變數的偏最小二乘回歸模型
1 簡化演算法
第一步 已知數據e0，f0，由於u 1= f0，可得
w1= e0'f0/|| e0'f0||
t 1= e0w1
p1= e0' t 1/|| t 1||2
e1= e0-t 1 p1'
檢驗交叉有效性。若有效，繼續計算；否則只提取一個成分t 1。
第h步(h=2,…,m) 已知數據eh-1，f0，有
wh= eh-1'f0/|| eh-1'f0||
t h= eh-1wh
ph= eh-1' t h/|| t h||2
eh= eh-1-th ph'
檢驗交叉有效性。若有效，繼續計算h 1步；否則停止求成分的計算。
這時，得到m個成分t1，…，t m，實施f0在t1，…，t m上的回歸，得
f0^= r1t 1 … rmt m
由於t1，…，t m均是e0的線性組合，即
t h= eh-1wh= e0wh*
所以f0^可寫成e0的線性組合形式，即
f0^= r1 e0w1* … rm e0wm*= e0[r1 w1* … rm wm*]
最後，也可以變換成y對x1，…，x p的回歸方程
y^= α0 α1x1 … αp xp

❷ 偏最小二乘法與最小二乘法有什麼區別

一、指代不同

1、偏最小二乘法：夠在自變數存在嚴重多重相關性的條件下進行回歸建模；允許在樣本點個數少於變數個數的條件下進行回歸建模。

2、最小二乘法：通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和為最小。

二、特點不同

1、偏最小二乘法：在計算方差和協方差時，求和號前面的系數有兩種取法：當樣本點集合是隨機抽取得到時，應該取1/(n-1)；如果不是隨機抽取的，這個系數可取1/n。

2、最小二乘法：可用於曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。

三、用法不同

1、偏最小二乘法：在自變數的簡單相關系數矩陣中，有某些自變數的相關系數值較大。回歸系數的代數符號與專業知識或一般經驗相反；或者，它同該自變數與y的簡單相關系數符號相反。對重要自變數的回歸系數進行t檢驗，其結果不顯著。

2、最小二乘法：如果預測的變數是連續的，我們稱其為回歸。回歸分析中，如果只包括一個自變數和一個因變數，且二者的關系可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。

❸ 偏最小二乘法的計算方法

首先將數據做標准化處理。x經標准化處理後的數據矩陣記為e0=( e01,…,e0p)n×p，y的相應矩陣記為f0=( f01,…,f0q)n×q。
第一步 記t 1是e0的第一個成分，t 1= e0w1，w1是e0的第一個軸，它是一個單位向量，即|| w1||=1。
記u 1是f0的第一個成分，u 1= f0c1，c1是f0的第一個軸，並且|| c1||=1。
於是，要求解下列優化問題，即
（7-1）
記θ1= w1'e0'f0c1，即正是優化問題的目標函數值。
採用拉格朗日演算法，可得
（7-8） e0'f0f0'e0w1=θ12 w1
（7-9） f0'e0e0'f0c1=θ12 c1
所以，w1是對應於e0'f0f0'e0矩陣最大特徵值的單位特徵向量，而c1是對應於f0'e0e0'f0矩陣最大特徵值θ12的單位特徵向量。
求得軸w1和c1後，即可得到成分
t 1= e0w1
u 1= f0c1
然後，分別求e0和f0對t 1的回歸方程
（7-10） e0= t 1 p1' e1
（7-12） f0= t 1r1' f1
式中，回歸系數向量是
（7-13） p1= e0' t 1/|| t 1||2
（7-15） r1= f0' t 1/|| t 1||2
而e1和f1分別是兩個方程的殘差矩陣。
第二步 用殘差矩陣e1和f1取代e0和f0，然後，求第二個軸w2和c2以及第二個成分t2，u2，有
t 2= e1w2
u 2= f1c2
θ2=< t2, u2>= w2'e1'f1c2
w2是對應於e1'f1f1'e1矩陣最大特徵值的單位特徵向量，而c2是對應於f1'e1e1'f1矩陣最大特徵值θ22的單位特徵向量。計算回歸系數
p2= e1' t 2/|| t 2||2
r2= f1' t 2/|| t2||2
因此，有回歸方程
e1= t 2 p2' e2
f1= t 2r2' f2
如此計算下去，如果x的秩是a，則會有
（7-16） e0= t 1 p1' … t a pa'
（7-17） f0= t 1r1' … t a ra' fa
由於t1，…，t a均可以表示成e01，…，e0p的線性組合，因此，式（7-17）還可以還原成yk*= f0k關於xj*= e0j的回歸方程形式，即
yk*=αk1 x1* … αkp xp* fak， k=1,2,…,q
fak是殘差矩陣fa的第k列。
3 交叉有效性
如果多一個成分而少一個樣本的預測誤差平方和（所有因變數和預測樣本相加）除以少一個成分的誤差平方和（所有的因變數和樣本相加）小於0.952，則多一個成分是值得的。 用下述原則提取自變數中的成分t 1，是與原則式（7-1）的結果完全等價的，即
（7-24）
（1）求矩陣e0'f0f0'e0最大特徵值所對應的單位特徵向量w1，求成分t 1，得
t 1= e0w1
e1= e0-t 1 p1'
式中， p1= e0' t 1/|| t 1||2
（2）求矩陣e1'f0f0'e1最大特徵值所對應的單位特徵向量w2，求成分t2，得
t 2= e1w2
e2= e1-t 2 p2'
式中， p2= e1' t 2/|| t2||2
……
（m）至第m步，求成分tm= em-1wm，wm是矩陣em-1'f0f0'em-1最大特徵值所對應的單位特徵向量.
如果根據交叉有效性，確定共抽取m個成分t1，…，tm可以得到一個滿意的觀測模型，則求f0在t1，…，tm上的普通最小二乘回歸方程為
f0= t 1r1' … t mrm' fm
偏最小二乘回歸的輔助分析技術
1 精度分析
定義自變數成分th的各種解釋能力如下
（1）th對某自變數xj的解釋能力
（8-1） rd(xj; th)=r2(xj, th)
（2）th對x的解釋能力
（8-2） rd(x; th)=[r2(x1, th) … r2(xp, th)]/p
（3）t1，…，tm對x的累計解釋能力
（8-3） rd(x; t1，…，tm)= rd(x; t1) … rd(x; tm)
（4）t1，…，tm對某自變數xj的累計解釋能力
（8-4） rd(xj; t1，…，tm)= rd(xj; t1) … rd(xj; tm)
（5）th對某因變數yk的解釋能力
（8-5） rd(yk; th)=r2(yk, th)
（6）th對y的解釋能力
（8-6） rd(y; th)=[r2(y1, th) … r2(yq, th)]/q
（7）t1，…，tm對y的累計解釋能力
（8-7） rd(y; t1，…，tm)= rd(y; t1) … rd(y; tm)
（8）t1，…，tm對某因變數yk的累計解釋能力
（8-8） rd(yk; t1，…，tm)= rd(yk; t1) … rd(yk; tm)
2 自變數x j在解釋因變數集合y的作用
x j在解釋y時作用的重要性，可以用變數投影重要性指標vip j來測度
vip j 2=p[rd(y; t1) w1j2 … rd(y; tm) wmj2]/[rd(y; t1) … rd(y; tm)]
式中，whj是軸wh的第j個分量。注意 vip1 2 … vip p2=p
3 特異點的發現
定義第i個樣本點對第h成分th的貢獻率thi2，用它來發現樣本點集合中的特異點，即
（8-10） thi2=thi2/((n-1)s h2)
式中，s h2是成分th的方差。
由此，還可以測算樣本點i對成分t1，…，tm的累計貢獻率
（8-11） ti2= t1i2 … tmi2
當
ti2≥m(n2-1)f0.05(m,n-m)/(n2 (n-m))
時，可以認為在95%的檢驗水平上，樣本點i對成分t1，…，tm的貢獻過大。
單因變數的偏最小二乘回歸模型
1 簡化演算法
第一步 已知數據e0，f0，由於u 1= f0，可得
w1= e0'f0/|| e0'f0||
t 1= e0w1
p1= e0' t 1/|| t 1||2
e1= e0-t 1 p1'
檢驗交叉有效性。若有效，繼續計算；否則只提取一個成分t 1。
第h步(h=2,…,m) 已知數據eh-1，f0，有
wh= eh-1'f0/|| eh-1'f0||
t h= eh-1wh
ph= eh-1' t h/|| t h||2
eh= eh-1-th ph'
檢驗交叉有效性。若有效，繼續計算h 1步；否則停止求成分的計算。
這時，得到m個成分t1，…，t m，實施f0在t1，…，t m上的回歸，得
f0^= r1t 1 … rmt m
由於t1，…，t m均是e0的線性組合，即
t h= eh-1wh= e0wh*
所以f0^可寫成e0的線性組合形式，即
f0^= r1 e0w1* … rm e0wm*= e0[r1 w1* … rm wm*]
最後，也可以變換成y對x1，…，x p的回歸方程
y^= α0 α1x1 … αp xp