十三章简单线回归

《十三章简单线回归》由会员分享，可在线阅读，更多相关《十三章简单线回归（179页珍藏版）》请在装配图网上搜索。

1、十三章简单线回归 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望我們常問下面的兩個問題：(1)是否能由學生的IQ成績預測其大學入學成績？(2)是否能由大學入學數學成績預測其大一微積分成績？2例例13.1、某人想了解大學入學考試的數學成績與大一微積分成績(y)的關係，隨機收集15名大一學生成績如下:3抽樣15名大一學生成績資料4大一微積分成績對入學數學成績散佈圖5大一微積分成績對數學成績的迴歸線6例例13.2、大華汽車公司12年來汽車銷售量與廣告費資料如下表:7大華

2、汽車公司12年汽車銷售量與廣告費8銷售量對廣告費散佈圖與迴歸線9例例13.3、某研究人員想了解父子身高的關係。隨機收集1000對父親與其已成人的長子身高資料如下101000對父子身高資料111000對父親與其已成人長子身高資料散佈圖12(1)身高有遺傳作用身高有遺傳作用兒子的身高受父親身高的影響，高的父親所生的兒子也會較高。13(2)迴歸效應迴歸效應若上一代的男生平均身高為170公分，而下一代男生的平均身高是173公分，平均身高有上升平均身高有上升的現象，14迴歸效應迴歸效應身高較高的父親其兒子的平均身高增加較少增加較少；身高較矮的父親其兒子平均身高增加較多增加較多，下一代身高有“往中間靠”現

3、象，稱為迴歸效迴歸效應應。上一代父親身高175公分與父親身高165公分相差10公分，下一代兒子平均身高相差可能不到10公分15(3)身高常態分佈且身高常態分佈且變異數有均質性變異數有均質性(亦稱同質性同質性)同樣約175公分身高的父親，其兒子身高也不盡相同，從約169公分到182公分，這些兒子的平均身高比那些父親身高165公分的人之兒子的平均身高要高，16有些175公分高的父親其兒子身高比父親是165公分的兒子身高矮。矮。所有父親身高為175公分這群人有幾十人，他們兒子身高的分佈呈常態分佈常態分佈(此亦稱條件常態，即有相同的父親身高)，17 簡單線性迴歸分析簡介簡單線性迴歸分析簡介迴歸分析迴歸

4、分析是一種很有用的統計分析方法，它主要是建立變數間的關係式變數間的關係式。很不幸的，迴歸迴歸(Regression)的名字取得不理想，字義上未能表現出這種方法的重要性及應用，18變數分成兩類，一類是做為預測的提供者，稱為自變數自變數(或獨立變數獨立變數或稱預測變數預測變數)，以x表示另一類是我們真正關心的被預測者，稱為應變數應變數(或依變數依變數或稱準則變數準則變數)，以y表示19迴歸的主要目的是建立變數間的因果關係式以便做預測，目標是發展一種能以一個或多個自變數自變數的數值來做為應變數應變數預測的方法。20簡單線性迴歸簡單線性迴歸21迴歸模式步驟當收集到一組資料後，迴歸第一步驟就是估計b0,

5、b1(後面將介紹最小平方法最小平方法求b0,b1 的估計)，22模式評估然後再利用殘差圖殘差圖評估模式是否合適，如不合適則做修正，直到修正模式評估合適為止，模式修正好後，就能利用建立迴歸模式做預測預測、解釋解釋及控制控制等用途2313.3最小平方法最小平方法當我們針對某問題，收集資料後，想找出迴歸式，第一步驟是做參數估計參數估計所謂參數參數就是上節中的b0,b12425262728最小平方法最小平方法29以最小平方法求迴歸線30平方和31對b0,b1微分後令其等於032正規方程式正規方程式33解34也可以表示成35迴歸線也可表示成36注意注意：(1)迴歸線一定過資料的中心點。(2)相關係數的絕

6、對值必有|r|1，但迴歸係數的絕對值可以大於1。(3)迴歸係數與相關係數同號(因標準差Sx,Sy恆正)。37例例13.4、(例例13.1續)求大一微積分成績(y)對數學成績(x)的(1)相關係數(2)迴歸式3815名學生成績5行合計394041(1)相關係數42(2)迴歸係數43迴歸式44以STATISTICA執行結果45例例13.5、(例例13.2續)求汽車銷售量對廣告費的(1)相關係數(2)迴歸式。465行合計474849(1)相關係數50(2)迴歸式51汽車銷售量對廣告費的迴歸式 y=363.6891+1.4202x5213.4 簡單線性迴歸評估簡單線性迴歸評估531.擬合值擬合值542

7、.殘差值殘差值55正規方程式563.殘差平方和殘差平方和574.解釋變異的比例解釋變異的比例58總平方和總平方和59為什麼是解釋變異的比例呢？60(1)61(2)愈大，表示x 提供的訊息對y愈有用62(3)我們也稱判定係數為複相關係數平方複相關係數平方63例例13.8、(例例13.1續)大一微積分成績(y)對數學成績(x)做線性迴歸，求(1)第1筆資料的擬合值與殘差。(2)第2筆資料的擬合值與殘差。(3)殘差平方和。(4)線性迴歸式解釋變異的比例。(5)若某生數學成績是56分，預測其大一微積分成績是多少分？64(1)第1位學生數學成績擬合值65殘差66(2)第2位學生數學成績擬合值67第2位學

8、生的殘差68學生成績線性迴歸擬合值、殘差及殘差平方69殘差平方和7071解釋變異的比例(或判定係數)72(5)某生數學成績56分，預測大一微積分成績73例例13.9、(例例13.2續)汽車銷售量對廣告費的線性迴歸式，求(1)第1筆資料的擬合值與殘差。(2)殘差平方和。(3)解釋變異的比例。(4)若廣告費為1400，預測汽車銷售量是多少？74(1)第一筆資料x=510,y=1000，利用迴歸式得擬合值75殘差76表表13.7 汽車銷售量對廣告量的迴歸線擬合值與殘差值77迴歸式解釋變異的比例(判定係數)78(4)當x=1400，預測值79汽車銷售量對廣告費迴歸殘差圖8013.5迴歸模式的基本假設迴

9、歸模式的基本假設81觀察值觀察值=母體參數母體參數+誤差誤差 =可解釋部分可解釋部分+不可解釋部分不可解釋部分82誤差均方和誤差均方和8330坪房子房價分佈圖(常態性)8425坪與30坪房子房價分佈圖(均質性)85各種坪數下房價之分佈圖(線性)86 13.6 迴歸模式的統計推論迴歸模式的統計推論871 參數估計參數估計88殘差均方和殘差均方和892.9091(2)檢定如想驗證對是否有影檢定如想驗證對是否有影響？即檢定響？即檢定 92檢定兩變數是否有相關？即檢定93(a)t檢定檢定94例例13.11、(例例13.8續)大一微積分成績(y)對數學成績(x)所做線性迴歸式(1)檢定數學成績(x)對大

10、一微積分成績(y)是否有影響(線性)？9596(1)檢定數學成績對微積分成績是否有影響(線性)？即檢定9798數學成績對微積分成績有影響99例例13.12、(例例13.9續)汽車銷售量對廣告費的迴歸分析100101102103(b)ANOVA在迴歸分析中，我們最想知道的是到底所找的自變數自變數x對應變數應變數y有無貢獻，即有無解釋能力？也就是說是自變數與應變數有無相關？即檢定(13.37)式104總平方和總平方和105誤差平方和誤差平方和106微積分成績對數學成績迴歸線SSE,SSTO之比較107迴歸平方和迴歸平方和108109線性迴歸ANOVA表110例例13.14、(例例13.8續)大一微

11、積分成績對數學成績做線性迴歸(1)寫出ANOVA表。(2)以檢定數學成績對大一微積分成績是否有影響(線性)？111(1)ANOVA表112(2)數學成績對大一微積分成績有影響113例例13.15、(例例13.9續)廣告費對汽車銷售量的影響。(1)寫出ANOVA表。(2)以檢定廣告費對汽車銷售量是否有影響(線性)？114(1)ANOVA表115(2)因P值接近0，顯示廣告費對汽車銷售量有影響11613.7 迴歸預測迴歸預測117分成兩種情形討論1.信賴區間信賴區間2.預測區間預測區間1181.信賴區間：(即所有同樣xh對應yh平均數所包含的範圍)1192.預測區間：(即單一xh對應yh所包含的範

12、圍)120例例13.17、(例例13.8續)大一微積分成績(y)對數學成績(x)做迴歸，求(1)數學成績xh=56分時其對應yh的95%信賴區間。(2)數學成績xh=56分時其對應yh的95%預測區間。121數學成績xh=56分，大一微積分成績預測12295%信賴區間12395%預測區間124例例13.18、(例例13.13續)求(1)95%信賴區間(2)95%預測區間125126(1)信賴區間127128(2)預測區間12913.8迴歸分析的三大功能迴歸分析的三大功能1.做描述描述用2.做預測預測用3.做控制控制用1301.做描述描述用利用迴歸建立模式y=f(x)後，就可用來描述是如何影響。

13、例如迴歸式為則不但知道增加會減少，而且知道x每增加一個單位，y就平均減少二個單位1312.2.預測的架構預測的架構是給x求y1323.3.控制的架構控制的架構是給y求x13313.9迴歸模式之評估與修訂迴歸模式之評估與修訂134迴歸分析流程圖135圖圖13.14 模式擬合值的殘差圖136圖圖13.15殘差圖呈現二次型137圖圖13.16 殘差的變異數隨x增大而增大138圖圖13.17殘差的變異數隨x之增大而變小139圖圖13.18模式有趨勢的殘差圖140圖圖13.19 殘差項有自我相關現象141圖圖13.20 殘差值與其他變數(性別)142圖圖13.21 殘差圖中有異常點143圖圖13.22殘

14、差直方圖144圖圖13.23 殘差的常態機率圖1452.模式之修訂146(I)倒數模式：147148(II)指數模式：149(1)倒數變換倒數變換例例13.20、收集某公司30位員工工作經驗x(單位：月)與其完成一件工作所需時間y(分鐘)，得到如下資料150151(1)y對x做線性迴歸(a)畫y對x散佈圖(b)y對x線性迴歸式(c)解釋能力(d)殘差圖152(2)倒數模式(y對做線性迴歸)(a)畫 y對散佈圖(b)y對線性迴歸式(c)解釋能力(d)殘差圖153圖圖13.28完工所需時間y對工作經驗x的散佈圖154(b)如果y對x 做簡單線性迴歸得SAS 結果155參數估計表156(b)迴歸式1

15、57(c)解釋能力158完工所需時間y對工作經驗x線性迴歸擬合值、殘差值、殘差平方159圖圖13.29 完工所需時間y對工作經驗x做線性迴歸殘差圖160圖圖13.30完工所需時間y對工作經驗倒數z的散佈圖161(b)y對z 的迴歸結果如下162參數估計表163迴歸式164完工所需時間y對工作經驗x做倒數模式擬合值、殘差值165(c)解釋能力166圖圖13.31完工所需時間y對工作經驗倒數z所做迴歸殘差圖167第十三章第十三章 摘要摘要1681.了解最小平方法的意義1692.1703.了解可利用5行合計求相關係數與迴歸式1714.知道如何由平均數、標準差及相關係數求迴歸式1725.1736.學習迴歸線的求法，並了解參數估計表與ANOVA表提供的資訊1747.學習利用統計套裝軟體執行迴歸分析1758.1769.了解如何利用迴歸式做預測17710.知道迴歸誤差項的基本假設與如何利用殘差圖(或數量檢定方法)對這些假設做檢驗17811.學習做變數變換以便求得較佳的迴歸式179