Mô hình hồi quy tuyến tính bội

7/22/2014 1 tham số giải thích của mô hình biến nội suy biến ngoại suy biến ngẫu nhiên E( ) Var( ) tham số ẩn của mô hình ikikiii xxxy bbbb  ˆ...ˆˆˆ 33221 Mô hình hồi quy tuyến tính bội 7/22/2014 2 Mô hình hồi qui tổng thể Mô hình hồi qui mẫu Theo dạng thông thường Theo dạng ma trận Dạng kỳ vọng Dạng ngẫu nhiên Mô hình hồi qui bội Thế nào là mô hình hồi qui bội? Mô hình hồi qui bội là mô hình trong đó biến phụ thuộc phụ thuộc vào ít nhất hai biến giải thích. Dạng mô hình 7/22/2014 3 Mô hình hồi quy tuyến tính bội Dạng biểu thức đầu tiên của mô hình : y : biến mà giá trị quan sát là yi i, i = 1,..,n, xki : biến mà giá trị quan sát là xit b 1, b2, . . .,bk là những tham số chưa biết  i: sai số Mục tiêu : ước lượng những tham số b1, b2, . . .,bk với i = 1, ...,n ikikiii xxxy bbbb  ˆ...ˆˆˆ 33221 7/22/2014 4 Hay Hay được biểu diễn một cách tường minh như sau Giả sử ta có n quan sát và mỗi quan sát gồm k trị số (Yi,X2i...Xki) Mô hình hồi qui tổng thể theo dạng thông thường niXXXYE kikii ,1)( 221  bbb  niXXY ikikii ,1 221  bbb            nknknn kk kk XXY XXY XXY bbb bbb bbb     221 2222212 1121211 7/22/2014 5 Mô hình hồi qui bội đối với tổng thể Mô hình hai biến Đáp số b1 Yi=b1+ b2X2i+ b3X3i + i Y X2 X3 i E(Y)=b1+ b2X2+ b3X3 7/22/2014 6 Mô hình hồi qui bội đối với một mẫu iiii exxy  33221 ˆˆˆ bbbMô hình hai biến Y Đáp số X2 X3 ei 1bˆ 7/22/2014 7 Ví dụ : Investment = b 1 + b2.GNP + b 3. CPI + b 4 Rate+  7/22/2014 8 Mô hình hồi quy tuyến tính bội Dạng biểu thức thứ hai của mô hình : Biểu thức ma trận                                                                                     n i k i knnn kiii k k n i xxx xxx xxx xxx X y y y y Y      b b b b b ... ... ; ... ... ; ...1 ............... ...1 ............... ...1 ...1 ; ... ... 2 1 2 1 32 32 23222 13121 2 1       1,1,,1, nkkn X n Y b  7/22/2014 9 Ví dụ : Y = X = b = b 1 b 2 b 3 b 4 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 7/22/2014 10 ! Có thể nói những vec tơ và ma trận của mô hình lànhững biến. Về nguyên tắc chung, Xpt = 1, t, t=1,..,T. biến Xk là hằng số. ước lượng tham số b 1, b2,…bk có thể được thực hiện bằng phương pháp BPBN Mô hình hồi quy tuyến tính bội 7/22/2014 11 Nguyên tắc hình học của phương pháp bình phương tối thiểu x1 x2 y yi b 1x1i+ b2x2i Sum e2 Nhỏ nhất có thể PYTHAGORE Mô hình hồi quy tuyến tính bội 7/22/2014 12 giả thiết của mô hình [H1] : X1,…Xk là những biến được đo chính xác, có nghiã là quan sát không sai số. [H2] : t, t=1,..,T,  t là một biến ngẫu nhiên là kỳ vọng toán học E( ) = 0 và phương sai Var( ) = 2() [H3] : i, i ’, i¹i ’,  i và  i’ là những biến ngẫu nhiên độc lập về xác suất [H4] : i,  i tuân theo quy luật phân phối chuẩn, Sai số tuân theo N(0, 2) [H6] : đầu tiên ta không có tý thông tin nào về những tham số b 1, b2,…, bk Mô hình hồi quy tuyến tính bội [H5]1/n(X’X)->M ở đây M là ma trận không suy biến 7/22/2014 13 STT Theo dạng thông thường Theo dạng ma trận 1 E()=0 I E() = 0 2 E(ij) = 0 i j = 2 i=j E(T) = 2I 3 X1,X2...Xk không ngẫu nhiên Ma trận X không ngẫu nhiên 4 Không có hiện tượng đa cộng tuyến Không có đa cộng tuyến, tức hạng của ma trận X bằng khác nhau 5 i ~ N(0, 2)  ~ N(0,2I) Các giả thiết cho mô hình hồi qui tuyến tính cổ điển 7/22/2014 14 Giả thiết 1 0 0 0 0 )( )( )( )( 2 1 2 1                                          nn E E E EE        7/22/2014 15 Phương sai của các sai sô Hiệp phương sai của các sai số Ma trận hiệp phương sai của sai số I VarCovCov CovVarCov CovCovVar nnn n n 2 2 21 2 2 221 121 2 1 )()()( )()()( )()()(                          7/22/2014 16 Hiệp phương sai Phương sai Giả thiết 2                )()()( )()()( )()()( )( 2 21 2 2 221 121 2 1 ' nnn n n EEE EEE EEE E         7/22/2014 17 Giả thiết 2                               2 21 2 2 221 121 2 1 21 2 1 ' ... ... ... ) ()( nnn n n n n EuuuEE                          )()()( )()()( )()()( )( 2 21 2 2 221 121 2 1 ' nnn n n EEE EEE EEE E         IE 22 2 2 2 ' 100 010 001 00 00 00 )(                                           7/22/2014 18                )()()( )()()( )()()( )( 2 21 2 2 221 121 2 1 ' nnn n n EEE EEE EEE E         7/22/2014 19 Hậu quả của những giả thiết Vecteur kỳ vọng toán hoặc trung bình Vecteur ngẫu nhiên  là một vecteur tuân theo phân phối chuẩn, và : ma trận hiệp phương sai Y là một vecteur ngẫu nhiên tuân theo quy luật phân phối chuẩn, và :   bXYE  Mô hình hồi quy tuyến tính bội IY 2  7/22/2014 20 ước lượng những tham số x1 x2 y yi b 1x1i+ b2x2i  i Phương pháp bình phương tối thiểu Tìm giá trị những tham số để có S nhỏ nhất:     MinSXYXYMineMineeMin n t t   bb ' 1 2 ' Mô hình hồi quy tuyến tính bội 7/22/2014 21 ước lượng những tham số - 2 Kết quả của phương pháp bình phương tối thiểu Ước lượng bằng phương pháp bình phương tối thiểu : Người ta chứng minh : có phương sai nhỏ nhât : đó là ước lượng BLUE (Best Linear Unbiased Estimator) là một đó là ước lượng hội tụ của b nhưng 2( ) là chưa biết   YXXX ''ˆ 1 b   12ˆ '   XXb  Mô hình hồi quy tuyến tính bội 7/22/2014 22 Ví dụ : Model fitting results for: EXECO.Investment -------------------------------------------------------------------------------- Independent variable coefficient std. error t-value sig.level -------------------------------------------------------------------------------- CONSTANT 357.188693 42.733747 8.3585 0.0000 EXECO.GNP 0.689021 0.064034 10.7602 0.0000 EXECO.CPI -9.548226 1.137803 -8.3918 0.0000 EXECO.Rate -4.211399 2.296132 -1.8341 0.0938 -------------------------------------------------------------------------------- R-SQ. (ADJ.) = 0.9908 SE= 11.289098 MAE= 8.200200 DurbWat= 1.917 ước lượng những tham số Mô hình hồi quy tuyến tính bội 7/22/2014 23 ước lượng những tham số - 3 ước lượng 2() Từ ước lượng a, ta có thể tính được ước lượng Y : Sai số có thể được ước lượng bởi : Từ đó có thể ước lượng được: XbY ˆ   '' 1 XXXXIe bb XeXYYe  ˆ    ineeE i n i            '2 2 1   eXXXXIee i n i ''' 1 2 1      2 1 2 1ˆ i n i e kn    Mô hình hồi quy tuyến tính bội 7/22/2014 24 ước lượng những tham số - 4 ước lượng có thể bởi ước lượng 2( ) và bởi công thức ước lượng không chệch của ma trận hiệp phương sai    12ˆ '   XX b bˆ ˆ læåüng Æåïc   12ˆ 'ˆˆ   XXb  Mô hình hồi quy tuyến tính bội 7/22/2014 25 ước lượng những tham số - 5 Quy luật phân phối xác suất Theo giả thiết [H4], ta có : Neu Ơí đây Mii là thành phần ở vị trí thứ I ở đường chéo chính của ma trận                      k i b b b b b ... ... 2 1 i i t i b b  bb * ˆ ˆ ˆ   Mô hình hồi quy tuyến tính bội   i ii N bbb ˆ,~ ˆ  i ii N bbb ˆ,~ ˆ  iiM i 2 ˆ b   ibˆ  7/22/2014 26 ước lượng những tham số - 6 Luật phân phối đã biết Tính Khoảng tin cậy Khoảng tin cậy đối với b i Khoảng tin cậy đối với 2() Mô hình hồi quy tuyến tính bội   ii tt ii baba bb ˆ2/ˆ2/ ˆ* ˆ;ˆ*ˆ                 ˆ;ˆ 2 1 2 2 knkn 7/22/2014 27 Ví dụ : 95 percent confidence intervals for coefficient estimates -------------------------------------------------------------------------------- Estimate Standard error Lower Limit Upper Limit CONSTANT 357.189 42.7337 263.108 451.270 EXECO.GNP 0.68902 0.06403 0.54805 0.83000 EXECO.CPI -9.54823 1.13780 -12.0532 -7.04328 EXECO.Rate -4.21140 2.29613 -9.26648 0.84368 -------------------------------------------------------------------------------- Mô hình hồi quy tuyến tính bội 7/22/2014 28 kiểm định giả thiết - 1 Kiểm định giả thiết về b Tính Kiểm định (H0) b i = 0 đối nghịch với (H1) b i  0 Đặt bằng t* Đọc trong bảng phân phối Student của t b /2 tương ứng với một mức a cho trước. So sánh |t*| và ta/2 |t*| < ta /2 (H0) được chấp nhận |t*|  ta /2 (H0) bị bác bỏ i i t b b  b * ˆ ˆ ˆ  Mô hình hồi quy tuyến tính bội 7/22/2014 29 Coefficientsa 70015,462 5900,669 11,866 ,000 72,500 2,880 ,716 25,172 ,000 ,995 1,005 -1657,031 108,867 -,433 -15,221 ,000 ,995 1,005 (Constant) surface age Model 1 B Std. Error Unstandardized Coefficients Beta Standardi zed Coefficien ts t Sig. Tolerance VIF Collinearity Statistics Dependent Variable: prixa. Ví dụ về hồi qui bội i i b b t S  tiếp 7/22/2014 30 Định nghĩa 0  R2  1 R2  1 : phương sai của biến x được giải thích hoàn toàn bởi mô hình R2  0 : phương sai của biến x không được giải thích hoàn toàn bởi mô hình Kiểm định độ phù hợp của mô hình        n i i n i i yy R 1 2 1 2 2 1          i i t i yy yy R 2 2 2 ˆ        i ii t ti i ii yyyyyy 222 ˆˆˆXuất phát từ đẳng thức Mô hình hồi quy tuyến tính bội 7/22/2014 31 kiểm định giả thiết - 2 Kiểm định độ phù hợp của mô hình Test (H0) : b 2 = b 3 = … = b k =0 đối nghịch với (H1) $ i, i=1,…,k, b i  0 hệ số tương quan tuyến tính bội là giá trị quan sát của biến ngẫu nhiên : Người ta chứng minh được kết quả sau :        n i i n i i yy e R 1 2 1 2 2 1  22 111 R kn n R          knR kR F    /1 1/ * 2 2   knRSS kESS F    / 1/ * Mô hình hồi quy tuyến tính bội 10  RR 22 7/22/2014 32 Analysis of Variance for the Full Regression -------------------------------------------------------------------------------- Source Sum of Squares DF Mean Square F-Ratio P-value -------------------------------------------------------------------------------- Model 192158. 3 64052.6 502.595 0.0000 Error 1401.88 11 127.444 -------------------------------------------------------------------------------- Total (Corr.) 193560. 14 R-squared = 0.992757 Stnd. error of est. = 11.2891 R-squared (Adj. for d.f.) = 0.990782 Durbin-Watson statistic = 1.91719 Ví dụ : mô hình hồi quy tuyến tính bội 7/22/2014 33 ANOVAb 9,49E+11 2 4,746E+11 463,042 ,000a 3,24E+11 316 1024916646 1,27E+12 318 Regression Residual Total Model 1 Sum of Squares df Mean Square F Sig. Predictors: (Constant), age, surfacea. Dependent Variable: prixb. Ví dụ về hồi qui bội k -1 = 2, số các biến độc lập n - 1 mức ý nghĩa (p-value) tiếp F với k-1 bậc tự do ở tử số và n-k ở mẫu số 7/22/2014 34 kiểm định giả thiết - 3 Kiẻm định sự phù hợp của mô hình Tính toán Xem trong bảng phân phối Fisher của Fa tương ứng với mức a . So sánh F* và Fa F* < Fa (H0) được chấp nhận F*  Fa (H0) bị bác bỏ      knR kR F    /1 1/ * 2 2 Mô hình hồi quy tuyến tính bội 7/22/2014 35 Ví dụ về hồi qui bội F0 3.02 H0: b1 = b2 = …= bk= 0 H1: ít nhất là 1 trong những bi  0 a = .05 bậc tự do= 2 và 316 Giá trị tới hạn Thống kê kiểm định: Quyết định: Kết luận: Bác bỏ với rủi ro mức a = 0.05 Có ít nhất một trong các biến phụ thuộc có liên quan đến Y a = 0.05 F  463.04 tiếp 3,024311468 =INVERSE.LOI.F(0,05;2;316) 7/22/2014 36 dự báo - 1 vì dữ liệu những giá trị, được giả sử đã biết, những biến ngoại suy đối với một giá trị q t. người ta có thể dự đoán giá trị tương ứng X? Soit : biến ngẫu nhiên dùng để dự đoán la valeur X ă q. sai số dự báo là: được viết: mô hình hồi quy tuyến tính bội 7/22/2014 37 Dự báo Phân tích số dư cho phép xác định : Tư đó ta có thể tính được khoảng cách dự báo mô hình hồi quy tuyến tính bội