Bài giảng xác suất thống kê - Chương 2: Mô hình hồi quy hai biến

MÔ HÌNH HỒI QUY HAI BIẾN Chương 2 I. HÀM HỒI QUY TỔNG THỂ VÀ HÀM HỒI QUY MẪU 1. Hàm hồi quy tổng thể của hồi quy 2 biến Nếu chỉ nghiên cứu một biến phụ thuộc bị ảnh hưởng bởi một biến ñộc lập => Mô hình hồi quy hai biến Trong quan hệ hồi quy , một biến phụ thuộc có thể ñược giải thích bởi nhiều biến ñộc lập Nếu mối quan hệ giữa hai biến này là tuyến tính => Mô hình hồi quy tuyến tính hai biến Hàm hồi quy tổng thể (PRF) của mô hình hồi quy hai biến iii UXYPRF ++= 21: ββ Trong ñó Y : Biến phụ thuộc Yi : Giá trị cụ thể của biến phụ thuộc X : Biến ñộc lập Xi : Giá trị cụ thể của biến ñộc lập Ui : Sai số ngẫu nhiên ứng với quan sát thứ i I. HÀM HỒI QUY TỔNG THỂ VÀ HÀM HỒI QUY MẪU Trong ñó β1 : Là giá trị trung bình của biến phụ thuộc Y khi biến ñộc lập X nhận giá trị bằng 0 β2 : Là lượng thay ñổi trung bình của Y khi X thay ñổi 1 ñơn vị β1,β2 là các tham số của mô hình với ý nghĩa : I. HÀM HỒI QUY TỔNG THỂ VÀ HÀM HỒI QUY MẪU Hàm hồi quy tổng thể (PRF) của mô hình hồi quy hai biến iii UXYPRF ++= 21: ββ 0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7 8 T iê u dù n g Y (tr ie u ño n g/ th án g ) ðồ thị minh họa Thu nhập X (triệu ñồng/tháng) Yi PRF Ui ii XY 21ˆ ββ += I. HÀM HỒI QUY TỔNG THỂ VÀ HÀM HỒI QUY MẪU 2. Hàm hồi quy mẫu của hồi quy 2 biến Trong thực tế rất khó nghiên cứu trên tổng thể nên thông thường người ta nghiên cứu xây dựng hàm hồi quy trên một mẫu => Gọi là hàm hồi quy mẫu 0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7 8 T iê u dù n g Y (tr ie u ño n g/ th án g ) ei Yi 1 ˆβ 2 ˆβ ii XY 21 ˆˆˆ ββ += SRF ðồ thị minh họa Thu nhập X (triệu ñồng/tháng) I. HÀM HỒI QUY TỔNG THỂ VÀ HÀM HỒI QUY MẪU iii eXYSRF ++= 21 ˆˆ: ββ Trong ñó là ước lượng của β11ˆβ Là ước lượng của β22ˆβ Sai số ngẫu nhiên , là ước lượng của Uiie 2. Hàm hồi quy mẫu của hồi quy 2 biến I. HÀM HỒI QUY TỔNG THỂ VÀ HÀM HỒI QUY MẪU iii eXYSRF ++= 21 ˆˆ: ββ Nếu bỏ qua sai số ngẫu nhiên ei , thì giá trị thực tế Yi sẽ trở thành giá trị ước lượng ii XYSRF 21 ˆˆˆ: ββ += iYˆ 2. Hàm hồi quy mẫu của hồi quy 2 biến 0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7 8T iê u dù n g Y (tr ie u ño n g/ th án g ) ei Thu nh?p X (tri?u ñ?ng /tháng) SRF ei ei ei ei ei ei II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT (OLS) 1. Ước lượng các tham số của mô hình iiiii XYYYe 21 ˆˆˆ ββ −−=−= iii eXY ++= 21 ˆˆ ββ ii XY 21 ˆˆˆ ββ += Giá trị thực tế Giá trị ước lượng Sai số ( ) minˆˆ 2 1 21 1 2 →−−=∑∑ == n i ii n i i XYe ββ Tìm 21 ˆ,ˆ ββ sao cho tổng bình phương sai số là nhỏ nhất Tức là Tại sao chúng ta không tìm Σei nhỏ nhất ? II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT (OLS) Giải bài toán cực trị hàm hai biến , ta ñược XY XnX YXnXY n i i n i ii 21 1 22 1 2 ˆˆ ).( .. ˆ ββ β −= − − = ∑ ∑ = = Với n X X i∑= là giá trị trung bình của X và n Y Y i∑= là giá trị trung bình của Y và Ví dụ áp dụng Quan sát về thu nhập (X – triệu ñồng/năm) và chi tiêu (Y – triệu ñồng/năm) của 10 người, ta ñược các số liệu sau : 48423623412930384229Yi 50454035503945475031Xi ii XY 21 ˆˆˆ ββ +=Xây dựng hàm hồi quy mẫu TB TC 10 9 8 7 6 5 4 3 2 1 STT 35.843.2 1906615851358432 250024004850 202518904245 160014403640 12258052335 250020504150 152111312939 202513503045 220917863847 250021004250 9618992931 Xi2Xi*YiYiXi ∑ =⇒= 2,43432 XX i 8,35358 =⇒=∑ YYi ∑ =15851iiYX ∑ =190662iX 9549,0 )2,43(1019066 8,352,431015851 ).( .. ˆ 2 1 22 1 2 = ×− ××− = − − = ∑ ∑ = = n i i n i ii XnX YXnXY β 4517,52,439549,08,35ˆˆ 21 −=×−=−= XY ββ Kết quả ví dụ : ii XY 9549,04517,5ˆ +−= Hàm hồi quy mẫu Ý nghĩa : II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT (OLS) 2. Các giả thiết của mô hình Giả thiết 1 : Các giá trị Xi cho trước và không ngẫu nhiên Giả thiết 2 : Các sai số Ui là ñại lượng ngẫu nhiên có giá trị trung bình bằng 0 Giả thiết 3 : Các sai số Ui là ñại lượng ngẫu nhiên có phương sai không thay ñổi II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT (OLS) 2. Các giả thiết của mô hình Giả thiết 4 : Không có sự tương quan giữa các Ui Giả thiết 5 : Không có sự tương quan giữa Ui và Xi Khi các giả thiết này ñược ñảm bảo thì các ước lượng tính ñược bằng phương pháp OLS là các ước lượng tốt nhất và hiệu quả nhất của hàm hồi quy tổng thể Ta nói, ước lượng OLS là ước lượng BLUE (Best Linear Unbias Estimator) II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT (OLS) 3. Hệ số xác ñịnh của mô hình Tổng bình phương toàn phần TSS (Total Sum of Squares) ∑∑ −=−= 22 2 )()( YnYYYTSS ii Tổng bình phương hồi quy ESS (Explained Sum of Squares) )(ˆ)ˆ( 2222 2 ∑∑ −=−= XnXYYESS ii β Tổng bình phương phần dư RSS (Residual Sum of Squares) ∑∑ =−= 22)ˆ( iii eYYRSS II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT (OLS) 3. Hệ số xác ñịnh của mô hình O SRF)( YYi − )ˆ( YYi − )ˆ( YYi − iX iY iYˆ Y RSS TSS ESS II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT (OLS) 3. Hệ số xác ñịnh của mô hình Người ta chứng minh ñược RSSESSTSS += Hệ số xác ñịnh TSS ESSR =2 •0 ≤ R2 ≤ 1 •R2 = 1 : mô hình hoàn toàn phù hợp với mẫu nghiên cứu •R2 = 0 : mô hình không phù hợp với mẫu nghiên cứu Ví dụ áp dụng Từ số liệu ñã cho của ví dụ trước , yêu cầu tính hệ số xác ñịnh của mô hình 19066 2500 2025 1600 1225 2500 1521 2025 2209 2500 961 Xi2 TB TC 10 9 8 7 6 5 4 3 2 1 STT 35.843.2 1336415851358432 230424004850 176418904245 129614403640 5298052335 168120504150 84111312939 90013503045 144417863847 176421004250 8418992931 Yi2Xi*YiYiXi III. KiỂM ðỊNH MÔ HÌNH HỒI QUY 1. Các ñại lượng ngẫu nhiên Giả sử Ui ~ N(0,σ2) Theo giả thiết của phương pháp OLS, Ui là ñại lượng ngẫu nhiên có giá trị trung bình bằng 0 và phương sai không thay ñổi Khi ñó σ2 ñược gọi là phương sai của tổng thể , rất khó tính ñược nên thường ñược ước lượng bằng phương sai mẫu 22 )ˆ( 2 ˆ 22 2 − = − − = − = ∑∑ n RSS n YY n e iiiσ a. ðại lượng ngẫu nhiên Ui Vì Ui ~ N(0,σ2) Nên Yi ~ N(β1+β2Xi,σ2) iii UXY ++= 21 ββTa có III. KiỂM ðỊNH MÔ HÌNH HỒI QUY 1. Các ñại lượng ngẫu nhiên a. ðại lượng ngẫu nhiên Ui III. KiỂM ðỊNH MÔ HÌNH HỒI QUY 1. Các ñại lượng ngẫu nhiên b. ðại lượng ngẫu nhiên 21 ˆ,ˆ ββ Vì sao là các ñại lượng ngẫu nhiên ?21 ˆ,ˆ ββ Giả sử : ),(~ˆ 2 ˆ11 1βσββ N ),(~ˆ 2 ˆ22 2βσββ N Trong ñó 2 ˆ 1βσ là phương sai của 1 ˆβ 2 ˆ 2βσ là phương sai của 2 ˆβ III. KiỂM ðỊNH MÔ HÌNH HỒI QUY 1. Các ñại lượng ngẫu nhiên Với 2 22 2 2 ˆ ˆ)(1 σσ β ∑ ∑ − = XnXn X i i ∑ − = 22 2 2 ˆ ˆ 2 XnX i σ σ β 2 ˆ1 1 )ˆ( βσβ =se ñộ lệch chuẩn của 1ˆβ 2 ˆ2 2 )ˆ( βσβ =se ñộ lệch chuẩn của 2ˆβ III. KiỂM ðỊNH MÔ HÌNH HỒI QUY 2. Các khoảng tin cậy a. Khoảng tin cậy của β2         ×+×− )ˆ(ˆ);ˆ(ˆ 2 2 22 2 2 ββββ αα setset Khoảng tin cậy của β2 với ñộ tin cậy 1-α là Với có ñược khi tra bảng t-Student với bậc tự do (n-2), mức ý nghĩa α/2 2 αt III. KiỂM ðỊNH MÔ HÌNH HỒI QUY 2. Các khoảng tin cậy b. Khoảng tin cậy của β1         ×+×− )ˆ(ˆ);ˆ(ˆ 1 2 11 2 1 ββββ αα setset Khoảng tin cậy của β1 với ñộ tin cậy 1-α là Giải thích ý nghĩa của ñộ tin cậy (1- α), ví dụ (1- α) =95%? Ví dụ áp dụng Từ số liệu ñã cho của ví dụ trước , yêu cầu tính khoảng tin cậy của β1, β2 với ñộ tin cậy 95% Nhắc lại về giả thiết H0 Trong thống kê, giả thiết phát biểu cần ñược kiểm ñịnh ñược gọi là giả thiết không ( ký hiệu : H0). Giả thiết ñối ñược ký hiệu là giả thiết H1 III. KiỂM ðỊNH MÔ HÌNH HỒI QUY ðúngSai lầm loại IH0 ñúng Sai lầm loại IIðúng H0 sai Chấp nhận H0Báo bỏ H0 Người ta thường ñặt giả thiết H0 sao cho sai lầm loại I là nghiêm trọng ( nguy hiểm) hơn sai lầm loại II III. KiỂM ðỊNH MÔ HÌNH HỒI QUY ðặt α là khả năng mắc sai lầm loại I ⇒ α là mức ý nghĩa của kiểm ñịnh ⇒ 1- α là ñộ tin cậy của kiểm ñịnh Chú ý
Khi nói “chấp nhận giả thiết H0”, không có nghĩa H0 ñúng.
Lựa chọn mức ý nghĩa α : α có thể tùy chọn, thường người ta chọn mức 1%, 5%, hoặc 10%. III. KiỂM ðỊNH MÔ HÌNH HỒI QUY Các giả thiết cần kiểm ñịnh gồm
Các giả thiết về hệ số hồi quy
Kiểm ñịnh hệ số xác ñịnh của mô hình Các cách kiểm ñịnh cơ bản : o Phương pháp khoảng tin cậy o Phương pháp giá trị tới hạn o Phương pháp p-value ( dùng máy vi tính) III. KiỂM ðỊNH MÔ HÌNH HỒI QUY 3. Kiểm ñịnh giả thiết về hệ số hồi quy a. Kiểm ñịnh giả thiết về β2 Giả thiết Ho:β2 = βo H1:β2 ≠ βo ñộ tin cậy là 1-α III. KiỂM ðỊNH MÔ HÌNH HỒI QUY 3. Kiểm ñịnh giả thiết về hệ số hồi quy Phương pháp khoảng tin cậy Bước 1 : Lập khoảng tin cậy của β2 Bước 2 : Nếu β0 thuộc khoảng tin cậy thì chấp nhận H0. Nếu β0 không thuộc khoảng tin cậy thì bác bỏ H0 a. Kiểm ñịnh giả thiết về β2 III. KiỂM ðỊNH MÔ HÌNH HỒI QUY 2. Kiểm ñịnh giả thiết về hệ số hồi quy a. Kiểm ñịnh giả thiết về β2 Phương pháp giá trị tới hạn (kiểm ñịnh t) Bước 1 : tính giá trị tới hạn Bước 2 : tra bảng t-Student với bậc tự do (n-2) tìm tα/2 Bước 3 : Nếu -tα/2 ≤ t ≤ tα/2 : chấp nhận giả thiết H0 Nếu t tα/2 : bác bỏ giả thiết H0 )ˆ( ˆ 2 02 β ββ se t − = III. KiỂM ðỊNH MÔ HÌNH HỒI QUY 2. Kiểm ñịnh giả thiết về hệ số hồi quy a. Kiểm ñịnh giả thiết về β2 Phương pháp p-value Bước 1 : tính giá trị tới hạn Bước 2 : Tính p_value = P(|t| > |tα/2|) (tức là khả năng giả thiết H0 bị bác bỏ) Bước 3 : Nếu p_value ≥ α : chấp nhận giả thiết H0 Nếu p_value < α : bác bỏ giả thiết H0 )ˆ( ˆ 2 02 β ββ se t − = III. KiỂM ðỊNH MÔ HÌNH HỒI QUY 2. Kiểm ñịnh giả thiết về hệ số hồi quy b. Kiểm ñịnh giả thiết về β1 Tương tự kiểm ñịnh giả thiết về β2 nhưng giá trị tới hạn lúc này là )ˆ( ˆ 1 01 β ββ se t − = Ho:β1 = βo H1:β1 ≠ βo Với ñộ tin cậy là 1-α Ví dụ áp dụng Từ số liệu ñã cho của ví dụ trước , yêu cầu kiểm ñịnh các giả thiết sau Ho:β2 = 0 H1:β2 ≠ 0 Với ñộ tin cậy là 95% Ho:β1 = 0 H1:β1 ≠ 0 Với ñộ tin cậy là 95% a) b) III. KiỂM ðỊNH MÔ HÌNH HỒI QUY 3. Kiểm ñịnh sự phù hợp của mô hình Ho:R2 = 0 H1:R2≠ 0 Với ñộ tin cậy là 1- α Kịểm ñịnh giả thiết Bước 2 : Tra bảng tìm F(1,n-2), mức ý nghĩa là α Bước 3 : Nếu F>F(1,n-2) , bác bỏ H0 Nếu F≤F(1,n-2) , chấp nhận H0 Bước 1 : tính ( )2 2 1 )2( R nRF − − = Phương pháp kiểm ñịnh F Ho:β2 = 0 H1:β2 ≠ 0 ñộ tin cậy là (1-α)Việc kiểm ñịnh giả thiết có ý nghĩa như thế nào? Câu hỏi Ho:R2 = 0 H1:R2 ≠ 0 ñộ tin cậy là (1-α)Việc kiểm ñịnh giả thiết có ý nghĩa như thế nào? Ho:β2 = 0 H1:β2 ≠ 0 ñộ tin cậy là (1-α)Việc kiểm ñịnh giả thiết có ý nghĩa như thế nào? Câu hỏi IV. SỬ DỤNG MÔ HÌNH HỒI QUY 1. Trình bày kết quả hồi quy Kết quả hồi quy ñược trình bày như sau : )ˆ()ˆ(_ )ˆ()ˆ( )ˆ()ˆ( ˆˆˆ 21 21 21 2 21 ββ ββ ββ ββ ppvaluep ttt dfsesese RXY ii += IV. SỬ DỤNG MÔ HÌNH HỒI QUY 1. Trình bày kết quả hồi quy Kết quả hồi quy trong ví dụ trước : valuep t se XY ii _ 672,09549,04517,5ˆ +−= IV. SỬ DỤNG MÔ HÌNH HỒI QUY 2. Vấn ñề dự báo ii XYSRF 21 ˆˆˆ: ββ +=Giả sử Khi X=X0 thì ước lượng trung bình của Y0 sẽ là 0210 ˆˆˆ XY ββ += là ñại lượng ngẫu nhiên có phân phối chuẩn 0ˆY ),(~ˆ 2 ˆ0210 0Y XNY σββ + Vì sao là ñại lượng nhẫu nhiên ?0ˆY IV. SỬ DỤNG MÔ HÌNH HỒI QUY 2. Vấn ñề dự báo Với         ×+×− )ˆ(ˆ);ˆ(ˆ 0 2 00 2 0 YsetYYsetY αα         − − += ∑ 22 2 022 ˆ )( )(1 0 XnX XX n i Y σσ 2 ˆ0 0 )ˆ( YYse σ= Khoảng tin cậy giá trị trung bình của Y0 với ñộ tin cậy (1-α) là Ví dụ áp dụng Từ số liệu ñã cho của ví dụ trước , yêu cầu dự báo khoảng giá trị của Y khi X0 = 60 (triệu ñồng/năm) với ñộ tin cậy 95% 2842,69837,11 61743,05729,1 8681,00958,18503,18ˆ − = −= t dfse XY i a) Nêu ý nghĩa kinh tế của các hệ số hồi quy b) Xét xem giá bán có ảnh hưởng ñến doanh số bán không (với mức ý nghĩa 5%)? c) Nếu giá bán là 8,5 ngàn ñồng /kg thì doanh số bán trung bình là bao nhiêu (ñộ tin cậy 95%)? Cho kết quả hồi quy giữa Y – doanh số bán (trñ/tấn) và X - giá bán ( ngàn ñồng/kg) như sau :