Sử dụng phầm mềm vitesta để định cỡ câu hỏi trắc nghiệm khách quan đa lựa chọn - Nguyễn Thế Phương

Tạp chí Khoa học và Giáo dục, Trường Đại học Sư phạm Huế ISSN 1859-1612, Số 02(14)/2010: tr. 12-18 SỬ DỤNG PHẦM MỀM VITESTA ĐỂ ĐỊNH CỠ CÂU HỎI TRẮC NGHIỆM KHÁCH QUAN ĐA LỰA CHỌN NGUYỄN THẾ PHƯƠNG TÔN THẤT VIỄN TƯƠNG - HỒ NGỌC HÙNG Sở Giáo dục và Đào tạo Thừa Thiên Huế Tóm tắt: Bài viết này nhằm giới thiệu việc sử dụng phần mềm Vitesta - phần mềm được xây dựng dựa vào lý thuyết đáp ứng câu hỏi - để định cỡ các câu hỏi đa lựa chọn trong bài trắc nghiệm khách quan (TNKQ). 1. ĐẶT VẤN ĐỀ Phương pháp kiểm tra, đánh giá kết quả học tập của học sinh bằng hình thức trắc nghiệm khách quan đã và đang được Bộ Giáo dục và Đào tạo thực hiện trong kiểm tra học kỳ, thi tốt nghiệp THPT, tuyển sinh đại học, cao đẳng Do vậy việc xây dựng ngân hàng câu hỏi trắc nghiệm đối với các cơ sở giáo dục là một yêu cầu cấp thiết, mang ý nghĩa hết sức quan trọng Việc sử dụng các phần mềm chuyên dụng, đặc biệt là phần mềm Vitesta do Công ty Công nghệ Giáo dục và Xử lý dữ liệu (EDTECH-DP) thiết kế để định cỡ các câu hỏi TNKQ nhằm tạo được những bộ đề hoàn chỉnh, sử dụng trong quá trình kiểm tra, đánh giá chắc hẳn sẽ góp phần nâng cao chất lượng dạy học của thầy và trò. 2. NỘI DUNG VÀ KẾT QUẢ 2.1. Theo lý thuyết trắc nghiệm cổ điển, để phân tích câu hỏi TNKQ người ta cần phải chọn nhóm chuẩn để làm mẫu thử nghiệm, yêu cầu nhóm chuẩn phải được phân bố hợp lý thỏa mãn tối thiểu các mức trí năng của học sinh tùy thuộc vào các vùng, miền do vậy, các thông số thống kê như độ khó, độ phân biệt của đề phụ thuộc vào mẫu chọn và vì vậy năng lực của học sinh khi làm đề trắc nghiệm cũng phụ thuộc chính vào đề trắc nghiệm mà mình thực hiện [4]. Lý thuyết trắc nghiệm hiện đại dựa vào Mô hình đặc điểm tiềm tàng [4] mà đại diện là Lý thuyết đáp ứng câu hỏi (Items Response Theory, IRT) do Geoge Rasch (nhà toán học Đan Mạch) đề xướng. Lý thuyết này dựa vào lợi điểm các giả định về hành vi con người khi đáp ứng các câu hỏi TN: (a) đặc điểm của một câu hỏi TN không phụ thuộc mẫu thí sinh thử nghiệm, (b) khả năng của 1 thí sinh không phụ thuộc vào mẫu các câu hỏi đặt cho thí sinh đó [3]. IRT cho rằng mối liên hệ giữa mức khả năng của một học sinh và kết quả đạt được khi học sinh đó đáp ứng một câu hỏi TN được mô tả một cách toán học bằng Hàm đáp ứng câu hỏi (IRF) hay đường cong đặc trưng câu hỏi (ICC). IRF cho biết xác suất trả lời đúng một câu hỏi TN của một học sinh ứng với một mức khả năng nhất định của học sinh đó, xác suất này là hàm của các đặc tính các câu hỏi đó [4]: NGUYỄN THẾ PHƯƠNG - TÔN THẤT VIỄN TƯƠNG - HỒ NGỌC HÙNG 112 P(θ ) = c + (1- c) )](exp[1 )](exp[ ba ba −+ − θ θ trong đó các thông số a, b, c có ý nghĩa: a: Độ phân cách của câu hỏi TN, trên ICC a liên hệ với độ dốc của đường cong tại điểm uốn; b: Độ khó của câu hỏi, trên ICC b được xác định đó là hoành độ (mức năng lực) ứng với trung điểm của thang điểm thực; c: Thông số đoán hú họa. Cần lưu ý là mô hình Rasch áp dụng cho câu hỏi trắc nghiệm với hai loại điểm số (điểm 0: câu sai; điểm 1: câu đúng) và trước khi định cỡ (các dữ kiện xử lý được theo mô hình Rasch) cần được kiểm chứng bằng việc phân tích sự hòa hợp trong, ngoài. 2.2. Khi xây dựng ngân hàng câu hỏi trắc nghiệm cho học sinh lớp 10 THPT, các câu hỏi TN trong đề được mã hóa theo các mức năng lực Bloom [1] nhằm thuận tiện cho việc quản lý sau này. Ttoàn bộ các bài thi được chúng tôi tiến hành kiểm tra tại 10 trường THPT trong tỉnh. Kết quả bài làm được quét bằng máy quét điểm quang học DRS 400 (số lượng câu hỏi thô gần 6000 câu cho 6 môn : Lý, Hóa, Sinh, Toán, Tiếng Anh và Tiếng Pháp). Thay vì dùng các phần mềm nước ngoài như trước đây (các phần mềm QUEST, BILOG-MG3 ), chúng tôi đã sử dụng phần mềm VITESTA của Công ty Công nghệ Giáo dục và Xử lý dữ liệu (EDTECH-DP) thiết kế để định cỡ các câu hỏi và các đề kiểm tra, sau đó phân tích để lựa chọn các câu hỏi đạt yêu cầu lưu vào ngân hàng Sau đây là kết quả phân tích đề kiểm tra số 203, môn Sinh lớp 10. Bảng 1. Phân tích sự hòa hợp trong CHỈ SỐ TRÙNG KHỚP TRONG (INFIT) ĐỀ SINH10_203 Câu 63 71 83 100 120 140 160 --------------+---------+---------+---------+---------+---------+---------+--- 1 *| 2 * 3 * 4 * 5 * 6 *| 7 * 8 *| 9 * 10 *| 11 * 12 * | 13 *| 14 * 15 * | 16 * | 17 | * 18 *| 19 |* 20 |* 21 *| 22 * | 23 *| 24 *| SỬ DỤNG PHẦN MỀM VITESTA ĐỂ ĐỊNH CỠ 113 25 * 26 * | 27 *| 28 * | 29 *| 30 * | 31 * 32 * 33 *| 34 *| 35 * 36 *| 37 *| 38 *| Mục đích của việc phân tích sự hòa hợp nhằm xem xét các dữ kiện trắc nghiệm có thích hợp để đo lường theo mô hình Rasch hay không [3], nếu không, các câu đó sẽ bị loại bỏ. Theo lý thuyết trắc nghiệm, trên Bảng 1, đường thẳng ngang biểu diễn các trị số kỳ vọng của sự hòa hợp trong (Infit Meansquare) với trị số kỳ vọng bằng 1, mỗi câu TN sau khi được học sinh trả lời sẽ biểu diễn bằng một dấu (*), đề bài có 38 câu được biểu diễn bởi 38 dấu (*), kết quả cho thấy tất cả các dấu (*) đều nằm trong 2 đường thẳng đứng qua các giá trị 1-0,3 và 1 + 0,3 (các đường chấm chấm), do đó tất cả 38 câu hỏi của đề đều hòa hợp với mô hình Rasch. Hình 1. Các đường cong đặc trưng của các câu trắc nghiệm đề Sinh10 - 203 NGUYỄN THẾ PHƯƠNG - TÔN THẤT VIỄN TƯƠNG - HỒ NGỌC HÙNG 114 Dựa vào Hình 1 ta nhận thấy độ dốc a của các đường thẳng đặc trưng (hoặc độ dốc của tiếp tuyến của đường cong tại điểm uốn) của các câu 3, 6, 10, 13, 18, 29 rất bé không thể phân biệt được mức năng lực của các học sinh tham gia câu hỏi này [2], câu 28 có hoành độ b xác định mức năng lực ứng với tung độ của điểm giữa của trục P(θ ) của đường đặc trưng lệch về bên phải quá xa chứng tỏ chỉ số liên quan độ khó quá lớn (câu hỏi quá khó) (lưu ý định nghĩa độ khó của câu trắc nghiệm theo IRT, [2], [4]) các câu này cần phân tích cẩn thận hoặc loại bỏ. Bảng 2. Các thông số IRT KẾT QUẢ ƯỚC LƯỢNG ĐỘC LẬP THAM SỐ CÂU HỎI Mô hình 3 tham số Tạo ra vào lúc 21/09/2009 - 02:59 ================================================================== Đề thi: Sinh10_203 +-----------------------------------------------------------------| | Câu¦ b| a| c| MSE (*) +-----------+------------+------------+------------+--------------| ¦ 1¦ 279085¦ 019149¦ 000010¦ 023032¦ ¦ 2¦ -032260¦ 027332¦ 001947¦ 021327¦ ¦ 3¦ -016880¦ 004108¦ 006982¦ 020809¦ ¦ 4¦ 080614¦ 028688¦ 000010¦ 021623¦ ¦ 5¦ 085634¦ 030666¦ 000010¦ 021783¦ ¦ 6¦ -064448¦ 002341¦ 028107¦ 021675¦ ¦ 7¦ 240840¦ 024286¦ 000010¦ 023500¦ ¦ 8¦ 047083¦ 029613¦ 008518¦ 021212¦ ¦ 9¦ 096891¦ 026429¦ 000010¦ 021635¦ ¦ 10¦ 363061¦ 005387¦ 000010¦ 021046¦ ¦ 11¦ -035106¦ 042035¦ 000010¦ 022032¦ ¦ 12¦ 393155¦ 018451¦ 000580¦ 024654¦ ¦ 13¦ 738978¦ 001101¦ 000010¦ 020789¦ ¦ 14¦ 052747¦ 049266¦ 000010¦ 022482¦ ¦ 15¦ 449139¦ 017465¦ 000352¦ 025385¦ ¦ 16¦ 476069¦ 033982¦ 007260¦ 030419¦ ¦ 17¦ 112049¦ 089090¦ 000010¦ 027820¦ ¦ 18¦ 368050¦ 017457¦ 000010¦ 023961¦ ¦ 19¦ -055840¦ 131498¦ 001690¦ 029318¦ ¦ 20¦ 007768¦ 222695¦ 000010¦ 033803¦ ¦ 21¦ 034704¦ 106685¦ 014347¦ 023765¦ ¦ 22¦ -012926¦ 068412¦ 000010¦ 023365¦ ¦ 23¦ 349306¦ 020639¦ 000010¦ 024777¦ ¦ 24¦ 176690¦ 028249¦ 001427¦ 022696¦ ¦ 25¦ 135489¦ 034599¦ 000010¦ 022853¦ ¦ 26¦ 325122¦ 038317¦ 002908¦ 029671¦ ¦ 27¦ 023947¦ 132982¦ 000010¦ 027518¦ ¦ 28¦ 515239¦ 041207¦ 005821¦ 036612¦ ¦ 29¦ 034621¦ 003721¦ 000034¦ 020750¦ ¦ 30¦ 287815¦ 057832¦ 007685¦ 029600¦ ¦ 31¦ 153563¦ 028352¦ 000010¦ 022510¦ ¦ 32¦ 273659¦ 022148¦ 000010¦ 023660¦ ¦ 33¦ 030483¦ 066382¦ 007334¦ 022661¦ ¦ 34¦ 317680¦ 020570¦ 000010¦ 024086¦ SỬ DỤNG PHẦN MỀM VITESTA ĐỂ ĐỊNH CỠ 115 ¦ 35¦ 223127¦ 031576¦ 000010¦ 024653¦ ¦ 36¦ 013242¦ 036444¦ 002823¦ 021545¦ ¦ 37¦ 029398¦ 083102¦ 005816¦ 023576¦ ¦ 38¦ 020271¦ 081444¦ 003299¦ 023728¦ |-----------------------------------------------------------------| (*) MSE (Mean Square Error): Sai số bình phương trung bình ------------------------------------------------------------------ Kiểm tra lại các thông số IRT ở bảng 2, quả thật các câu 3, 6, 10, 13, 29 giá trị a rất bé cần loại bỏ khỏi ngân hàng, câu 28 tuy a lớn hơn song chỉ số b lại khá cao cần xem xét lần nữa nhờ bảng thông số cổ điển. Bảng 3. Các thông số cổ điển một số câu trắc nghiệm của đề Sinh10 - 203 Câu số: 5 Bỏ qua: 0 Độ phân biệt (cổ điển): 023261 Độ khó (cổ điển): 039785 Các phương án: A* B C D Số TS chọn: 37 18 22 16 Tỉ lệ TS chọn PA (%) 3978 1935 2366 1720 Tương quan điểm nhị phân: 023261 012027 -040940 003343 Giá trị t: 228152 115564 -428059 031908 Giá trị p: 001243 012543 000002 037520 ============================================================================== Câu số: 6 Bỏ qua: 0 Độ phân biệt (cổ điển): 004576 Độ khó (cổ điển): 064516 Các phương án: A* B C D Số TS chọn: 60 19 7 7 Tỉ lệ TS chọn PA (%) 6452 2043 753 753 Tương quan điểm nhị phân: 004576 -014899 006194 008277 Giá trị t: 043700 -143734 059197 079228 Giá trị p: 033157 007703 027767 021513 Câu số: 12 Bỏ qua: 0 Độ phân biệt (cổ điển): -002014 Độ khó (cổ điển): 021505 Các phương án: A B* C D Số TS chọn: 20 20 46 7 Tỉ lệ TS chọn PA (%) 2151 2151 4946 753 Tương quan điểm nhị phân: -007365 -002014 -001058 016610 Giá trị t: -070444 -019214 -010092 160679 Giá trị p: 024148 042403 045992 005578 ============================================================================== Câu số: 15 Bỏ qua: 3 Độ phân biệt (cổ điển): -002947 Độ khó (cổ điển): 020000 Các phương án: A* B C D Số TS chọn: 18 48 12 12 Tỉ lệ TS chọn PA (%) 2000 5333 1333 1333 Tương quan điểm nhị phân: -002947 033086 003473 -020840 Giá trị t: -028127 334460 033154 -203267 Giá trị p: 038957 000060 037050 002250 ================================================================================= NGUYỄN THẾ PHƯƠNG - TÔN THẤT VIỄN TƯƠNG - HỒ NGỌC HÙNG 116 Câu số: 18 Bỏ qua: 3 Độ phân biệt (cổ điển): 006109 Độ khó (cổ điển): 024444 Các phương án: A B* C D Số TS chọn: 18 22 41 9 Tỉ lệ TS chọn PA (%) 2000 2444 4556 1000 Tương quan điểm nhị phân: -001616 006109 013993 002904 Giá trị t: -015414 058386 134816 027716 Giá trị p: 043892 028038 009048 039114 ============================================================================== Câu số: 19 Bỏ qua: 0 Độ phân biệt (cổ điển): 052420 Độ khó (cổ điển): 068817 Các phương án: A B* C D Số TS chọn: 8 64 15 6 Tỉ lệ TS chọn PA (%) 860 6882 1613 645 Tương quan điểm nhị phân: -035482 052420 -032320 -009959 Giá trị t: -362033 587198 -325803 -095477 Giá trị p: 000024 000000 000079 017111 ============================================================================== Câu số: 23 Bỏ qua: 3 Độ phân biệt (cổ điển): 010411 Độ khó (cổ điển): 022222 Các phương án: A B C* D Số TS chọn: 21 24 20 25 Tỉ lệ TS chọn PA (%) 2333 2667 2222 2778 Tương quan điểm nhị phân: 004111 005670 010411 003087 Giá trị t: 039246 054171 099853 029465 Giá trị p: 034782 029467 016034 038447 ============================================================================== Câu số: 28 Bỏ qua: 1 Độ phân biệt (cổ điển): 005590 Độ khó (cổ điển): 008696 Các phương án: A B C D* Số TS chọn: 15 21 48 8 Tỉ lệ TS chọn PA (%) 1630 2283 5217 870 Tương quan điểm nhị phân: 014118 -002325 -004372 005590 Giá trị t: 136041 -022184 -041750 053411 Giá trị p: 008853 041247 033865 029728 Câu số: 37 Bỏ qua: 0 Độ phân biệt (cổ điển): 042730 Độ khó (cổ điển): 046237 Các phương án: A B* C D Số TS chọn: 23 43 22 5 Tỉ lệ TS chọn PA (%) 2473 4624 2366 538 Tương quan điểm nhị phân: -021950 042730 -018308 -017974 Giá trị t: -214624 450854 -177645 -174301 Giá trị p: 001726 000001 003950 004236 ============================================================================== Kiểm tra theo các thông số cổ điển (bảng 3), ta thấy câu 28 quá khó (chỉ số khó cổ điển: SỬ DỤNG PHẦN MỀM VITESTA ĐỂ ĐỊNH CỠ 117 Dd = 0,08696, chỉ số khó IRT : b = 5,15239), các câu 12, 15 có độ phân biệt cổ điển âm, nên các câu này cũng loại bỏ. Ngoài ra cũng cần xem xét tương quan điểm nhị phân của một số phương án chọn của các câu để chế tác lại một số câu nhiễu (tương quan điểm nhị phân bằng 0 hoặc có giá trị dương và lớn). Tóm lại, với đề bài 38 câu môn Sinh 10 sau khi định cỡ ta loại bỏ 9 câu hỏi, đó là các câu 3, 6, 10, 12, 13, 15,18, 28, 29 (do chỉ số khó cổ điển < 0,25; chỉ số phân biệt cổ điển < 0,2; tham số phân biệt IRT a < 0,1 hoặc độ phân biệt cổ điển âm) Sau khi định cỡ lại, hàm thông tin (Hình 2) cho thấy đây là một đề khá chuẩn. Hình 2. Hàm thông tin - đường cong sai số chuẩn của đề thi Sinh10 - 203 3. KẾT LUẬN Các bảng số liệu, các hình biễu diễn minh họa kết quả định cỡ 38 câu hỏi TNKQ của một bài kiểm tra (có 160 học sinh tham gia) nêu trên cho thấy phần mềm Vitesta sử dụng rất tiện lợi, hiệu quả trong việc phân tích các câu hỏi TN theo lý thuyết trắc nghiệm hiện đại, ngoài ra chương trình còn thiết kế biểu đồ phân bố độ khó và năng lực thí sinh, đường cong điểm thực hoặc giúp ta xác định các câu hỏi đặc biệt trong đề, các thí sinh cần lưu ý Đây được xem như một phương tiện sử dụng trong kiểm tra đánh giá giúp ta xây dựng được một ngân hàng đề đúng chuẩn. Ngoài ra nếu khai thác tốt, phần mềm còn có thể giúp giáo viên đánh giá kết quả học tập, chẩn đoán năng lực của từng học sinh trong lớp học, qua đó góp phần đổi mới phương pháp dạy học nhằm nâng cao chất lượng ở trường phổ thông. TÀI LIỆU THAM KHẢO [1] Huỳnh Huynh (1974). Trắc nghiệm giáo dục. NXB Khai Trí, Sài Gòn. NGUYỄN THẾ PHƯƠNG - TÔN THẤT VIỄN TƯƠNG - HỒ NGỌC HÙNG 118 [2] Lâm Quang Thiệp (2008). Trắc nghiệm và ứng dụng. NXB Khoa học và Kỹ thuật, Hà Nội. [3] Dương Thiệu Tống (1995). Trắc nghiệm và đo lường thành quả học tập. Trường Đại học Tổng hợp, TP Hồ Chí Minh. [4] Dương Thiệu Tống (1998). Trắc nghiệm tiêu chí. NXB Giáo dục, Hà Nội. Title: USING VITESTA SOLFWARE TO CALIBRATE MULTIPLE CHOICE QUESTIONS IN OBJECTIVE TEST Abstract: This paper presents the problem of using Vitesta solfware that based on item response theory to calibrate multiple- choice questions in objective test NGUYỄN THẾ PHƯƠNG TÔN THẤT VIỄN TƯƠNG HỒ NGỌC HÙNG Phòng Khảo thí - Đảm bảo chất lượng giáo dục, Sở Giáo dục và Đào tạo Thừa Thiên Huế.