Thực nghiệm áp dụng bài thi thích ứng trên máy tính để đánh giá năng lực người học

Trắc nghiệm thích ứng trên máy tính (Computerized Adaptive Testing - CAT) đang phát triển mạnh mẽ trên thế giới nhưng còn rất mới lạ với các trường phổ thông và đại học ở Việt Nam. Một trong những ưu thế của CAT là chúng ta có thể tổ chức đánh giá đồng thời trên diện rộng với số lượng lớn học sinh tham gia làm bài trên hệ thống máy tính được kết nối mạng. Hơn nữa, CAT cho phép phân tích các chỉ số về năng lực của thí sinh ngay sau khi thí sinh trả lời câu hỏi và thông tin về năng lực của học sinh được cập nhật thường xuyên trong quá trình làm bài cho đến khi đo được năng lực thực sự của họ. Vì vậy, CAT không những giúp đánh giá chính xác năng lực mà còn đưa ra thông tin đầy đủ và toàn diện về năng lực học sinh cho cơ sở giáo dục triển khai các mô hình học tập thích ứng.

Xuất phát từ thực tiễn đó, nhóm nghiên cứu do PGS.TS Lê Thái Hưng, Trường ĐH Giáo dục, ĐHQGHN chủ trì đã nghiên cứu xây dựng hệ thống trắc nghiệm thích ứng phiên bản UEd-CAT 1.0 cho phép triển khai hình thức trắc nghiệm này. 

Ưu thế của hình thức trắc nghiệm thích ứng trên máy tính

Các hình thức kiểm tra truyền thống bằng giấy bút có hạn chế là hầu hết các thí sinh đều làm một bài kiểm tra với các câu hỏi như nhau, muốn đánh giá được đúng tất cả thí sinh từ năng lực thấp tới năng lực cao thường sẽ rất dài và cần nhiều câu hỏi. Trong khi ưu điểm nổi trội của hình thức trắc nghiệm trên máy tính là: chính xác, tiết kiệm, bảo mật và cá nhân hoá.

PGS.TS Lê Thái Hưng đánh giá, hình thức trắc nghiệm thích ứng trên máy tính ước lượng đúng năng lực của hầu hết các thí sinh, trong khi đó, bài kiểm tra theo hình thức cũ chỉ ước lượng đúng năng lực của các thí sinh có năng lực trung bình.

Các bài CAT thường ngắn hơn một nửa so với bài kiểm tra cố định (fixed test) mà vẫn ước lượng chính xác năng lực của thí sinh và có tính bảo mật cao vì mọi thí sinh sẽ nhận được một đề thi tương đối khác nhau. Hiện nay CAT còn được sử dụng tích hợp trong dạy học thích ứng như là công cụ bổ trợ. Ngoài việc đánh giá chính xác năng lực thí sinh, CAT giúp xác định xem khi nào thí sinh không thực sự nỗ lực làm bài. Với sự phát triển của trí tuệ nhân tạo và học máy (AI & machine learning), CAT ngày một được cải thiện độ chính xác và tăng tính bảo mật.

Ứng dụng trắc nghiệm thích ứng “Made in Việt Nam” nhiều triển vọng

Quá trình phát triển hệ thống trắc nghiệm thích ứng đòi hỏi sự công phu, chính xác và khoa học: từ việc lựa chọn và xây dựng thuật toán đến việc xây dựng ngân hàng câu hỏi chuẩn hóa để đánh giá những năng lực cụ thể của người học. Sau hơn 1 năm nỗ lực, nhóm nghiên cứu thuộc Khoa Quản trị chất lượng giáo dục, Trường ĐH Giáo dục, ĐHQGHN đã phát triển thành công hệ thống trắc nghiệm thích ứng phiên bản UEd-CAT 1.0 - ứng dụng nền tảng web với những kết quả thử nghiệm ban đầu nhiều triển vọng.

UEd-CAT 1.0 được nhóm nghiên cứu phát triển dựa trên phương pháp ước lượng hậu nghiệm cực đại (Maximum a posteriori), thuật toán Gradient Descent, lý thuyết IRT mô hình một tham số và lập trình bằng ngôn ngữ PHP, Javascript.

Ngoài tính năng quản lý và thực hiện các bài thi trắc nghiệm thông thường, UEd-CAT 1.0 giúp tạo, quản lý ngân hàng câu hỏi chuẩn hoá, tổ chức thi và trả kết quả đánh giá năng lực thí sinh theo mô hình trắc nghiệm thích ứng. Song song với phát triển hệ thống UEd-CAT 1.0, nhóm nghiên cứu, với sự tham gia của các giáo viên Trường THPT Khoa học giáo dục, đã xây dựng thành công hai ngân hàng đề thi trắc nghiệm thích ứng đánh giá năng lực Toán học và năng lực Đọc hiểu của học sinh lớp 10 với 1.000 câu hỏi đã được chuẩn hoá theo lý thuyết IRT.

Kết quả đánh giá trên UEd-CAT 1.0 cho thấy, hệ thống đã vận hành theo đúng nguyên lý hoạt động của CAT, số lượng câu hỏi được rút ngắn (18-25 câu hỏi so với 60 câu hỏi của đề thi gốc) mà vẫn đảm bảo độ chính xác. Học sinh cảm thấy hứng thú với bài trắc nghiệm được hệ thống UEd-CAT 1.0 lựa chọn riêng, phù hợp với năng lực cá nhân.

“Với ngân hàng câu hỏi đủ lớn, không chỉ dừng lại ở mục tiêu kiểm tra, đánh giá, UEd-CAT 1.0 còn là một hệ thống giúp học sinh tự học để đạt kết quả tốt hơn sau mỗi lần làm bài. Giáo viên có thể truy cập và xem kết quả làm bài để có biện pháp tác động, hỗ trợ phù hợp với từng học sinh” - PGS.TS Lê Thái Hưng chia sẻ.

Dựa trên những kết quả ban đầu, Trường ĐH Giáo dục, ĐHQGHN sẽ tiếp tục đầu tư nghiên cứu và phát triển hệ thống với các tính năng nâng cao, tăng cường bảo mật, thuận tiện ứng dụng trong hệ sinh thái dạy - học thích ứng (UED - ALS: Adaptive Leanring System) vận hành trên máy tính và điện thoại thông minh. Bên cạnh đó, Nhà trường sẽ tiếp tục xây dựng và phát triển ngân hàng câu hỏi đánh giá năng lực của người học ở các trình độ khác nhau theo định hướng của chương trình giáo dục phổ thông mới. Hướng nghiên cứu này sẽ góp phần hiện thực hóa xu thế đổi mới dạy học và kiểm tra đánh giá người học theo hướng phát triển năng lực, cá nhân hóa trong môi trường học tập kết hợp (blended learning) và đổi mới thi THPT tại Việt Nam.

Hiện tại, giáo viên và học sinh có thể trải nghiệm miễn phí các tính năng của UEd-CAT 1.0 tại http://cat.education.vnu.edu.vn/ với năng lực Toán học và Đọc hiểu.

"Cho đến thời điểm hiện tại, nhóm nghiên cứu đã hoàn thành phiên bản Phiên bản UEd.CAT.2.0 cập nhật 3 tham số độ khó, độ phân biệt, độ may rủi; cùng với hệ thống ngân hàng câu hỏi đánh giá năng lực Toán học, Năng lực ngôn ngữ và văn học, Năng lực Khoa học (Lý, Hoá, Sinh) cho lớp 10, 11, 12 theo chương trình giáo dục phổ thông 2018, năng lực tiếp nhận từ vựng tiếng anh của sinh viên. Hệ thống tiếp tục được cập nhật với hơn 6000 câu hỏi đã được chuẩn hoá: https://cat2.education.vnu.edu.vn/".