1. Họ và tên nghiên cứu sinh: NGUYỄN THỊ QUỲNH YẾN
2. Giới tính: Nữ
3. Ngày sinh: 11/03/1981
4. Nơi sinh: Thanh Hóa
5. Quyết định công nhận nghiên cứu sinh số: 2019/QĐ-ĐHNN, ngày 31 tháng 12 năm 2014 của Hiệu trưởng Trường Đại học Ngoại ngữ.
6. Các thay đổi trong quá trình đào tạo: Không
Gia hạn thời gian bảo vệ luận án: Không
7. Tên đề tài luận án: Nghiên cứu xác trị điểm cắt của kết quả bài thi Nghe Đánh giá năng lực tiếng Anh bậc 3 đến bậc 5 theo Khung năng lực Ngoại ngữ 6 bậc dành cho Việt Nam (An Investigation into the Cut-score Validity of the VSTEP.3-5 Listening Test)
8. Chuyên ngành:Lý luận và phương pháp dạy học tiếng Anh
9. Mã số:9140231
10. Cán bộ hướng dẫn khoa học: 1. GS. Nguyễn Hòa2. GS. Fred Davidson
11. Tóm tắt các kết quả mới của luận án:
Bài thi VSTEP.3-5 là một bài thi mới được phát triển và kết quả của bài thi có ảnh hưởng quan trọng đối với thí sinh và những đối tượng sử dụng kết quả bài thi, do vậy việc chuẩn hóa bài thi là việc làm hết sức cần thiết. Chính vì vậy, nghiên cứu này được tiến hành như là một sự nỗ lực để xây dựng nên các lập luận minh bạch, hệ thống và đáng tin cậy cho bài thi VSTEP.3-5 nói chung và đề thi Nghe VSTEP.3-5 nói riêng. Bằng việc áp dụng mô hình xác trị theo đường hướng lập luận được đề xuất bởi Kane (2013), nghiên cứu này tập trung nghiên cứu tính giá trị của các điểm cắt được áp dụng cho kết quả của một bài thi Nghe VSTEP.3-5 được tổ chức đầu năm 2017 tại một đơn vị được Bộ GD&ĐT cho phép tổ xây dựng và tổ chức kỳ thi. Nghiên cứu đã rút ra một số các kết luận quan trọng như sau:
Thứ nhất, đặc tính kỹ thuật của đề thi Nghe VSTEP.3-5 cung cấp đầy đủ các thông tin cần thiết giúp xây dựng một đề thi nghe hoàn chỉnh. Các tác vụ của đề thi Nghe VSTEP.3-5 được tổ chức đầu năm 2017 nhìn chung được xây dựng hợp lý, tuân theo các miêu tả của bảng đặc tả kỹ thuật của đề thi. Bên cạnh đó, nghiên cứu chỉ ra mối tương quan tốt giữa việc hoàn thành các tác vụ và việc cần phải hiểu nội dung của đề nghe. Tuy nhiên, các số liệu thực nghiệm phân tích về độ khó và độ phân biệt của các câu hỏi bài thi Nghe VSTEP.3-5 cho thấy cần bổ sung thêm một số các thông tin vào bảng đặc tả cho bài thi như sau: (1) Bên cạnh các thông tin đã có, cần bổ sung thêm số liệu tham khảo về độ khó, độ phân biệt cho từng câu hỏi; thông tin về việc độ khó của ngôn ngữ trong từng câu hỏi cần được giải thích rõ ràng hơn, giúp đảm bảo các câu hỏi được thiết kế chính xác nhất với các yêu cầu về độ khó quy định; (2) Ngoài ra, trước khi được sử dụng chính thức trong các đề thi, các câu hỏi thi cần được chạy thử nghiệm để kiểm tra thực nghiệm về các số liệu liên quan. Những đề xuất này sẽ giúp cho các đề thi Nghe VSTEP.3-5 có độ khó tương đương nhau và có như vậy, việc áp dụng quy tắc điểm cắt chung mới thực hiện được cho tất cả các đề thi.
Thứ hai, báo cáo thống kê về độ tin cậy trong kết quả điểm thi của bài thi Nghe VSTEP.3-5 nói chung và kết quả chạy dữ liệu về độ tin cậy của kết quả bài thi Nghe VSTEP.3-5 đầu năm 2017 cho thấy độ tin cậy của kết quả bài thi đều ở mức tốt (trong khoảng 0.815). Tuy nhiên với một bài thi với 03 điểm cắt như bài thi Nghe VSTEP.3-5 thì độ tin cậy kiến nghị cần ở mức tối thiểu 0.88 (theo Wright, 1996). Chính vì vậy, cần có những biện pháp để nâng cao độ tin cậy của kết quả bài thi hơn nữa.
Thứ ba, kết quả so sánh về điểm cắt của bài thi Nghe VSTEP.3-5 đầu năm 2017 được thiết lập bởi phương pháp xác định điểm cắt Bookmark và kết quả điểm cắt được áp dụng sẵn cho bài thi Nghe VSTEP.3-5 chỉ ra rằng điểm cắt thô trên thang 35 bằng phương pháp đối sánh ngoài Bookmark có mức tương quan tốt ở bậc 3 và bậc 5 với điểm cắt đã được thiết lập sẵn cho kết quả bài thi. Đây là minh chứng tốt cho tính giá trị và độ tin cậy của điểm cắt tại bậc 3 và bậc 5 áp dụng cho kết quả bài thi Nghe VSTEP.3-5. Đối với điểm cắt ở bậc 4, khoảng cách giữa hai kết quả đối sánh là 03 điểm thô. Tuy nhiên, kết quả này chỉ mang tính chất tham khảo ở phạm vi một nghiên cứu độc lập. Chính vì vậy, để có thể đưa ra bất cứ đề xuất nào về sự thay đổi trong điểm cắt ở bậc 4 cho bài thi Nghe VSTEP.3-5 cần có thêm nhiều nghiên cứu và nhiều nhiều minh chứng hơn nữa.
12. Khả năng ứng dụng trong thực tiễn:
Thứ nhất, mô hình xác trị điểm cắt cho bài thi Nghe VSTEP.3-5 được xây dựng trong nghiên cứu này có thể áp dụng cho các nghiên cứu liên quan tới điểm cắt của kết quả đề thi các kỹ năng khác theo định dạng bài thi VSTEP.3-5 cũng như các bài thi mà kết quả của nó có ý nghĩa quan trọng đối với thí sinh và người sử dụng kết quả như bài thi Đánh giá năng lực tiếng Anh bậc 2 dành cho người lớn (VSTEP.2) và bài thi và Đánh giá năng lực tiếng Anh bậc 3 dành cho đối tượng học sinh trung học phổ thông (VSTEP.3 for school).
Thứ hai, việc kết hợp các phương pháp nghiên cứu được đề xuất trong nghiên cứu này có thể áp dụng để nâng cao chất lượng đề thi đánh giá năng lực tiếng Anh mà hiện nay Đề án Ngoại ngữ Quốc gia 2020 đang chỉ đạo phát triển và các loại đề thi đánh giá ngoại ngữ trong lớp học khác ở Việt Nam.
Thứ ba, kết quả nghiên cứu này có thể góp phần điều chỉnh và hoàn thiện hơn nữa bảng đặc tả kỹ thuật và hướng dẫn viết đề thi cho đề thi Nghe VSTEP.3-5 nói riêng và đề thi VSTEP.3-5 nói chung.
13. Những hướng nghiên cứu tiếp theo:
Thứ nhất, liên quan tới định dạng đề thi trắc nghiệm như đề thi Nghe VSTEP.3-5, có thể nghiên cứu sâu hơn về quá trình suy luận và chiến lược áp dụng trong làm bài thi của thí sinh.
Thứ hai, nghiên cứu có thể mở rộng thực hiện đối với các đề thi Nghe VSTEP.3-5 khác được tổ chức tại các đơn vị được Bộ DG&ĐT cho phép xây dựng đề thi và tổ chức thi để có một cái nhìn tổng quát hơn cho các lập luận về tính giá trị của bài thi.
Thứ ba, để xây dựng một chỉnh hoàn thể các lập luận minh bạch và đáng tin cậy cho điểm cắt của bài thi VSTEP.3-5 nói chung, các nghiên cứu khác có thể được thực hiện đối tính giá trị của các điểm cắt cho kết quả bài thi Đọc, Viết và Nói.
Thứ tư, liên quan tới phương pháp và quá trình xác định điểm cắt cho kết quả của bài thi, các nghiên cứu khác có thể tiến hành như sau: (1) Đối sánh kết quả phân loại qua điểm cắt của bài thi Nghe VSTEP.3-5 với các tiêu chí bên ngoài khác như kết quả học tập của thí sinh ở một chương trình đào tạo tiếng Anh hay kết quả của thí sinh ở một bài thi có cùng bản chất khác; (2) Đối sánh kết quả của các điểm cắt được xác lập cho bài thi Nghe VSTEP.3-5 với kết quả điểm cắt được xác lập bằng chính phương pháp đã áp dụng với một nhóm chuyên gia mời khác; (3) Đối sánh kết quả của các điểm cắt được xác lập cho bài thi Nghe VSTEP.3-5 với kết quả điểm cắt được xác lập bằng một phương pháp khác như phương pháp Nedelsky hay phương pháp Borderline; (4) Nghiên cứu những yếu tố tác động tới kết quả của điểm cắt được xác lập.
14. Các công trình đã công bố có liên quan đến luận án:
1. Nguyễn Thị Quỳnh Yến (2015), “Đảm bảo tính công bằng trong kiểm tra kỹ năng nghe”. Tạp chí Ngôn ngữ học và đời sống, 12 (242), tr. 36-39, NXB Chính trị Quốc gia.
2. Nguyễn Thị Quỳnh Yến (2017), “Một số vấn đề cần xem xét trong đánh giá tính giá trị của các điểm cắt giữa các bậc năng lực cho bài thi đánh giá năng lực tiếng Anh theo khung năng lực ngoại ngữ 6 bậc dành cho Việt Nam”, Kỷ yếu hội thảo quốc gia 2017- Nghiên cứu và giảng dạy Ngoại ngữ-Ngôn ngữ-Quốc tế học tại Việt Nam, Tr. 612-618, NXB Đại học Quốc gia Hà Nội.
3. Nguyễn Thị Quỳnh Yến (2017), “Building a validity argument for the Vietnamese Standardized Test of English Proficiency (VSTEP.3-5)”, Kỷ yếu hội thảo quốc gia dành cho Học viên cao học và nghiên cứu sinh lần thứ nhất, Tr. 705-712, NXB Đại học Quốc gia Hà Nội.
