1. Họ và tên: Nguyễn Thị Mai Hữu                                  2. Giới tính: Nữ

3. Ngày sinh: 22/10/1978                                                4. Nơi sinh: Hà Nội

5. Quyết định công nhận nghiên cứu sinh số: 2019/QĐ-ĐHNN, ngày 31 tháng 12 năm   2014 của Hiệu trưởng Trường Đại học Ngoại ngữ.

6. Các thay đổi trong quá trình đào tạo:

Gia hạn thời gian bảo vệ luận án từ tháng 12/2017 đến tháng 12/2019

7. Tên đề tài luận án: Nghiên cứu giá trị xác thực đối với quá trình tư duy của thí sinh khi thi phần thi nói bài thi chuẩn hóa đánh giá năng lực tiếng Anh từ bậc 3 đến bậc 5 theo Khung năng lực ngoại ngữ 6 bậc dùng cho Việt Nam (VSTEP.3-5)

8. Chuyên ngành: Lý luận và phương pháp giảng dạy bộ môn tiếng Anh

9. Mã số: 9140231.01

10. Cán bộ hướng dẫn khoa học: GS. Nguyễn Hòa; GS. Fred Davidson

11. Tóm tắt các kết quả mới của luận án:

Bằng việc sử dụng khung xã hội – tư duy của Weir dùng cho xây dựng và xác định giá trị xác thực của đề thi ngôn ngữ, quá trình tư duy của thi sinh thi bài thi VSTEP.3-5 được nghiên cứu và đưa ra minh chứng cho phần thi nói. Minh chứng về giá trị xác thực được chia thành ba nhóm gồm quá trình tư duy được lồng ghép vào đề thi, việc sắp xếp mức độ yêu cầu về tư duy theo từng bậc năng lực khác nhau của đề thi, và sự giống và khác nhau giữa quá trình tư duy của thí sinh khi thi bài thi nói VSTEP.3-5 và khi nói tiếng Anh trong bối cảnh ngoài bài thi.

Trước tiên, quá trình tư duy thí sinh có thể trải nghiệm khi thi bài thi nói VSTEP.3-5 được nghiên cứu theo cả hai bước là phát triển đề thi và tổ chức thi. Minh chứng về giá trị xác thực của quá trình tư duy của thí sinh khi thi bài thi nói VSTEP.3-5 được xây dựng dựa trên mô hình sản sinh lời nói của Levelt (1989, 1999) và sau đó được áp dụng bởi Weir (2005) trong mô hình xã hội – tư duy cho phát triển và xây dựng giá trị xác thực của đề thi ngôn ngữ. Mô hình này được chia thành các bước sau: hình thành khái niệm, mã hóa ngữ pháp, mã hóa âm thanh, mã hóa phát âm, phát âm và tự kiểm soát. Mặc dù mô hình tư duy - xã hội của Weir không phải là khung lý thuyết được áp dụng khi phần nói VSTEP.3-5 được phát triển, các quy trình tư duy của mô hình cung cấp một khung tốt để nghiên cứu giá trị xác thực của bài thi. Tất cả các quá trình được mô tả trong mô hình có thể được tìm thấy trong phần nói của VSTEP.3-5, cho thấy nỗ lực của nhóm phát triển VSTEP.3-5 trong việc giải quyết các yêu cầu tư duy mà người dự thi có thể gặp phải khi làm bài thi. Bên cạnh đó, khi áp dụng mô hình để thiết lập minh chứng về giá trị xác thực của quá trình tư duy cho phần nói, một số vấn đề đã được xác định bao gồm:

(1) Việc sử dụng các từ thông tục chỉ được đề cập ở mức độ thông thạo C2 của khung CEFR và CEFR-VN; tuy nhiên, chúng được tìm thấy trong các đặc tả của mức độ thành thạo 9 và 10 của thang đánh giá nói VSTEP.3-5.

(2) Các điểm tạm ngừng và do dự được tìm thấy trong các đặc tả của hầu hết các nhóm của thang đánh giá VSTEP.3-5; tuy nhiên, không có sự giải thích về sự khác biệt của những khoảng ngừng và ngập ngừng như vậy giữa các mức điểm.

(3) Tải trọng tư duy của người đối thoại và người đánh giá khi phỏng vấn và đánh giá người dự thi đã được mô tả trong CEFR và CEFR-VN, khung lý thuyết được áp dụng khi thiết kế bài thi nói VSTEP.3-5; tuy nhiên, tải trọng đó không được đề cập trong đặc tả kỹ thuật hoặc tài liệu đào tạo cán bộ chấm thi nói.

Thứ hai, các đặc tả của thang đánh giá nói VSTEP.3-5 được sắp xếp hợp lý với mức độ khó tăng dần từ mức điểm 1 đến mức điểm 10, ngoại trừ một số đặc tả như sau:

(1) Các đặc tả theo các mức điểm khác nhau của thang đánh giá nên được quan tâm nhiều hơn bao gồm các mức Vocabulary 4, 5, 9, 10 và Fluency 6 và 7.

(2) Sự khác biệt đáng kể được tìm thấy giữa điểm nói và điểm tổng của thí sinh ở trình độ C1. Kết quả phân tích cho thấy cần nghiên cứu các dải điểm 9 và 10 của tất cả các tiêu chí nói và người chấm thi vấn đáp phải được thông báo về mẫu điểm này của thang chấm điểm.

(3) Một số đặc tả nhất định có độ khó khác biệt nổi bật so với các đặc tả còn lại, gồm các mức điểm Grammar 3, 4, 6, 7; Vocabulary 4, 5, 9, 10; Discourse Management 3, 9, 10; Pronunciation 7, 8; Fluency 6, 7.

Nhìn chung, các đặc tả liền kề nhau và tương ứng với cùng mức độ thông thạo của người dự thi thì có mức độ khó tương đối như nhau. Bên cạnh đó, khi nghiên cứu kỹ các đặc tả, dường như khó nhận thấy sự khác biệt giữa kết quả hoạt động của thí sinh tương ứng với các điểm lân cận của cùng một tiêu chí của thang đo. Một vấn đề khác được xác định là các đặc tả của các mức điểm Vocabulary 9 và 10 bao gồm yêu cầu về khả năng sử dụng các cách diễn đạt thành ngữ và các từ thông tục, các đặc tả này không được đề cập trong CEFR hoặc CEFR-VN của bậc trình độ năng lực tương ứng. Sau đó, có thể nhận thấy rằng mức điểm 9 và 10 của tất cả các tiêu chí dường như được đặt ở mức yêu cầu tư duy cao hơn so với tất cả các mức điểm khác. Một số mức điểm như điểm từ vựng mô tả năng lực không được đề cập trong nội dung kiểm tra; tuy nhiên, các đặc tả này lại được mô tả trong thanh chấm điểm.

Thứ ba, kết quả so sánh quá trình tư duy của thí sinh khi thi bài thi nói VSTEP.3-5 và khi nói tiếng Anh trong bối cảnh ngoài bài thi cho thấy rằng:

(1) Người dự thi đã trải qua tất cả các giai đoạn của quá trình tư duy khi thi bài thi nói VSTEP.3-5. Tất cả năm giai đoạn của quá trình tư duy bao gồm hình thành khái niệm, mã hóa âm thanh, mã hóa ngữ pháp, mã hóa ngữ âm, phát âm và tự kiểm soát.

(2) Hơn một nửa số người dự thi VSTEP.3-5 đã trải qua quá trình tư duy khi nói tương tự giữa điều kiện làm bài thi và điều kiện không phải bài thi. Tất cả năm giai đoạn của quá trình được các thí sinh chia sẻ đã trải qua khi nói tiếng Anh trong bối cảnh ngoài bài thi gồm hình thành khái niệm, mã hóa âm thanh, mã hóa ngữ pháp, mã hóa ngữ âm, phát âm và tự kiểm soát.

(3) Đối với những người nói rằng quy trình tư duy không giống nhau cho rằng họ có thể nói tốt hơn những gì họ đã thể hiện trong bài thi. Họ tuyên bố rằng thông tin về phần nói VSEP.3-5 bao gồm họ không có cơ hội để biết thang điểm đánh giá phần nói và các bài thi mẫu trước khi thi. Những thí sinh chuẩn bị tốt hơn cho bài kiểm tra có xu hướng đạt điểm cao hơn so với những người không được chuẩn bị.

(4) Một tình huống của Phần 2 của bài thi khó đối với một nhóm thí sinh so với các nhóm khác. Điều này cho thấy nên thử nghiệm các đề thi một cách kỹ lưỡng hơn.

12. Khả năng ứng dụng trong thực tiễn: 

Thứ nhất, mặc dù các bước của quy trình tư duy mà người dự thi có thể trải qua khi làm bài thi VSTEP.3-5 đã được nghiên cứu ở cả giai đoạn phát triển và tổ chức thi của bài thi, một số vấn đề nhất định đã được xác định bao gồm:

(1) Việc sử dụng các từ thông tục chỉ được đề cập ở mức độ thông thạo C2 của khung CEFR, tương đương bậc 6 của khung CEFR-VN; tuy nhiên, những đặc tả này được tìm thấy trong các mức điểm 9 và 10 của thang đánh giá nói VSTEP.3-5. Để người kiểm tra nhận thức rõ về thực tế này, thông tin về mô tả của bậc C2 được sử dụng trong thang chấm điểm nói VSTEP.3-5 đối với bậc 4 nên được bổ sung vào tài liệu bồi dưỡng giám khảo chấm thi. Một cách khác để giải quyết các đặc tả bày là đưa các đặc tả này ra khỏi thang đánh giá. Để làm như vậy, các đặc tả kỹ thuật của bài thi VSTEP.3-5 cần được sửa đổi, dẫn đến việc sửa đổi Quyết định số 729 / QĐ-BGDĐT ngày 11 tháng 3 năm 2015 của Bộ Giáo dục và Đào tạo Việt Nam.

(2) Sự ngừng lời và ngập ngừng khi nói được tìm thấy trong các đặc tả của hầu hết các mức điểm của thang đánh giá VSTEP.3-5; tuy nhiên, không có giải thích nào khác được đưa ra về sự khác biệt của những khoảng dừng và ngập ngừng như vậy giữa các mức điểm. Do vậy, cần có giải thích thêm trong tài liệu bồi dưỡng giám khảo chấm thi nói để giám khảo không bị nhầm lẫn về các dấu hiệu ngừng lời hoặc ngập ngừng khi chấm điểm.

(3) Yêu cầu về tư duy đối với cán bộ chấm thi nói khi hỏi thi và chấm thi đã được mô tả trong khung CEFR và CEFR-VN, khung lý thuyết được áp dụng khi thiết kế bài thi nói VSTEP.3-5; tuy nhiên, tải trọng đó không được đề cập trong đặc tả kỹ thuật hoặc tài liệu đào tạo cán bộ chấm thi. Mức độ tư duy mà cán bộ chấm thi nói trải qua khi phỏng vấn và đánh giá người dự thi có thể tác động đến tính công bằng trong việc phỏng vấn và chấm điểm của họ, và do đó ảnh hưởng đến kết quả thi của người dự thi và điểm số của họ. Chúng tôi đặc biệt khuyến nghị rằng các yếu tố ảnh hưởng đến mức độ tư duy của cán bộ chấm thi khi phỏng vấn và đánh giá người dự thi nói VSTEP.3-5 nên được đưa vào tài liệu bồi dưỡng cán bộ chấm thi nói để người chấm thi nhận thức được những vấn đề đó khi phỏng vấn và đánh giá. Một gợi ý cụ thể là cán bộ chấm thi nói hiện tại không được cung cấp thời gian để làm công việc chấm điểm giữa những người dự thi gần nhau. Khi được bổ sung thêm khoảng một phút để chấm điểm giữa hai người dự thi liền kề, các cán bộ chấm thi có thể sẽ chấm thi hiệu quả hơn.

(4) Các đặc tả gần nhau tương ứng với cùng mức độ thông thạo của người dự thi có độ khó tương đối bằng nhau. Bên cạnh đó, khi nghiên cứu kỹ các đặc tả và độ khó của các đặc tả, khó nhận ra sự khác biệt giữa năng lực của thí sinh tương ứng với các mức điểm lân cận của cùng một tiêu chí của thang chấm điểm VSTEP.3-5. Sự khó phân biệt này có thể gây khó khăn cho cán bộ chấm thi khi xếp thí sinh vào đúng các mức điểm tương ứng của thang đánh giá. Để cán bộ chấm thi có thể xếp chính xác kết quả bài nói của thí sinh vào các mức điểm của thang đánh giá, các đặc điểm định lượng của các mức điểm cần được đưa vào tài liệu bồi dưỡng cán bộ chấm thi nói hoặc cần có bài làm mẫu của thí sinh dưới dạng âm thanh và/hoặc video cho tất cả các mức điểm khác nhau đối với từng tiêu chí đánh giá của thang đánh giá. Một cách khác để giải quyết tình huống này có thể là hợp nhất các đặc tả của các mức điểm tương ứng với cùng một bậc trình độ tiếng Anh, làm như vậy, số lượng các mức điểm của thang đánh giá VSTEP.3-5 sẽ giảm xuống còn 5 mức điểm. Điều này sẽ đơn giản hóa công việc chấm điểm của các giám khảo và có thể sẽ dẫn đến độ tin cậy của kết quả đánh giá tốt hơn.

(5) Tất cả các đặc tả của mức điểm 9 và 10 có độ khó cao hơn đáng kể so với tất cả các mức điểm 8 của thang đánh giá VSTEP.3-5, điều này có thể dẫn đến tỷ lệ thí sinh được xếp loại C1 thấp so với các mức độ thông thạo được đánh giá bằng bài kiểm tra. Để điểm nói đạt mức độ tin cậy hơn đối với những thí sinh đó, các giám khảo phải được cung cấp những dữ liệu này khi họ được tập huấn. Một lý do có thể giải thích cho độ khó cao đáng kể của các đặc tả tương ứng với các mức điểm đó là do các giám khảo có xu hướng ít cho điểm cao nhất cho người dự thi. Để giải quyết vấn đề này, chúng tôi khuyến nghị rằng mức điểm cao nhất của thang đánh giá phải phản ánh mức độ thông thạo CEFR C2, bằng cách làm như vậy, giám khảo sẽ thấy rõ kỳ vọng về mức độ thông thạo CEFR C2 và do đó có thể sẽ xếp thí sinh vào mức điểm CEFR C1 với độ tin cậy cao hơn.

(6) Các thí sinh cho rằng thông tin về phần thi nói VSEP.3-5 bao gồm thang điểm đánh giá kỹ năng nói và các bài kiểm tra mẫu chỉ được tiếp cận với họ một cách hạn chế. Và những thí sinh chuẩn bị tốt hơn cho bài kiểm tra có xu hướng đạt điểm cao hơn những người không chuẩn bị. Các đơn vị tổ chức thi VSTEP.3-5 nên cung cấp cho người dự thi quyền truy cập không chỉ với định dạng đề thi, mà còn cả thang đánh giá và các bài làm mẫu, đề thi mẫu để người dự thi hiểu rõ những gì họ được mong đợi sẽ thực hiện ở các mức độ thông thạo khác nhau, và vì vậy họ có thể chuẩn bị tốt hơn cho bài thi.

(7) Một tình huống của Phần 2 của bài thi dường như khó đối với một nhóm thí sinh so với các nhóm khác. Điều này cho thấy nên thử nghiệm các đề thi một cách kỹ lưỡng hơn. Chúng tôi đặc biệt khuyến nghị rằng tất cả các đề thi nên được xây dựng theo đúng 12 giai đoạn phát triển đề thi do Bộ Giáo dục và Đào tạo Việt Nam ban hành kèm theo Thông tư 23/2017/TT-BGDĐT, trong đó mỗi đề kiểm tra nên được thi thử trước hai lần. Bên cạnh đó, để điểm số được phân tích đúng với độ tin cậy cao, đặc biệt cho phần thi nói và viết, các ứng dụng như FACETS và R, trên đó có thể chạy Mô hình thang điểm đánh giá và /hoặc Mô hình phân tích nhân tố, nên được sử dụng để phân tích điểm thi.

Thứ hai, nghiên cứu xác định giá trị xác thực của quá trình tư duy khi thí sinh thi bài thi nói VSTEP.3-5 lần nữa đã minh chứng rằng mô hình tu duy xã hội của Weir cung cấp một khung lý thuyết toàn diện để phát triển và xây dựng giá trị xác thực cho bài thi ngôn ngữ. Đặc biệt đối với giá trị xác thực của một khía cạnh nhất định của bài kiểm tra ngôn ngữ như giá trị xác thực về quá trình tư duy, mô hình tư duy xã hội của Weir không chỉ giúp phát triển lập luận xác thực có hệ thống cho một bài kiểm tra ngôn ngữ cụ thể mà còn giúp xác định vấn đề mà bài kiểm tra ngôn ngữ có thể gặp phải ở cả giai đoạn phát triển đề thi và xây dựng giá trị xác thực của đề thi. Do đó, chúng tôi đặc biệt khuyến nghị rằng mô hình tư duy xã hội của Weir nên được áp dụng khi một bài kiểm tra ngôn ngữ mới được phát triển và xác thực.

Ngoài ra, khung tư duy - xã hội của Weir được chứng minh là có tính ứng dụng cao trong việc phát triển và xác thực bài kiểm tra ngôn ngữ, tuy nhiên khi áp dụng khung này trong việc xác thực bài kiểm tra ngoại ngữ như VSTEP.3-5, các đặc điểm cụ thể của việc học tiếng Anh như một ngoại ngữ cần được nghiên cứu kỹ lưỡng để có thể được áp dụng tốt hơn. Trong trường hợp về giá trị xác thực, các quá trình tư duy mà người dự thi có thể trải qua khi làm bài kiểm tra tuân theo các quy trình tư duy của Levelt (1988, 1989) về sản sinh lời nói cho người nói ngôn ngữ thứ nhất và quy trình tư duy của Weir (2005) về sản sinh lời nói cho người nói ngôn ngữ thứ hai nên hai mô hình này gần như giống nhau. Tuy nhiên, khi nghiên cứu tính xác thực về quá trình tư duy đối với bài thi nói VSTEP.3-5, cần thiết phải phát triển một mô hình tư duy cập nhật cho quá trình sản sinh lời nói của những người nói một ngôn ngữ như ngoại ngữ, vấn đề này phát sinh sau thực tế là một số người dự thi bài thi nói VSTEP.3-5 đã suy nghĩ bằng tiếng Việt, ngôn ngữ thứ nhất của họ. Việc suy nghĩ bằng ngôn ngữ thứ nhất khi nói một ngoại ngữ ảnh hướng nhất định đến khả năng nói của họ khi làm bài thi và có thể cả trong điều kiện không làm bài thi, đặc biệt trong trường hợp của người dự thi có trình độ CEFR B1 trở xuống.

13. Những hướng nghiên cứu tiếp theo:

Trước hết, Quyết định số 729/QĐ-BGDĐT ngày 11 tháng 3 năm 2015 do Bộ Giáo dục và Đào tạo Việt Nam ban hành có thể cần được sửa đổi liên quan đến các đặc tả kỹ thuật của bài thi VSTEP.3-5. Để thuyết phục các nhà nghiên cứu và các nhà hoạch định chính sách thay đổi Quyết định như vậy, cần thiết phải tiến hành các nghiên cứu sâu hơn để đưa ra minh chứng rõ ràng hơn về sự cần thiết phải sửa đổi bản đặc tả kỹ thuật của bài thi này và phần nào của đặc tả kỹ thuật này cần được sửa đổi.

Thứ hai, nghiên cứu này được thực hiện trên quy mô thu thập dữ liệu nhỏ (288 người dự thi). Để dữ liệu thu thập được có giá trị và mức độ tin cậy cao hơn, các nghiên cứu tương tự với quy mô thu thập dữ liệu lớn hơn được khuyến khích tiến hành.

Thứ ba, hiện tại, khung tư duy - xã hội của Weir được chứng minh là có tính ứng dụng cao để thực hiện các nghiên cứu về giá trị xác thực; tuy nhiên, mô hình về quá trình tư duy trong sản sinh lời nói hiện tại chỉ được phát triển cho người nói ngôn ngữ thứ nhất và ngôn ngữ thứ 2. Một mô hình có xem xét đến các đặc điểm của việc thụ đắc ngoại ngữ nên được phát triển để cung cấp mô hình hoàn hảo hơn để thiết lập giá trị xác thực của một bài kiểm tra ngoại ngữ, đặc biệt là khi bài kiểm tra được thiết kế để đánh giá người dự thi có năng lực CEFR B1 và ​​các cấp độ thông thạo thấp hơn. Do đó, các nghiên cứu tiếp theo có thể được tiến hành để xây dựng mô hình tư duy cho người nói ngoại ngữ, điều này có thể khả thi bằng cách áp dụng mô hình của Levelt cho người nói ngoại ngữ hoặc một mô hình như vậy có thể được phát triển mới vì cho đến nay mô hình nói ngôn ngữ thứ nhất của Levelt là mô hình duy nhất có thể áp dụng trong việc phát triển và xây dựng giá trị xác thực cho đề kiểm tra ngôn ngữ về quá trình tư duy của thí sinh khi thi nói.

14. Các công trình đã công bố có liên quan đến luận án:

1. Nguyen Thi Mai Huu (2019). Stimulated recall – A practical data collection technique for cognitive studies in language testing. Journal of Foreign Languages Studies, 58/2019, 38-50.

2. Nguyen Thi Mai Huu (2020). Application of the socio-cognitive framework in language test development and validation. 2020 International graduate research symposium ND 10TH East Asia Chinese teaching forum, Volume 1, 727-735.

3. Phuong Tran, Hoa Nguyen, Trang Dang, Minh Nguyen, Lan Nguyen, Tuan Huynh, Ha Do, Huu Nguyen, Fred Davidson (2015). A validation study on the newly-developed Vietnam standardized English proficiency test. 37th Language Testing Research Colloquium, 142.

4. Victoria Clark, Nguyen Thi Mai Huu, Jessica Wu, Jamie Dunlea, Richard West (2016). Test centers and standardized Testing: Challenges, issues and benefits. 4th British Council New Directions in English language assessment conference, 19-20.

5. Nathan Carr, Quynh Nguyen, Huu Nguyen, Yen Nguyen, Thao Nguyen (2016). Systematic support for a communicative standardized proficiency test in Vietnam. 4th British Council New Directions in English language assessment conference, 26-27.

6. Huu Nguyen (2018). An Investigation into the Cognitive Validity of the Speaking Section of the Vietnam’s Standardized Test of English Proficiency. 40th Language Testing Research Colloquium, 114.

7. Huu Nguyen (2019). An investigation into the cognitive processes reflected in the VSTEP speaking scoring rubrics. 7th British Council New Directions in English language assessment conference, 22.

8. Barry O’Sullivan, Josep Lo Bianco, Huu Nguyen, Mitsuharu Ota, Yoshinori Watanabe (2019). Language Assesment Policy. 7th British Council New Directions in English language assessment conference, 18.