学术研究

In June 2022, IDAT began to explore the accuracy of test results. The project was being conducted by Heidi Reid, CEO of IDAT.

The purpose of the project was to analyse how ‘accurate’ school staff deemed scores of the IDAT had been for students who took the test and had since commenced studies with the school. As international admissions can be a lengthy process, it was crucial to find students who had not only taken the test, but had begun their studies with the receiving institutions.  

IDAT selected 40 students who had taken the IDAT at four schools. The students were from K-12, across all stages and genders.  The students were from different language and cultural backgrounds including Kuwaiti, Korean, Chinese, Japanese, Iranian, Iraqi, Australian, British, and Emirati. Schools provided varying amounts of student data. Some included nationality, while others did not. The students were from Stages 1-5 as defined below. 

• Stage 1:  Year 1-2 UK, K- Gr 1 (USA)
• Stage 2:  Year 3-4 UK, Gr 2-3 (USA)
• Stage 3:  Year 5-6 UK, Gr 4-5 (USA)
• Stage 4:  Year 7-8 UK, Gr 6-7 (USA)
• Stage 5:  Year 9-10 UK, Gr 8-9 (USA)

由于学生的学校申请和签证处理通常需要一年以上的时间，因此根据以下标准选择了这些学生：

1. 学校使用IDAT来评估学生的入学资格。
2. 学生已经开始在学校学习，并且至少学习了4个月。

一旦学生被选定，调查问卷将发送给每个学生对应的教师，以评估他们在以下方面对所选学生的IDAT考试结果的准确性的看法：

• 听力
• 口语
• 阅读及写作
• 语法
• 词汇
• 阅读理解
• 英语总评
• 数学

该混合方法调查首先包括了一个李克特量表调查，教师被要求根据以下量表评估IDAT的结果，以确定他们认为结果的“准确性”：

• 0 – I did not use this score
• 1 – Completely accurate
• 2 – Very accurate but not exactly
• 3 – Not very accurate
• 4 – Not at all accurate

在完成李克特量表调查后，教师被要求提供与每个学生的IDAT成绩准确性相关的评论。收集这些定性数据旨在帮助更好地理解和说明李克特量表调查的定量结果。

这项研究的一个特定限制是在研究中提到可能存在“不准确的测试”，如果实践教师的评估与学生的实际表现有所出入。这个措辞是错误的，因为这种差异可能很容易通过时间长短、测试环境或不可量化的外部因素来解释。所有IDAT测试在测试当天都被认为是准确的，它们是对学生在IDAT上那一刻的表现的快照。然而，尽管存在这个限制，仍然可以提供一些数值数据，供质量改进之用。

李克特量表调查结果

李克特量表调查结果经过描述性分析，结果显示教师认为IDAT的结果在调查的每个领域中准确反映了学生的能力：听力、口语、写作、语法、词汇、阅读、英语整体水平和数学。

表格1具体展示了与英语部分准确性相关的结果。在词汇领域，有两个分数被评为“完全不准确”。进一步的调查发现，这些被认为是“完全不准确”的分数所对应的学生处于第4阶段。除此之外，在其他领域中，被认为是“不太准确”的分数很多都来自第1阶段（更年幼的学习者）。 

Table 1 – Accuracy of English Sections of the IDAT

在比较教师对IDAT英语和数学部分准确性的评价时，数学和英语整体分数的“完全准确”评分比其他单独部分要少得多。结果显示，这两个部分都被认为是“非常准确”，紧随其后的是“完全准确”（见表2）。

英语方面的“不太准确”评分在“整体”上要比单独的部分高得多。所有数学方面的“不太准确”评分都来自一所使用美国课程的学校，该学校此前在数学测试方面曾经口头上表示得分低于预期。

相比于单独的英语部分，整体英语的不太准确将导致对整体得分的百分比权重进行进一步调查研究。 

Table 2 –Accuracy of English and Mathematics Sections of IDAT

Qualitative Responses

在完成李克特量表调查后，教师被要求在评论中提及与IDAT成绩准确性相关的问题，以帮助IDAT更好地理解来自李克特量表调查的定量结果。评论部分不依赖于与李克特量表调查相同的假设，也不受定量调查的措辞限制。由于具有更广泛的范围，IDAT发现从提供的定性数据中可以获得更多价值，并发现评论倾向于认为考试是准确的或有一定难度，但不会过于简单。

感知为准确的评论对IDAT的学术团队非常积极和肯定，其中包括以下短语：

“IDAT提供的评论和支持非常出色。这位学生在英语方面取得了巨大进步，这在很大程度上要归功于IDAT提供的诊断。”

“这些评论非常准确。这位学生在课堂上表现如描述的那样准备充分，但在数学方面努力不够。”

在被认为是“有一定准确性”的分组中，尽管有一些领域被认为并非完全准确，但回答者在其他许多领域中都认可了准确性，正如以下评论所示：

“这位学生在某些分数上的英语水平比测试所显示的要高得多。然而，我们能够为他在数学方面提供所需的支持。”

“最大的不一致性出现在阅读方面，显示出了一个非常低的水平。这位学生在阅读方面一直表现一致，需要一些支持。所有其他的评论都非常有帮助，她的词汇量在一段时间内仍然需要支持。”

在所描述的不准确性中，只有一个评论指出了一位测试得分高于能力水平的学生，而其他评论则表明IDAT所显示的能力要低于教师所确定的水平。在能力低于测试的学生的情况下，有指出这位学生参加了两次测试，这是IDAT不建议的。 

教师们的定性反馈还包括诸如“支持”和“改进”等词汇，表明IDAT的结果和评论已被用于对学生提供支持。一位回答者评论道：，"IDAT提供的评论和支持非常出色。"“另一位回答者则强调说， "...IDAT的分数非常准确，我们能够提供支持，这使得学生有了很大的进步。" 而另一位回答者则注意到了一位学生的进步。 “这在很大程度上要归功于IDAT提供的诊断。”

表格3包括了回答者根据教师对学生的经验所给出的关于结果准确性的评论的全面列表。这些评论被分为“被认为准确的”、“被认为大部分准确的”和“被认为不准确但给出解释的”三类。为了保护学生和教师的保密和匿名性，所有学生和学校的名称都已被删除。

Table 3 – Comprehensive Comments from Teachers

研究的启示和未来研究

这个小规模研究的结果给了IDAT对教师如何看待参加IDAT测试的学生的测试结果准确性一个初步的了解。具体而言，来自李克特量表调查的结果表明，IDAT需要审查来自美国课程的学生的数学测试，以确定它是否适合这些背景的学生，并且是否公平。关于阶段，IDAT将进一步调查阶段1和阶段4的词汇测试的内容和提问方法，以确定是否可以对这些阶段进行改进。IDAT团队认识到有必要审查和考虑调整“整体”得分的百分比权重。根据这项调查的结果，IDAT已经开始对系统中的所有问题进行编码，并很快将能够提取数据，准确了解所有学生在哪些问题上答对或答错。IDAT认识到，为了进行准确的评估，测试结果之间不应该有极端的差异，并且正在调整提问方法以确保准确性。此外，IDAT将全面审查阶段1的测试，以确定在线测试是否是年轻学生展示技能和知识的合适平台。

从定性数据中获得的反馈是令人鼓舞的，并表明教师对IDAT团队成员的评论非常感激，并依赖这些评论和测试结果一起提供的支持。IDAT将继续在测试结果和分阶段方面向教师提供评论和支持。此外，这些评论让IDAT意识到不准确性并不一定与测试问题和分数有关，而往往与IDAT和学校无法控制的情况有关，例如外部支持系统、母语和简单地擅长考试。IDAT继续监测这些不准确性，并在可能的情况下进行调整或提供额外支持非常重要。  

在2023年，IDAT委托了国家ELT认证计划有限公司（NEAS）进行一项一致性研究，以测量与欧洲语言共同参考框架（CEFR）所指示的英语水平相一致的程度。NEAS在英语和英语语言质量保证过程和程序方面具有专业知识。此外，IDAT还计划在2023年委托进行与国家读写能力和数学能力评估计划（NAPLAN）水平或其他国际基准标准相比的数学一致性研究。

随着IDAT的不断发展和广泛应用，一项大规模研究将根据母语、年龄和阶段安置来考察学生的横截面，从而进一步帮助IDAT验证英语和数学测试结果的准确性。

IDAT非常感谢路易斯安那州什里夫波特大学的兼职教授C. Amelia Davis博士同意审查和协助数据的呈现。

英国国家课程、美国共同核心课程、澳大利亚国家课程和安大略课程这四种国际课程互相结合，共同塑造了全面理想的IDAT国际考试体系。为了使IDAT能够在目标和结果方面满足课程的要求，包括基准声明、毕业生综合素质、国家资格或专业认证的需求，这些课程中的共同点将映射到IDAT考试当中。IDAT课程的创建将参考各个国际课程间的相似之处，适用于对全球各个教育体系下的学生进行评估。