语用测试之听写及TEM4考试

每天前20名注册可获免费名师辅导 学英语记词汇练口语

真人一对一教学

抢注网址： www.englishvip.com/wenkxd.htm

作为大规模的标准化考试，TEM4大体上经历了组织命题， 预测（Pre-test), 预测分析（Statistical analysis), 修改(Revision), 命题成卷，实施考试， 测量评估等几个阶段。 同样听写也经历了这些步骤。 每年考试之前， 都要找一组尽可能接近真实水平的测试对象做预

测， 以便于掌握分析试卷的难度，录音存在的问题等。

4 听写的成绩分析

（1）.听写结果与总成绩的高相关。

一份试卷的效度如何， 需要在考试后做数据分析， 从科学的角度审查考试的最初目的是否

达到。

从几年以来的数据上来看， 听写与总分的相关系数很高。 的确， 在听写中，考生要听懂，理解所听到的内容，然后准确写出所听内容。因此听写的过程实际上是接收性技能（Receptive skill，如听）和产出性技能（Productive skill, 如写）综合运用的过程。在听之前根据题目可以展开联想，有了期待语法的运用，在听的过程中要判断语群（Sense group),词组，句子之间或段落之间的关系等，选择正确的标点符号，写当中要正确调用所掌握的语言知识（如语法，词汇），对主次信息的处理，从上下文选择合适的词，需运用分析推断能力，因此听写作为一种综合性的技能且溶入了\内在化的期待语法\（Oller,1974,1978,1979), 与其它测试部分的有所相关及与总成绩的高相关也就不难理解了。 实践经验， 听写的确有效地测试了语

言的综合运用能力。

（2）. 对教学的wash back 及存在的问题

通过几年的抽样数据分析， 不难看出这几年来参加考试的人数以每年超过10%的速度递增， 考试的总体成绩也有所提高。 而其中很重要的便是听写成绩的上升， 直接影响了最后的总成绩。 反映在教学上，这单项的进步与之不无关系。 然而每年仍有不少人这单项只得零分， 94年对于8个高中低院校的600个考生进行抽样统计， 其中349个考生在听写中得零分，

洛基国际英语 竭诚为您服务

每天前20名注册可获免费名师辅导 学英语记词汇练口语

真人一对一教学

抢注网址： www.englishvip.com/wenkxd.htm

占58.%。95年全部考试人数中有1583个人得零分，占11.7%。

对照教纲中\错误率不超过8%\的要求仍相差甚远，（如若以60%的通过率来算，也应以9分为最低要求）。尽管听写是个相对机械的简单操作，但近几年来不甚理想的听写成绩却暴露出目前教学中被忽视或不够重视的一种最基本的技能训练。 由于客观选择题在考试中的大量运用， 种种举手可得的电子化词典的帮助, 学生在此项目上直接或间接所得到的训练也相应减少。反映在TEM4中，尽管考纲中取了教纲中对四级的最低要求--150字，对难度

的要求也趋于偏低，但最终的测试结果仍不理想。

在笔者所经历的阅卷过程中， 听写中的几个明显错误是：1考生对这种标准听写形式的陌生, 对听写材料进行改写甚至发挥到加工成作文；2 不知如何利用第一遍听音时把握全文的大意(top-down approach), 而着急写， 丢了西瓜捡芝麻(bottom-up)，只见部分单词而缺少骨架结构；3 同样， 在第四遍结束后的两分钟复查时间里， 不会很好地利用分析逻辑能力对

有些明显的或介词搭配或词语进行校正。

如果姑息迁就对听写的忽视现象， 那末将不会有利于走向交际化训练，培养交际能力的趋势， 同样学生到了毕业前对于TEM8中的Note-Taking(more-meaning-oriented task) 也定会

束手无策了。

曾经与上外李观仪教授谈到了这个问题， 她对于高等学校学生在听写方面令人不甚满意的表现表示了深深的不解和忧虑。 对于从小学三年级起就受到听写训练的李先生而言，听写不应再是大学生的弱项。中学时代就该打好基础， 不该出现英语专业学生试之畏途的现象。

IV 听写的评估与TEM4考试中评分标准的修订

考试的评分方式可分为analytical 与holistic scoring, 即分析法和整体评分。 现在越来越多的主观性考试都偏好于holistic scoring. 如TOEFL中的Writing Section，英国的IEITS考试等。在TEM4和TEM8中，Noting-writing, composition writing, translation 都采用了这种方法。

洛基国际英语 竭诚为您服务

每天前20名注册可获免费名师辅导 学英语记词汇练口语

真人一对一教学

抢注网址： www.englishvip.com/wenkxd.htm

至于听写，由于要求是逐字逐句听写，对于准确性有了一定的要求， 而且考虑到评分员的资历，经验不同，主观上参差不齐，队伍不太稳定， 所以仍以分析法为主， 这样能够更客

观可靠， 提高信度

对于标准听写的评分， 大多跟据每个或数个单词占一分进行， 具体来讲， 主要有两种方法：如果考生答出的正确内容多于错误， 就数错误的个数，从总分中减去错误数所占的比例分，反之， 若错误多于正确的个数， 就数正确单词， 其个数乘以应占比例， 即为所得

分。

由于听写能够综合测试考生的多项语言知识和技能，又需运用听和说两种输入（出）方式， 因此给听写的评分增加了难度， 因为听写内容效度的构成很难细分到各个单一成份， 对信息重点与次重点的处理， 很难有个绝对合理科学的依据， 而不问错误性质的评分方法，

不能真正反映学生的正错能力水平。

94年以前的TEM4中的听写是以不问性质，数错个数的方式进行评分的。 也就是说， 完全按照语言知识的准确性， 凡是两个错误， 无论是拼写，还是理解， 无论是漏字还是增字等， 都会扣除一分。 以数错为愿则的评分法比较机械， 易于操作， 对评分员的要求不高， 然而却信度低， 这是因为： 一个人在外语的听，说，读，写，译等方面不可能是同举并进， 而是存在着具体的语言水平差异。 一般来说，一个人的理解输入能力要超过输出能力。 而听写的目的是既要听（输入材料）， 也要写（输出）， 这里听的重要性是显而易见的，是基础， 然而通过考试卷表现出的则是写出来的结果， 那么就会出现以下几种情况：

（1） 有的考生听懂了，理解了，记住了（short-term memory)， 并写了下来， 这是最好

的情况；

（2） 有的有的考生听懂了，理解了，没记住， 写不下来；或由于速度过慢，只写出了部

分； 或只听懂了部分， 写出了部分， 那么在听，写当中即存在着水平差异，

洛基国际英语 竭诚为您服务

每天前20名注册可获免费名师辅导 学英语记词汇练口语

真人一对一教学

抢注网址： www.englishvip.com/wenkxd.htm

（3） 有的人没听懂，自然也就写不出，或写的时候非常粗心，笔误太多。

同样类型的错误，也有可能反映出不同的语言能力。 比如， 同样是漏字， 有的是漏掉无关全文理解的结构词， 有的是漏掉重点信息的关键词(key word)， 同样是拼错词， 有的是跟本写不出， 有的是错掉一个字母， 跟据1994年的评分标准， 每两个标点符号错误扣一分，两个拼写错误扣一分，即纯粹的以形式的准确性作为唯一的评分根据， 而忽略了听力理解(comprehension)的能力， 交际的意义性。这样做的结果便是使处于第二种和第三种情况的考生有得分相近的可能， 也就是说，听懂了部分或写出了部分的人（但有笔误）和一些完全听不懂，不知所云的考生从最终成绩上看不出卷面上的差距。 另一种情况是有的人由于某种原因， 前面或后面的几个句子漏写了，根据个数统计， 也许会扣掉大部分或几乎全部的分数，即使他写出了其他的句子。 这几种情况大大地影响了评分的信度，考试的区

分度，从而不能真正的衡量出学生的实际语言水平， 失去了考试的意义。

94年之后， 这问题便直接（从评分员）或间接地（稍后作的Questionnaire)提了出来。 通过综合考虑各种意见， 大量的试验之后， 重新修订了评分标准。 即从语言知识的准确性(accuracy)和交际意义的流畅性（fluency)两方面， 根据所犯错误的大（如key words的遗漏， 重要词的严重拼误， 对情态助动词的遗漏， 介词， 关系代词的错误严重影响了语群的意义， 时态和语态的错误， 及句群的结构部分错误却影响了整个句群的内容， 小（如标点符号，大小写， 定贯词， 指示代词，范连接词， 名词的单复数， 主谓不一致， 动词不定式符号to的省略， 不严重的拼写错误或省略等）对交际内容的正确传达的影响大小等， 来确定不同的扣分标准。 同时每个chunk最多只能扣一分，这样由于对于某句话(chunk)的不理解而导致的错误输入不会影响到对另一句话(chunk)正确输出的得分。 同时， 形式(form)的准确性兼顾交际意义(meaning)的流畅性体现了教学大纲中\对学生实际运用语言的准确性

和流利程度必须并重\的原则， 从另一方面也可以促进交际教学法的应用。

实践证明， 新的分层次的评分标准更灵活， 对于提高听写评分的信度和区分度及评分的效

率都大有好处， 大多数评分员也都认为更合理。

洛基国际英语 竭诚为您服务