科技论文质量评价的研究和实践

是衡量作者科研水平的重要标志，也是科技期刊稿件选择的重要依据．随着科研管理部门对科技人才，特别是青年科技人才的培养、选拔、成果鉴定与科技奖励的日趋重视，科技论文质量评价的方法也在不断发展和改进，从当初的定性评价，到如今的所谓定量(文献计量学)判断，每种方法从开始应用，就在争论中实践．时至今日，仍缺乏一种全面、客观、公正的科技论文质量评价体系．也正因为此，科技论文的质量仍是当今中国科技界关注的焦点问题．作者根据自身的思考和有关的科技论文质量评价研究和实践，对科技论文质量评价进行分析和综述，旨在揭示科技论文质量评价争论的实质，为建立全面、客观、公正的科技论文质量评价体系提供参考．

1、科技论文质量评价的方法

从科技论文质量评价发展和实践看，依据评价指标是否定量来分，评价方法可分为定性评价和定量评价;依据评价指标的来源分，又可分为直接评价和间接评价．两类评价方法是相互重叠的，定性和定量评价中同时含有直接评价或间接评价，直接评价和间接评价中也同时含有定性评价或定量评价．科技论文质量评价的实践表明，人们对科技论文质量评价的认识基本上是一个从定性到定量的过程，但直接评价法没有从定性到定量明显的发展过程．科技期刊的选稿一直采用定性评价中的直接评价法，学位论文评价中有的采用定性和定量相结合的直接评价法．科技管理的科研评价中，从定性到定量的过渡较为明显，其中《中文核心期刊要目总览》第1版的出版是其最明显的标志，即20世纪90年代以前是典型的定性评价，1992年后借用定量化的文献计量学指标评价期刊中发表的科技论文，又以评价后的期刊定性评价在其中发表的科技论文质量。

1．1直接评价法

直接评价法是指从科技论文本身选取评价指标，即从科技论文的创新性、科学性、写作水平等方面来评价其质量的方法．由于评价指标来源于科技论文内部，也可称为内部因素评价法。

直接评价法是对每篇科技论文本身进行评价，科技期刊界和学位论文答辩一直采用该方法，主要通过书面审阅、学术讨论和公开答辩来进行．黄晞认为科技论文的质量一般是依据其理论价
值、实用价值和写作水平等来评价的，理论价值有世界先进水平、国内先进水平、一般先进水平和无学术水平之分;实用价值主要考察经济效益、技术效益和社会效益3个方面，分重大、一般和无效益3个档次;写作方面考察文字表达等写作方面的优劣。

路景云认为科技论文的质量评价应遵循“新、深、实”的原则．杜利民等不仅提出了科技论文的质量指标体系，还建立了一套量化评估的方法．钟细军把科技论文的质量归纳为创新性、学术价值、语言艺术和文章格式，提出了“质、功、形”3类评价指标．常思敏认为科技论文的质量由政治质量、学术道德质量、学术质量和写作质量4部分构成，各部分质量又由各自的子因素构成。

可见，科技论文的质量在直接评价方面智者见智，仁者见仁，评价的目的虽一致，但所取指标不尽相同．在真正的评价实践中，评价者又多是根据自身的科技知识、认识、能力，依据自己的标准或别人提供的评价框架进行综合的、定性的判断。

1．2间接评价法

间接评价法是指从科技论文来源的级别、或科技论文发表期刊的级别或质量来判断其质量优劣的评价方法．由于评价指标不是直接来自科技论文本身，而是与科技论文质量相关的评价指标，故此种方法又可称为外部因素评价法．间接评价法中，从科技论文来源的级别看，有基金项目来源级别、作者职称级别等;从科技论文发表的期刊看，有是否为核心期刊、SCI期刊、高影响因子期刊、国家级期刊(一级期刊)或省(市)级期刊(二、三级期刊)等。

从表面上看，间接评价法由当初的基金项目来源级别，作者职称级别、期刊级别等到核心期刊、SCI期刊、影响因子等文献计量指标评价是一个所谓的由定性评价到定量评价的过程．事实上，用核心期刊、SCI期刊或影响因子等来评价期刊是指标量化了，但用相关的期刊质量评价科技论文质量仍是定性评价的范畴。

1．2．1作者的职称级别和基金项目级别依据作者职称级别和有无基金项目资助，以及何种基金项目资助来判断科技论文的质量是从科技论文的出身来进行的，这一方法在实践中多有应用，是一些期刊编辑部选稿的依据之一，基金论文比例是中文核心期刊筛选和期刊评比的重要指标之一．一般说来，作者的职称级别较高和有基金项目资助的论文，质量相对较高，但也不能一概而论。

需要说明的是，应用作者职称级别和基金项目级别者不是把其作为科技论文质量判断的唯一标准，如期刊编辑仅是把作者的职称高低作为稿件初选的标准，是否采用还是依据论文本身的质量。

1．2．2科技期刊的级别由于20世纪90年代初期职称评定等的需要，把科技期刊人为地分为国家级、省(市)级期刊，或者对应地称为一级、二级或三级期刊．所谓的国家级期刊，也就是全国性期刊，是指国务院所属各部门、中国科学院、各民主党派和全国性人民团体主管的期刊．省(市)级期刊，即地方性期刊，是指省、自治区、直辖市各委、厅、局主管的期刊．评定者认为在国家级期刊(或一级期刊)上发表的科技论文质量优于省(市)级(或二、三级期刊)，随后出现了一些关于期刊分级的论述，这种分级方法鲜有赞成者，认为不当者占多数。

科技期刊管理部门对期刊进行这种划分主要是管理上的需要，其主要区别只限于主管部门的不同，不反映期刊和论文的质量水平．因此，科技论文的这种评价方法一出现就倍受争议，更因为影响了作者的投稿取向，使得科技期刊界的反对声尤其强烈，认为用这种方法衡量科技论文的质量是不全面的，也是不实事求是的，《中文核心期刊要目总览》第1版的出版使这种“期刊级别论”的应用逐渐失去了主导地位。

以期刊主管、主办单位级别衡量科技论文质量的作法依据是全国性的期刊稿源广泛、充足，对稿件筛选的余地大，发表的科技论文整体质量偏高，但遭到反对的根本原因是受中国长期以来的等级观念影响，忽略了作者投稿动机、期刊整体质量与论文个体质量的差异，用群体质量简单、粗暴地代替个体质量。

1．2．3核心期刊核心期刊的概念深入人心是1992年出版的《中文核心期刊要目总览》第1版，其理论根据是布拉德福定律．核心期刊概念的提出和核心期刊表的研制是为了解决图书的馆藏矛盾、购买资金矛盾、读者的精力和时间矛盾的。但中国的核心期刊产生以后，却被不恰当地用来评价在其上发表的科技论文的质量及作者的学术水平，成了评价科技论文质量和作者水平的工具，形成了不正常的“核心期刊现象”．时至今日，把核心期刊作为科技论文质量评价的作法还在应用，但随着时间的推移，这种方法的客观性越来越受到人们的质疑。

虽然核心期刊上发表的科技论文整体质量较高，但并非所有的论文质量都高，反之，非核心期刊发表的科技论文不一定都是平庸之作，这种以刊论文的评价方法不可避免地存在缺陷和弊端．况且，核心期刊的研制仅是从学科体系筛选期刊，没有区分期刊刊载的具体内容，其研制本身也具有局限性．因此，作为科技论文的评价工具，把学术期刊和技术期刊、科普期刊混在一起，等同看待，难以服众。

从中国核心期刊产生的背景看，核心期刊是非网络时代的产物，而当今网络发达，电子期刊(如中国期刊网等)的产生和广泛应用，可以说让核心期刊失去了存在的价值和本来的作用，更不用说继续用来评价其中刊载的科技论文质量了。

1．2．4SCISCI(Sciencecitationindex)，即科学引文索引，是美国科技信息研究所(ISI)于1963年创办的科技文献检索刊物。SCI的基本功能是文献检索功能，其初衷是从引文方面入手为科研人员提供一个独特的获取参考文献的途径，又因其严格的选刊方法和标准，使人们认识到其对期刊的评价作用。但是后来，以普赖斯为代表的文献计量学家将SCI用于科学活动的研究，使SCI成为国际权威性科技评价工具。20世纪80年代末，南京大学首先将SCI引入中国的科研评价体系，之后迅速被国内科学界当成一个可以尽量避免人为因素影响科研评价的标准，并逐步形成了对SCI的盲目崇拜现象．时至今日，SCI被广泛应用于衡量科技工作者在学术研究上的成就、研究生学位论文的合格答辩等方面，各单位也纷纷制定相关政策，将SCI收录论文与个人的工资、奖金、职称评定、经费分配等挂钩。

但是，SCI对科技论文质量的评价问题也是中国学术界争议比较大、持续时间比较长的问题，一些专家、学者，甚至院士都对SCI能否作为评价科技论文质量的标准纷纷发表评论，且有随时间的推移对SCI评价功能负面影响的反应日趋强烈的趋势。

1．2．5影响因子影响因子是SCI创始人加菲尔德率先提出并已得到广泛应用的一项利用引文来评价期刊的重要指标．其本质是以期刊为对象，统计一定时期内期刊论文的平均被引率。一般来说，影响因子大的期刊，不仅是某一学科人员关注度最高的期刊，而且也是作者投稿经常考虑的重要依据。

影响因子是筛选核心期刊和SCI期刊的重要量化指标，也是随着中文核心期刊的产生和SCI的引入而逐步深入人心的．尽管影响因子在科技论文质量评价方面争议颇多，但目前科研管理部门对科研人员考评时，多硬性规定必须有若干篇发表在影响因子为某数值以上期刊上的科技论文，对科技人员的奖励更是以影响因子的高低为依据。

1．2．6被引频次被引频次是指某期刊或某论文在特定时期内被参考引用的次数，有期刊被引频次和单篇论文被引次数之分．被引频次也是文献计量学的重要指标，期刊的被引频次在科技论文质量评价中的局限性和负作用越来越明显。单篇论文的被引频次受到人们的重视，被同行引用的情况也往往代表了一篇论文的创造性和前瞻性，表明受到学术界的重视程度，是衡量科技论文质量的最直接指标。相对于那些除了作者外，只有编辑和审稿者看的论文来说，能被引用的论文还是有一定的价值的，但是，用单篇论文的被引频次来衡量科技论文的质量仍然是有局限性的。

2、科技论文质量评价方法的理论基础及存在的问题

2．1直接评价法的质量构成因素理论及存在的问题

从直接评价法的定义、研究结果的介绍和评价实践看，作者把直接评价法的理论依据归纳为质量构成因素理论，即科技论文的质量是由学术性和写作质量等论文本身的各种构成因素以及它们各自的子因素的质量高低来决定的。在评价实践中，不论评价者学术水平和学术素养的高低，对单篇科技论文的评价都是从论文的基本构成因素来分析的．学术管理部门现在不采用这种方法的原因，一方面在于直接评价法工作量大，对评价者的学术素质和道德素质要求高，主观性大;另一方面，直接评价法的根本问题是对科技论文质量构成因素的指标选取不一致，目前的实践和研究中指标选取仁者见仁，智者见智，而且有的指标选择存在逻辑上的重叠现象，尚没有一个大家认可的指标选择体系．在定性指标尚没有标准的情况下，建立在这种基础上的量化研究的可操作性和普及性就难以服众。

2．2间接评价法的理论基础及存在的问题

2．2．1等级论及存在的问题等级是一个按社会地位高低来划分的政治概念．因受传统思想的影响，如今在人们的观念里等级思想还根深蒂固．反映在科技论文质量评价上，就是从期刊的主管部门的行政级别、作者的职称级别和基金项目的级别来判断科技论文质量的高低．科技论文本身不存在社会上认为的级别之分，期刊的主管部门也多次声明用行政级别划分期刊质量的提法不够严格，但是，采用等级论来衡量科技论文质量的观念和作法还依然存在。

作者的职称级别高，学术研究能力和学术水平相对也高，这是不争的事实．但是，作者的职称级别高，其写作的科技论文就一定高则值得商搉．如作者任职某一级别的职称以来，可能发表很多论文，但每篇论文受当时的学术基础、科研资金和精力投入、写作目的等多种因素的制约，不见得篇篇都是代表其水平的精品力作。

得到基金项目资助是进行科学研究的重要保证．每种基金项目都要通过有关的评审程序．虽然评审过程中可能存在一些不正之风，但绝大多数得到资助项目的作者水平是得到认可的，而且是项目审批单位的级别越高，其资助的研究学术水平就越高．问题是代表一项研究基金项目的科技论文是否反映了预期目的，即使是论文反映了预期目的，其研究论文是否只有一篇．从研究实践看，一项基金资助项目往往是一系列的研究论文，这系列论文中篇篇都是高质量不能一概而论．更严重的是，作者为了易于发表，期刊为了提高基金论文比例，已导致了科技论文中基金项目挂名等学术不端行为的发生。

2．2．2文献计量学理论及存在的问题文献计量学是以期刊为研究对象，以服务读者需求为目的，采用若干的定量指标评价期刊质量的科学体系．核心期刊、SCI期刊、影响因子和被引频次等都是文献计量学的研究成果．由于文献计量学采用了定量的研究方法，与直接评价法相比，客观性大和可操作性强，因而，借用文献计量学的研究成果间接评价科技论文质量的方法成为目前科研评价的主导方法．正由于是借用期刊的评价方法，从一开始应用就有异议，如今反对声音更是日渐高涨，但多数异议者看到的是这些方法表现出的表面现象和由此产生的负面影响，仅有少数研究者能分析其中的实质。

借用文献计量学成果和对期刊进行人为分级来评价科技论文质量是利用期刊的学术质量与所刊载的论文质量呈现的正比关系，是建立在论文质量与期刊质量等同的前提基础上的．但是，论文质量与期刊学术质量间的相关程度的高低、与期刊的稿源、审稿者的水平、编辑水平等有很大关系，学术质量高的期刊稿源广、稿量大、筛选的余地大，虽也受审稿者和编辑水平的制约，但所发表的论文平均质量较高，受作者和读者的关注度也高，文献计量学指标表现好;反之，稿源单一、稿量较少，审稿者和编辑水平有限，期刊中论文的质量就可能参差不齐，期刊就不可能有很高的学术质量，文献计量学指标统计结果也不会尽如人意。

文献计量学统计结果是建立在期刊学术质量基础上，期刊的学术质量又是其所刊载的论文平均质量的反映，决定于编辑和审稿者对单篇论文质量的直接评价．因此，科技论文质量的间接评价法是以直接评价法为基础的．直接评价法才是科技论文质量评价的根本方法。

间接评价法优点是借用现成的研究结果，评价用时少、易操作、对操作者的学术水平和学术道德要求低．但是，其缺点也非常明显，引起的负面后果很严重．间接评价法只重视了群体和个体间的一致关系，忽略了群体与个体间的差异和由此引起的负面效应。

这里所说的群体有两层含义:一是核心期刊、SCI期刊、特定影响因子范围内的期刊等分别构成的期刊群体，二是各期刊所刊载的各篇论文构成的论文群体．期刊群体内的各期刊因文献计量学指标数值不同，表现出不同的学术质量．把同一期刊群体内而学术质量有差异的期刊所发表的论文笼统地认作同一质量档次显然是不合适的．这是间接评价法存在的问题之一。

另一方面，每种期刊都是按照一定的办刊宗旨，在稿源多少、审稿者和编辑水平等因素影响下产生的论文群体．间接评价法评价的是这些论文群第1期常思敏:科技论文质量评价的研究和实践131体的平均质量，不是对其中某一篇论文的单独评价．用群体的平均质量对待高于其平均值的论文质量，显然有失公允;把群体质量等同于其平均值以下的论文质量也不恰当．这种“以刊论文”是间接评价法存在的问题之二。

间接评价法只关心科技论文发表在了哪里，不关心其中发表了什么，由此产生的奖励措施使某些科研人员产生浮澡心理，导致弄虚作假等学术不端行为广泛发生．这是间接评价法存在的问题之三．文献计量学统计是建立在期刊已发表论文基础上的，统计时的论文与后来利用这些论文统计结果判断质量的论文之间并没有直接的或必然的关系．从这一角度看，间接评价法给一种“前人栽树，后人乘凉”的感觉．这是间接评价法存在的问题之四。

从知识产权的角度讲，间接评价法是一种没有付出任何科学劳动的学术偷懒行为，是应用期刊编辑和文献计量学研究者的劳动成果进行经济活动的行为，但因其没有支付任何劳动报酬，实际上又是一种学术剽窃行为．评价者本身就是学术不端者，上行下效，被评价者能做出各种各样的学术不端行为也就不足为奇了．这是间接评价法存在的问题之五。

科学技术是人类的共有产品，没有国界和你我之分，但科学技术涉及的利益是分彼此的．间接评价中出现的盲目崇拜SCI现象，已经导致了中国科技信息和科研资金的大量外流，影响了中国科技信息的安全性和科研动机的目的性，不利于中国科技事业的正常发展．这是间接评价法存在的问题之六。

3、科技论文质量评价的发展方向

直接评价法是科技论文质量评价的最根本方法，科技期刊一直采用此法，其原因就在于科技期刊界有一套严密的“三审”制度，使编辑和审稿者之间能取长补短、相互制约，因而除了个别故意不严格执行者外，很少有人怀疑其合理性．因此，目前的科技论文质量评价需要建立一套合理的评价体制，并在合理评价体制基础上，建立一套客观、公正、公开、可操作性强的直接评价方法。

3．1培养一批科技论文质量评价人才

人才是科技和社会进步的领头羊．之所以会出现目前的科技论文质量评价状况，重要原因之一就是缺乏这方面的人才或这方面的人才素质有待提高．中国的科技发展需要培养和选拔、激励科技人才，需要进行科技论文质量评价，客观的评价又能反过来促进科技和人才的发展．因此，科技论文质量评价是科技工作的重要组成部分，是科学研究的一个重要方面．要客观、公正地评价科技论文质量，评价者应“站在被评价者肩膀上看问题”，这就要求评价者有很好的科学知识、科研能力和学术道德素养，是既能把握学科研究前沿动态，又具有良好的科技表达能力和高尚道德修养的学者．仅具有其一项或两项的专家都不能很好地胜任这项工作．因此，要把一些具备科技论文质量评价素质的科技人才吸引到科技论文质量评价队伍中来，要按素质要求培养一批科技论文质量评价的人才，奠定好科技论文质量评价的人才基础。

3．2完善科技论文质量构成因素理论

要建立全面、客观、公正的科技论文质量评价体系，有益于科技的发展，就必须有正确的理论来指导．质量构成因素理论是作者从科技论文质量评价的实践中总结出来的一家之言，可能从直接评价法的其他研究角度会发现更好的理论，这就需要对科技论文质量评价的内在规律进行深入、细致地研究．就质量构成因素理论而言，选择合理的、令人信服的质量构成因素仍是当务之急．在此基础上赋予合适的权重，为定量化研究打下坚实基础，就可能避免运用直接评价法时产生随意性强、主观性大的弊端。

3．3组建不同学科或同一学科不同研究方向的科技论文质量评价和复议委员会

有了科技论文质量评价的人才和科学的评价方法，还需要建立相应的评价机制，使其满足需要、人尽其才和因文施法．要做到这些，就应建立不同学科或同一学科不同研究方向的科技论文质量评价委员会和复议委员会．评价时采取公开的方法，把评价方法、程序和结果置于监督之下．如果被评价者不服或持有异议，可申请复议委员会仲裁．这种把评价者和被评价者都置于公开状态，可树立优秀者的自信，暴露学术不端的丑行，维护了科学研究的尊严和公道，使科技论文质量评价健康发展，进而促进中国科技事业的良性发展。