一、引言
科研开发是企业的核心能力所在，是企业不断发展和成功的关键。科研开发是一个复杂的过程，这个过程包括从获取顾客需求直至顾客接受并满意为止的全过程。国企科研机构科研开发过程主要存在着以下主要问题：企业战略定位偏离或科研开发与服务超出企业战略目标范围及企业发展时期，盲目追求与市场接轨，致使科研开发举步维艰；科研管理程序严重落后，主要表现在课题的选题从上至下，不能紧密地结合生产、经营、销售实际；科研开发过程控制过于陈旧，大多数采用以时间要结果的简单开发，随着科学技术的不断进步，科技投入力度不断加大，如何利用有限的资源合理地创造出更大的经济效益和社会效益，是我们在科研管理中必须面对的问题。为了避免造成科研成果缺乏使用价值，减少决策的盲目性，提高科研经费的使用效率，在科研项目立项过程中，科学、客观地对申报的项目进行评价和筛选具有重要意义。科研项目的选择依据是考虑影响经济发展，有望带动产业结构升级和促进社会持续发展为原则。
二、科研项目评价指标现状
关于科研项目评价关键在于评价指标和评价方法的选择。西方发达国家的一些重要的科研项目计划（如英国的阿尔维计划、西欧的“尤里卡”计划等）和国际组织（如联合国粮农组织等）资助的大型科研项目，都十分重视项目的评估。自上世纪60年代起，许多国家就开始尝试对其科学研究活动的投入、产出、成果和影响力等方面进行评估，现在对科学研究开展的评估已成为一个快速成长的产业。其中美国的科技评估工作已成为制度化、经常性的工作行为，特别是1993年美国国会颁布《政府绩效与结果法案（GPRA）》，以立法形式确定绩效评估制度，完善了对科技项目的评估机制。欧洲各国大学的科研评价机构，如英国大学的科研评价体系（RAE）、荷兰大学协会（VSNU）、芬兰科学院和德国洪堡基金会等，对科研项目、科研人员和大学科研能力进行评价，主要目的是使高等教育拨款机构能够以“质量”为基础，有选择地分配科研经费，每年大约有10多亿的研究经费依据RAE的结果进行分配。
我国对科研计划、项目的评估工作起步较晚。科技体制改革以来，逐步得到重视。有些单位和个人进行过相关研究，也取得了一定的进展，发表过很多的学术论文。特别是90年代以来，科技项目的评估已被普遍关注。近年来，我国也开展过类似的评估探索，如国家科技攻关计划的评估、国家“863”计划的十年评估、中国科学院“八五”重大项目评估等。所使用的评估方法基本上与国外所采用方法相似，只是指标体系、评估程度、规范性、独立性等方面有明显的差距。这与我国评估工作尚处在探索阶段有关。我国科技评估工作实行定性评估和定量统计数据相结合，以定性评估为主；学术专家与管理专家相结合，以学术专家为主。中国的科学发展水平与发达国家有较大差距，科学研究的评估对我们的经济发展和技术进步都有着重要的意义。另外，我国在这方面与发达国家相比，还存在相当大的差距，尚未建立一套比较完善的，得到科学界普遍认可的评价指标体系，也未形成一套严格的科研评估制度。因此，有必要根据从国内外开展科研项目评估的现状来进行分析，主要有以下几个特点：一是评估活动既是通过立法保障的、制度化的工作行为，又是专业性很强、技术含量很高的研究活动；二是为决策服务是评估活动的基本宗旨，独立性、客观性是评估活动的首要原则；三是评估目标的明确化是确保评估质量的关键要素；四是坚持决策导向与重视评估理论方法的创新。
三、提高评价指标体系设计有效性的思路
现在所使用的国有企业科研评价指标体系基本上是依托科技统计指标体系形成的，通过多年不断地修正与完善，该指标体系在数据的系统性、时序性和灵敏性上已经形成一套较为完整的系统。完全否定它而设计一套新的指标体系并不是一个好的方案，况且在数据资料的采集与应用上，也存在诸多的技术难点。因此，在现有的指标评价体系基础上进行指标的扩展与测度系统的创新，是目前解决评价有效的思路。因此对现有的指标评价体系所涉及的指标进行筛选与整合，需要重点解决以下三大问题：1、利用现有指标体系的系统性扩充对绩效分析的研究范围，针对现有评价指标分析上的模糊性和雷同性问题，建立具有在一般绩效分析基础上的反映总体与局部科技资源配置特点与绩效的创新指标体系，进一步明确指标体系中的层次结构与类型结构。2、利用现有指标体系的连续性加强对绩效的动态研究。该研究要满足两类绩效评价要求，一是要满足科技资源动态配置过程的绩效测度要求，二是要满足对科技资源的动态管理过程的绩效测度要求。3、在现有指标体系的内在关联性基础上，加强指标分析中的规范化和贯通性。
1、设计原则
考虑到项目评价的复杂性、各类项目特点、指标的连续性与、时效性和灵敏性特征，特提出指标设计应遵循的原则，为下一步的指标设计提供理论指导。
第一，系统性原则。企业信息化是一个系统工程，在建立指标体系时，就要把企业作为一个系统进行分析，选择的指标应紧密结合企业信息化的现实状况，保证测度结果能够反映企业信息化的实际。
第二，可操作性原则。构成指标体系的指标，应该能够简化那些反映复杂现象的信息。指标不仅要有相对明确的含义，比较准确地描述所要表达的内容，还要能够容易取得较为准确可靠的数据，具有统计的可操作性。
第三，动态原则。指标体系中的指标不仅在数量上要根据行业的不同而动态改变，并且在影响权重上也要动态调整。
2、评价目标设计
评价目标是项目管理者关注的重点，也是决策的依据。美国国家科学基金会（NSF）、欧盟、韩国和我国都有不同的评价目标，评价目标主要包括有：1、项目的科学价值和质量；2、研究方向是否与社会发展紧密相关，对社会是否关系重大；3、研究结果的应用性、适用性、经济意义；4、研究内容是否涉及科学空白、前沿性、创新性；5、研究目标的确定性；6、项目的组织和管理计划是否周密。
在此，选择目标1和2作为评价目标。项目的科学价值和质量决定了项目研究意义和是否能获准资助，其社会价值决定了研究的实际意义，目标量化如表1所示。
3、指标体系设计
在进行项目评价之前，必须先建立一套完整的评价指标体系，指标选择原则考虑到项目类型、指标的系统性、时效性以及灵敏性。在实际调研中，将指标分为两类：一类指标是可以根据实际测量而不需作分级处理的定量指标；另一类指标是需要结合人为的或主观上的分析才能得到其值的定性指标。最后总结出评价指标体系由基本指标、评议指标和效能指标三部分组成。其中基本指标包括：项目负责人职称、项目负责人学历、已完成科研情况、获奖情况、相关研究基础、研究周期、研究经费等。评议指标包括：选题难易程度、研究现状、创新、研究方案、研究条件、研究团队、技术路线等。效能指标包括：研究成果形式、理论意义、实际意义、社会价值、预期经济效益等等。评价指标体系的设计框架依据政府科技投入的绩效评价环节分为三个过程：决策过程、管理监督过程和审议评价过程。这三个过程又可以进一步分为五个阶段：目标阶段、投入阶段、中间阶段、产出阶段和结果阶段。其中一、二阶段属于决策过程，三阶段属于管理监督过程，四、五阶段属于审议评价过程。三个过程分属于不同的行为主体，评价过程也有不同的侧重方式。
4、指标权重的确定
在以上设计的指标体系中，每个指标对信息化效益的贡献率是不同的。贡献率可以用权重来表示，贡献率大的指标所占权重也大。已有的指标体系采取预先分配给指标一个固定的权重，再根据德尔菲和层次分析法计算效益值。这种固定分配权重的做法不能客观反映指标的真实贡献率，也不适合不同类型的企业。这里采用人工神经网络的方法动态调整权重至一个合理的值。BP神经网络是人工神经网络的一种，由于它具有非线性和鲁棒性等突出的优点，具备了一个比较实用和有效的训练方法，为因此，用它来确定企业信息化经济效益评价指标权重是可行的。科研项目评价是一个复杂的系统，把评价指标作为系统的输出，则对应的输入是一组指标值，即：y=f（x1，x2…，xn）。
ek为第k个中间结点误差，h是学习率。确定指标权重的方法是采用梯度下降法，即根据误差反向传播的原理计算wi。BP网络的学习过程分成两个阶段，在第一阶段里对于给定的网络输入，通过现有连接权重将其正向计算，获得各个神经元的实际输出；在第二阶段里，首先计算出输出层各神经元的误差，这些误差逐层向输入层方向逆向传播，以获得调整各连接权重所需的各神经元参考误差。
四、结论
为了更好地发挥国有企业科研项目的社会效益和经济效益，对申报立项的科研项目进行科学评价是必要的。采用不同的评价指标体系和评价方法，其结果的置信度是不一样的。评价指标体系的建立使客观、公正的科研项目评价成为可能。在设计的指标体系中，通过设计对科研项目产生影响的指标分类和合理的指标权重分配，解决了根据以往指标体系评价科研项目时存在的一些问题。利用神经网络的方法动态调整指标权重为一个合理的值，避免了用固定权重评价时带来的偏差。指标选择是否具有系统性、相关性和典型性，训练样本收集的难度、数量和质量都会影响神经网络的学习效果及结果的可信性。因此，对他们进行深入地研究才能更客观地评价科研项目的价值。有效手段改善目前现状是一个具有社会意义和经济意义的问题。
（注：本文为湖北省教育厅科学技术研究重点资助项目（2004D020）阶段性研究成果）
