【学习提升】从软件服务行业看政府采购绩效评价

2020-05-25 10:22 618 2
软件服务项目尤其是定制化软件,存在较为明显的非标性:从项目价格预算的确定,到项目需求的明确,到项目过程的管理,到项目成果的验收等,因为行业中缺乏统一的标准,各采购预算部门(单位)和服务商,其管理标准均会存在较大的个性化差异。这也导致政府采购活动中对软件服务项目的评判存在一定的难度,项目后期的履约进度和质量存在一定的风险,软件的实际使用效果与预期相差甚大的想象也较为常见。
01
绩效评价的概念和意义

财政支出绩效评价是指依据设定好的绩效目标,运用科学合理的评价方法、指标体系和评价标准,对财政支出的产出和效果进行评价。
举一个较为通俗的例子:因为口渴,需要花两块钱买一瓶矿泉水,其中产出是一瓶矿泉水,效果是口渴问题的解决,而两块钱则是实现产出和效果的投入。
5.png
财政支出绩效评价应当不仅关注产出和效果本身,同时也应该关注投入是否合理,所以财政支出绩效评价关注的应当是支出效果和支出效率。
那么,政府采购绩效评价应当关注什么?
笔者认为,政府采购较为重要的两个词,一个是“公平公正”,一个是“物有所值”:“公平公正”是政府采购的基本宗旨,“物有所值”是政府采购的活动目标。因此,政府采购绩效评价,应当至少关注两个方面,一是采购活动本身是否合法合规、公平公正,是否充分保障了参与采购活动各方的合法权益;二是采购成果的数量、规格、质量和使用效果等,是否达成了预期的目标,是否与所投入的采购资金相匹配。
以笔者所从事的软件服务行业为例,软件服务项目尤其是定制化软件,存在较为明显的非标性:从项目价格预算的确定,到项目需求的明确,到项目过程的管理,到项目成果的验收等,因为行业中缺乏统一的标准,各采购预算部门(单位)和服务商,其管理标准均会存在较大的个性化差异。这也导致政府采购活动中对软件服务项目的评判存在一定的难度,项目后期的履约进度和质量存在一定的风险,软件的实际使用效果与预期相差甚大的想象也较为常见。
4.jpg
将绩效评价的理念融入政府采购管理,笔者认为可以产生至少三方面的作用:
第一,通过对项目绩效评分的分析和调研,找到问题症结所在并提出改进建议,实施绩效整改以优化采购项目绩效目标的实现程度,提高采购绩效;
第二,将采购项目的绩效评价结果应用于管理决策参考,比如项目后续年度预算的安排、项目后续新增建设内容的采购申请批准等,将财政资金更多的分配到绩效情况较好的优质项目中,从而提高财政资金的支出效果和支出效率;
第三,大量绩效评价成果的沉淀和经验的积累,可以作为管理政策和制度优化、更新的参考依据,提高其对问题治理、应对的精准性。
02
绩效评价的基本方法

绩效评价根据所处的项目阶段,可以分为前评价、事中评价以及后评价:前评价是指在项目执行以前(即项目的申请阶段)对项目开展的评价,主要论证项目是否必要、可行;事中评价是在项目执行过程中分次对项目绩效目标的阶段性实现情况进行评价,主要是为了及时发现偏差纠正偏差;后评价是在项目完成后对项目绩效目标的实现情况进行评价。在本次的文章中暂且仅针对后评价进行探讨,以下所称的绩效评价,皆是指后评价。
绩效评价项目的开展可以主要分为二个阶段:评价方案的设计和评价报告的输出。
1、评价方案的设计
评价方案的设计阶段,主要是完成绩效目标的设定,其中也包括了评分的计算方法、参与得分计算的基础数据采集要求等内容。另外,评价方案也会对绩效评价工作的人员安排、组织过程等进行规划。
绩效目标是指使用项目资金在一定时限内计划达成的目标,在财政支出预算管理中绩效目标主要包括产出目标和效果目标,产出目标是指项目计划达成的产出数量、质量、时效性、成本等要素,效果目标是指项目计划达成的经济效益、社会效益、生态效益、收益群体满意度等要素;对标到政府采购领域,笔者认为可以再补充项目预算的合理性、采购方式的合理性、采购过程的合规性、采购活动的效率性等管理要素。
3.jpg
为了能够依据绩效目标实现科学、客观的绩效评分,我们对构成项目的要素进行提炼、量化,成体系的对项目进行描述,我们称为绩效评价指标体系。绩效评价指标应尽可能为量化指标,对于部分必须设定的定性指标,也应有可衡量、可执行的评分标准与之匹配。行业内对绩效评价指标的设定有一个SMART原则,即指标必须是具体的、可衡量的、可达到的、与项目相关的、具备时限性的。
指标的要素构成至少应包括指标名称、目标值、指标权重、实际值计算公式、基础数据和评分计算公式。
还是从笔者所从事的软件服务行业中举例来对指标要素进行进一步解释,比如一个“呼叫中心系统运营项目”:
示例1,产出质量指标“热线电话接通率”,目标值是指计划达到的值,假设设为“90%”;指标权重是指该条指标在评分时应当占的权重,反映该条要素的重要性,假设为“20%”;实际值计算公式是指实际达到的数值的计算方式,应该为“(接通电话数/总拨打电话数)*100%”;基础数据是指评分阶段需要去采集的数据,为“接通电话数”和“总拨打电话数”;评分计算公式是指最终计算指标得分的公式,比如为“当实际值达到目标值90%时得权重满分,每降低5%扣除权重分的10%,低于或等于50%不得分”。
示例2,采购管理指标“采购过程规范性”,目标值应为“规范”,权重假设为“15%”;因为该指标是定性指标,为了保证评分结果的客观性,应当将其转化为定量的值来参与指标得分的计算,所以需要对规范性进行进一步的分析,假设通过分析定义有4个条件需要满足就视为规范,4个条件分别对应的参数为A、B、C、D,当条件满足对应的参数数值为1,否则为0,四个条件各占25%的比重,那么实际值指计算公式应当为“A*25%+ B*25%+ C*25%+ D*25%”,最终的计算结果是一个百分比数值;基础数据即为A、B、C、D四个参数,需要通过调研对应条件满足与否来判断数值;评分计算公式应为“业绩值*指标权重分”,即业绩值*15(也可理解为业绩值*指标权重*100分,即业绩值*15%*100)。
示例3,效果指标中的“用户满意度”,这里对其他要素就不再细述,只说一下数据的采集方式,因为为满意度指标,所以应当是以问卷调查的形式采集数据才能够保证客观性,每一条满意度指标都应设计与之匹配的调查问卷,调查问卷的设计方式以及应调查的样本量的计算,在本文中就不再进一步探讨。
2、评价报告的输出
评价报告的输出至少应包括3个环节:基础数据的采集、绩效评分的计算以及评价报告的撰写。
基础数据的采集,是根据方案设计中的基础数据对项目信息进行采集,一般通过项目访谈、项目现场核查、数据稽查等方式进行,项目申请单位、建设单位以及服务商应当配合提供需要的信息和数据;对于满意度指标应依据设计好的问卷和调查方案开展问卷调查工作,并对结果进行分析得到需要采集的数据结果。
绩效评分的计算是依据方案阶段设计的指标评分公式以及实际采集的基础数据,计算得出实际值和指标得分,指标得分汇总相加得到项目的最终绩效评分结果。
2.png
绩效评价报告的撰写过程是对评分结果和项目情况进行分析,找到问题症结所在并提出解决方案,这也是绩效评价工作更加重要的意义所在,因此一份好的评价报告的撰写者,对于所评价的项目行业也应至少具备一定的专业知识基础。
目前业内普遍组织的绩效评价工作,尤其是委托第三方评价机构开展的绩效评价工作,一般会组织、邀请绩效专家在方案阶段和报告阶段分别对绩效评价方案和绩效评价报告进行评审,评价机构应依据专家给出的评审意见进行相应的修改和完善。
03
绩效评价的组织方式

目前绩效评价工作主要由两种组织方式:
第一种是委托第三方开展的绩效评价工作,行业内又称为第三方评价,由财政部门或预算部门通过招标挑选社会中的第三方评价机构进入资格库,项目完成后从库中抽取评价机构委托绩效评价项目;
第二种是项目申请单位自行组织绩效评价工作,财政部门进行监督,可称为自评价,一般与财政绩效管理工作合并进行,在项目申请立项阶段设定绩效目标,在项目完成后对项目绩效目标的实现情况进行评价。
两种方式从本质上来看也存在一些明显的区别:
第一,绩效目标设定的出发点不同。项目申请单位设定绩效目标主要考虑的是项目计划,而第三方评价机构是从行业的专业角度考虑应该要实现的程度。
第二,基础数据的采集方式不同。项目申请单位自行组织绩效评价工作,数据采集主要依靠自行申报,而第三方评价机构在进行基础数据采集时会从第三方视角较为深入的进行项目调研和数据核查。
第三,分析的专业程度不同。以软件服务行业为例,项目申请单位的绩效评价负责人一般会缺乏软件行业的专业知识,对问题的剖析存在难度,而合格的第三方绩效评价机构在市场竞争的推动下一般会储备、培养各个领域的专家,问题分析相对更加深入,从而找准问题“对症下药”。
综上,可以看出,两种组织方式也各有利弊。委托第三方评价机构开展绩效评价工作的工作质量和效果更好,但是相对资源投入也较多,成本较高,难以扩发覆盖面;项目申请单位自行组织的绩效评价工作,投入成本相对较低,但是评价成果的质量和真实性难以保障。
04
绩效评价的未来展望

对于上述问题,目前财政部门以及各预算部门(单位)考虑的解决方案主要是引入信息化系统支撑绩效评价工作的开展。
笔者曾五年从事绩效评价业务管理系统的建设工作,从笔者的从业经验来分析,传统的信息化业务系统并不能完全解决绩效评价工作所面临的问题。
第一,无法解决专业度的问题。
传统信息化业务系统更多的是流程工具的支撑,对业务开展效率有比较明显的提升,市场上比较有竞争力的产品会包含指标库,涵盖行业中常见的评价指标及相关要素,绩效目标申报时部分指标可以直接从中选取引用,对绩效目标申报难度的降低和申报质量的提升有一定的促进作用;但是,绩效评价更加重要以及对专业度要求更高的是根据评分情况对项目进行剖析,发现问题找准问题提出建议,这是系统无法解决的,依然依赖于人去完成。
第二,无法解决数据真实性的问题。
传统信息化业务系统提供的是一个管理工具,设定的是数据的填报框架,而数据的采集过程仍然是线下进行,采集结果也需项目申请单位自行填报,缺少第三方视角,数据的真实性依然无法保证。笔者也曾憧憬过绩效业务系统能够与财政、政府内各行业业务系统打通,实现数据的自动采集传输,作为蓝图想起来很美好,但是要实现并且有效目前还无可能。
那么如何能够在保障绩效评价工作质量的同时还能够实现较好的覆盖面,笔者认为可以引入互联网思维来突破瓶颈,依然以软件服务行业为例:
1.jpg
首先,通过互联网平台实现数据的线上管理。
政府采购绩效评价所需的基础数据,主要是分布在采购环节以及项目的交付管理环节,以南京为例,南京市财政局与解放号共同建设的“互联网+软件交易服务平台”,目标是支撑信息技术行业限额下项目的采购服务以及所有信息技术项目的交付验收服务,这与南京市公共资源交易中心对限额以上项目的集中采购管理进行互补,能够实现对软件服务项目采购和交付管理数据的全覆盖线上化管理,绩效评价所需的基础数据都可以从中提取,甚至可以将绩效评价的数据采集需求嵌入到管理业务中,采购单位与服务商通过互联网平台开展业务的同时,绩效评价的数据采集工作也就自然而然完成了,并且真实、准确、实时。
其次,通过互联网平台汇集社会专家资源。
有了基础数据,有了评价规则和标准,就可以进行项目的绩效评分的计算,那么还欠缺的是对评分结果的分析,对项目问题的剖析。在互联网平台中建立绩效专家生态,汇集行业绩效专家,不仅能够丰富绩效专家资源,实现专家资源的跨区域共享,而且线上化的数据管理、完整的过程数据便于项目回溯,评价分析经验的沉淀和大数据的积累分析也能进一步降低项目问题剖析、解决的难度和成本。
随着互联网技术的不断发展,互联网业务模式的不断成熟,以及互联网思维的不断普及,笔者相信不论是财政支出预算管理还是政府采购管理的绩效评价工作,在其支撑下一定会走上一个新的台阶。


您需要登录后才可以回帖 登录 | 立即注册