城市监控报警联网系统的效能评估研究是个较新的课题,本文结合国内外智慧城市的评估研究成果,提出了基于基础建设-运营维护管理-服务(Construction-Operation –Service)的一级评估框架(也可称之为COS模型),研究分析了我国城市监控报警联网系统效能评估指标选择、指标权重赋予的相关问题。
◎文/陈文静 中国人民公安大学警务信息工程学院安全防范技术与工程教研主任 整编/张磊
评估旨在提高应用效能
城市监控与报警联网系统是防范、打击违法犯罪的有效技术手段,也是现代城市管理不可或缺的重要技术手段。近年来,各级公安机关高度重视城市监控报警联网系统的建设与应用工作,分期开展了城市报警与监控系统建设、视频监控系统联网及视频图像信息整合与共享工作。
城市监控报警系统因其及时、准确、动态、直观的特点,已成为继刑侦、技侦、网侦技术之后公安机关战斗力新的增长点。尽管目前公安机关应用监控报警联网系统的积极性很高,但各地建设的时间、标准、技术路线、管理平台、运营维护水平等存在差异,导致某些系统的应用效能差强人意,为了提高监控报警联网系统的应用效能,规范今后的建设标准,有必要从理论和实践方面综合研究城市监控报警联网系统的效能评估。
借鉴智慧城市评估法
近几年,国内外关于智慧城市的建设及评估工作如火如荼,城市监控报警联网系统属于智慧城市建设的一部分,因此其效能的评估可以借鉴智慧城市评估的方法。国外智慧城市评估方面最具代表性的研究成果是欧洲中等城市的智慧城市评估、智慧社区论坛的智慧城市评估以及2012 年刚出炉的由Boyd Cohen 博士发布的全球十大智慧城市排名。我国的关于智慧城市评价系统的研究相对滞后,研究机构基本可分为政府和科研院所两大主体,政府代表研究机构有:工信部、住建部,中国工程院等,科研院所的代表机构有中国智慧工程研究会、全球智慧城市与产业联盟等。
总结我国当前对智慧城市评估指标的研究思路分为两大类:一类是借鉴欧盟的研究思路,将智慧城市指标体系从空间上划分为几大产业:智慧医疗、智慧交通、智慧教育、智慧产业、智慧政府等,然后在一级指标下再进行细分;第二类是借鉴其他学科理论或者其他研究领域的相关评估方法,如城市信息化水平评估,再结合智慧城市自身特点,形成完整的评价指标体系。
效能评估基本流程
一个完整的效能评估流程,应包括三大步骤,首先是指标体系的确立,然后对确立的指标体系赋予权重,最后通过各种评估方法得出评估结论。完整的指标体系的确立首先是指标的筛选,这是微观层面的,然后对筛选的指标进行分类,最后形成宏观层面上的指标体系架构。
指标体系的建立
指标选择的目的是为了构建能够反映研究对象整体属性的指标体系,所以指标的选择要兼顾独立性和整体性两方面,单个指标的选择要具有代表性,能够反映研究对象某方面的特性,指标间避免过度关联,多个指标构建的指标体系又要能够联合反映评价对象的整体属性。
一级指标的确立
对于一级指标体系的分类,通过调研大量关于智慧城市评估的文献资料,总结为两大分类方法:时间序列分类法和空间分布分类法。从时间序列来分,可以把智慧城市的一级指标维度分为:投入层、产出层和绩效层,比如:智慧社区论坛(ICF)从宽带连接、知识型劳动力、创新、数字包容、营销和宣传5个维度来对智慧社区的发展水平进行评估,其中宽带连接、知识型劳动力、数字包容属于前期投入,营销和宣传属于中期的产出,创新可以隶属于后期的绩效务,这5个维度彼此间有时间上的递进关系;也可以从空间分布划分为智慧医疗、智慧交通、智慧政府、智慧教育等,这些维度彼此平行。如:欧盟智慧城市评估组织从智慧城市的6 个维度:智慧产业、智慧民众、智慧治理、智慧移动、智慧环境和智慧生活进行评估,这6个维度空间上属于平行式的划分。无论时间序列还是空间序列划分,二级指标相应的在一级指标下细分,分类方法同样遵循时间递进或者空间平行的原则。
2012年,中国软件评测中心智慧城市评价咨询中心将智慧城市里的相关要素进行分解,提出了构建SMART模型。‘SMART’五个字母分别代表了服务、管理、应用、资源和技术。根据评测重点不同,SMART模型也可以分为基础建设层、运营维护管理层和服务水平层,分别可以对应时间序列的投入层、产出层和绩效层,因此可以得出结论:SMART的评估理论也是根据时间序列对一级评估指标进行划分。
城市监控报警联网系统的建设属于智慧城市建设中非常重要的一部分,对其效能评估可以参考智慧城市的评估指标及方法,但城市建设和智慧城市建设又存在很多不同之处,无论是指标体系的选择与分类、指标的权重确定、评估采用的模型和方法,都不能完全照搬照抄智慧城市评估。首先,从项目的实施主体来看,城市监控报警联网系统的建设由公安机关牵头,使用也以服务公安为主,而智慧城市的建设是横向的,涉及多个部门分块建设,如智慧医疗、智慧交通、智慧教育、智能家居等;其次,城市监控报警联网系统虽然是大规模的城市级的信息系统,但与智慧城市的建设规模还相差甚远,智慧城市的内涵较城市更加丰富,涉及到交通、水利、环保、教育、医疗卫生、公共安全等各个领域。因此,城市监控报警联网系统相比智慧城市更加具有行业的纵向性,不具备空间分布的特点,对于其效能评估指标体系的划分,应采用时间序列的依次递进关系进行。
基于以上理论,从时间序列上把城市监控报警联网系统效能评估的一级指标分为:系统的基础建设水平、运营管理维护水平和对公安工作的服务水平,分别对应投入层、产出层和绩效层,详见图1。
图1 基于投入-产出-绩效一级指标的城市评估指标体系
二级三级指标的筛选方法
基于投入-产出-绩效一级框架,采用至上而下的方法把城市监控报警系统评估指标逐层分析,建立完善的指标体系。我国智慧城市的评估大多借鉴国外相对成熟的评估方法,利用权威机构发布的评估指标体系建立指标库,通过建立隶属度函数并结合某城市的实际情况选择最终的指标构成指标体系。城市监控报警联网系统的效能评估研究尚处于空白,没有可以借鉴的评估指标,因此在评估工作的初级阶段,二三级指标的筛选只能依靠行业有经验的专家进行初选,然后辅之以相应的理论进行效度的检验。
选择城市监控报警联网系统总体效能作为第一层,即目标层(O),第二层为准则层(C),包括:基础设施建设、运营维护管理、服务水平三大类指标,第三层为要素层,按照不同要素类型进行分层,第四层为指标层(I),根据完整性、科学性和可操作性原则,结合城市监控报警联网系统相关标准、经过专家咨询并考虑到公安业务需求构建城市监控报警联网系统评估指标体系。表1以基础设施建设中前端设备信息采集能力为例详细说明。
确定了所有的评估指标后需要对指标进行分类,大致上可分为三种类型:绝对数据型(客观)、百分比型(客观)、和差异度型(主观),表1中信息采集能力的四个指标中,(1)是绝对数据型、(2)(3)是百分比型,(4)是差异度型。接着对三种类型的指标分别进行标准化处理,并对处理后的指标进行相关性检验和信度分析(效度检验),保证指标分类的科学有效、指标选择的可信可靠。
指标权重的赋予
指标权重是指标在评估过程中不同重要程度的反应,是评估过程中一关键环节。权重的赋值合理与否关系到评估结果是否客观公正、科学合理。目前关于指标权重的确立可以分为主观赋权法、客观赋权法和主客观综合集成赋权法三类。
目前国内外关于评价指标权系数的确定方法有数十种之多,根据计算权系数时原始数据来源以及计算过程的不同,这些方法大致可分为三大类:主观赋权法、客观赋权法、主客观综合集成赋权法。主观赋值法由专家根据经验进行主观判断得到权数,再对指标进行综合评估,属于定性评估法,典型的有AHP层次分析法、德尔菲专家调查法、模糊分析法等,这些方法基本都掺杂了专家的主观意向而使评价结果存在很大的主观性。客观赋权法权重的确定有较强的数学理论依据,但依赖大量的样本数据和实际问题域,计算方法复杂,而且不能体现评估者对不同指标的重视程度,会导致确定的权重和指标实际的重要程度相差甚远;常用的有最大熵技术法、主成分分析法、多目标规划法等。
为此,主客观综合集成赋权法被提出,这类方法将主观赋权和客观赋权相结合,充分发挥各自的优点,典型方法有:基于离差平方和的综合集成赋权法、基于博弈论的综合集成赋权法、基于单位化约束条件的综合集成赋权法。
要实现指标权重赋值的准确、客观且合理,一方面要将多种方法综合使用,还要认识到效能评估工作是一项长期动态过程,随着评估次数和评估数据的积累,可以发掘指标数据间内在规律,总结评估经验,不断调整赋值方法。评估的初期阶段,由于样本数据较少、评估经验不够丰富,可以采用以专家主观判断为依据的主观赋值法对指标赋权,同时采取增加专家数量、仔细甄选专家等措施避免主观随意性导致的评估结果不科学客观。
随着评估工作深入开展,从大量样本数据中分析指标数据间的隐藏规律、调整各指标权重,通过多次评估形成学习样本,把评估经验转变为评估知识,使得权重的确定更加科学合理。典型的方法是基于BP神经网络的多指标综合评价法。人工神经网络(ANN)是建立以权重描述变量与目标之间特殊的非线性关系模型,将评价定性和定量指标的属性值进行归一化处理后作为BP网络模型的学习样本,将评价结果作为BP网络的输出,经过大量的样本训练,网络模型将获得专家的经验、知识及对指标的主观倾向性,这样BP网络模型得到的权值可以再现专家的经验和知识,训练好的BP网络可以对评估体系做出综合评价,实现定量和定性相结合。
以评促建、促改、促管
指标的选择首先依赖于专家的经验,然后用客观的相关性检验方法和信度分析进行定量分析,指标的赋权采用先以专家主观判断为主要依据的主观赋值法,然后利用大量的评估数据进行BP神经网络训练,实现定量和定性相结合。但城市监控报警联网系统千差万别,不能遵循统一的标准,评估工作也应因地制宜。
我们应认识到评估本身不是目的,要利用评估工作实现以评促建、以评促改、以评促管,随着评估工作的逐步开展,应该建立基于大量评估工作的评估指标库,并且利用评估结果作为制定规章制度、标准规范的依据;利用评估结果去调整指标体系的结构、指标的选择和权重的分配等环节。