网站引擎收录

1信息化研究2014年第7期总第56期国家信息中心信息化研究部2014年7月9日基于用户体验的政府网站绩效评估:探索与实践1王璟璇2杨道玲3【摘要】我国政府网站发展已进入注重服务、突出效果的新阶段,用户真实体验成为网站绩效评估的新导向,互联网大数据技术为评估提供了新手段.
面对新形势,本文研究提出了基于用户体验的政府网站绩效评估指标框架,分析了指标框架的特点与可行性,阐明了指标数据采集方法和权重设计要点,最后通过N省的政府网站绩效评估实践验证了指标框架,完善了评估流程与方法,总结了评估工作经验并提出了进一步改进建议.
1原文发表于《电子政务》杂志2014年第5期.
2王璟璇,女,1984年生,博士,国家信息中心信息化研究部助理研究员,国家信息中心网络政府研究中心咨询部副主任,研究方向:政府信息资源管理、电子政务顶层设计、电子政务绩效管理.
3杨道玲,男,1979年生,博士,副研究员,国家信息中心信息化研究部电子政务研究室副处长,兼任中国信息协会电子政务专业委员会副秘书长,国家信息中心网络政府研究中心主任助理.
研究方向:电子政务战略规划、电子政务绩效管理.
2基于用户体验的政府网站绩效评估:探索与实践王璟璇杨道玲绩效评估是引导政府网站健康有序发展的有效手段.
当前,我国政府网站发展已经从普及建设、健全功能进入到注重服务、突出效果的新阶段[1].
亟需针对新阶段政府网站发展形势制定科学引导网站发展的新的绩效评估指标体系和评估方法.
1.
政府网站绩效评估面临的新形势1.
1政府网站发展进入新阶段经过十多年的发展,我国各级政府网站已经基本普及.
截止2013年底,全国政府域名(gov.
cn)下的政府网站已经达到55,207个[2],100%的国务院组成部门和省级政府、99.
1%的地市及85%以上的县(区)政府都已经建设了政府网站.
各级政府网站都基本具备了信息公开、网上办事和政民互动三大服务功能.
也就是说目前我国政府网站总体上已经解决了"有没有"的问题,政府网站已经从普及建设、健全功能进入到注重服务、突出效果的新阶段.
党的十八届三中全会提出推进国家治理体系和治理能力现代化,作为政府在互联网上服务公众的重要平台,各级政府网站在树立政府互联网新形象、网上政策文件宣传、提供在线办事服务、应对网络突发事件等方面作用也将日益凸显.
新阶段对政府网站服务能力和互联网影响力提升都提出更高要求.
这是政府网站绩效评估工作面临的一个最基本的现实,要求我们必须适时更新评估指标,有效引导政府网站向更高层次、更高水平发展.
1.
2注重用户体验成为政府网站绩效评估的新导向目前,我国网民人数已达到6.
18亿,互联网普及率为45.
8%[3].
网民规模的迅速扩大,使得通过互联网提供公共服务成为构建服务型政府的重要方式.
政府网站是政府在互联网上服务公众的重要窗口和平台.
过去政府网站从无到有,建3设重点在健全功能、丰富内容,因此网站绩效评价重在关注信息内容的发布数量、信息发布合规性、网站功能完整性等,为推动政府网站建设发挥了重要促进作用.
但随着网民服务需求的不断增多和对服务品质的日益追求,简单的以功能"有无"的定性评价和信息"多少"的定量评价来引导网站发展,必定会导致网站发展"重建设效率而轻服务效能".
互联网服务需要采用互联网思维,其中最核心的一条是"用户思维",即产品和服务要"以用户为中心"进行考虑.
用户来到网站"对现有服务满不满意"、"实际需求是否达到"是评价网站服务效能的核心标准,因此关注用户真实体验成为新阶段政府网站绩效评估的重要导向.
2013年,国内几个主要的政府网站绩效评估机构所发布的评估指标中,都已经将用户体验作为一项重要考核指标[4][5].
1.
3大数据技术为政府网站绩效评估提供新手段目前,基于用户访问行为分析的互联网大数据技术开始普及应用.
例如,电子商务领域通过对企业网站用户浏览行为、搜索行为、购买行为的数据分析,挖掘用户的行为习惯和喜好,主动向用户推介产品和服务,创新出更有效的营销模式.
互联网大数据技术同样也能为政府网站绩效评估提供新的评估手段.
通过对访问政府网站的所有用户行为进行分析统计,可以更为定量、客观评判网站用户的真实体验效果,这种全数据、全样本的统计测评方式既能够有效避免传统用户调研方法的局限性(如样本代表性不足、调研问题宽泛等),又能够规避对网站服务进行"好"或"不好"定性判断的主观性.
目前,美国政府已经将这种全样本的大数据技术应用于网站绩效测评中,将用户访问人次、访问时长、搜索频次、新老用户占比等定量指标作为考核网站服务效能和用户体验的标准[6].
随着新技术的普及应用,政府网站绩效评估也需要与时俱进应用新技术、新手段、新方法,不断优化评估结果的准确性和客观性.
总之,面对新形势,传统的绩效评估体系已经难以有效引导当前及下一阶段政府网站的发展.
为进一步提高各级政府网上服务能力、提高用户满意度,把政府网站真正办成老百姓爱用、想用、好用的综合服务平台,迫切需要从用户体验的视角出发,以大量精准监测数据为基础,实现新形势下的评估体系与方法创新.
42.
基于用户体验的政府网站绩效评估指标构建2.
1指标设计思路绩效分两层含义.
"绩"指成绩,是从产出的角度指代预定作业目标的实现程度.
"效"指效果,是作业实施后的影响.
绩效就是成绩与效果的综合.
政府网站绩效评估也应该从产出与效果两个角度进行综合考评.
从产出的角度讲,考核网站"有没有"相关的内容和栏目以及"能不能"实现网站服务功能.
从效果的角度讲,考察网站服务到底让用户感觉"好不好",用户满意才是政府网站服务所最终追求的方向.
因此,在指标设计思路上,本文认为,应本着兼顾内容供给和用户需求的原则,在全面考察网站内容建设和运维水平的同时,加强对网站功能完善程度和用户体验效果的考察.
如下图所示.
图1政府网站绩效评估基本维度2.
2核心指标框架按照上述基本维度,基于用户体验的政府网站绩效评估指标体系重点从内容建设水平、功能完善程度、用户体验效果三个方面进行考察.
其中,内容建设水5平,主要考评网站在信息公开、网上服务和互动参与方面"有没有"按要求提供相应的服务和信息;功能完善程度,主要从功能可用性、易用性等角度考察网站"能不能"为用户提供稳定、规范、便捷的服务;用户体验效果,主要则从用户需求满足与否、用户是否有良好的访问体验等角度考察网站用户的实际体验感受"好不好",以引导网站进一步提高服务质量,提升用户满意度.
总体来说,这套指标期望引导政府网站发展的目标是:政府网站不仅要有内容、有服务,还要帮助用户能方便快捷地找到信息和服务,更要求用户接受服务之后体验好、满意度高.
核心指标体系如下表所示.
表1基于用户体验的政府网站绩效评估核心指标体系维度一级指标二级指标指标说明内容指标("有没有")信息公开主动信息公开依据政府信息公开条例/办法规定的主动公开内容的公开情况和公开及时性进行考核.
依申请信息公开重点考察网站依申请公开渠道建设情况以及依申请公开内容的及时性.
信息公开保障考察网站在信息公开指南、信息公开目录、信息公开年度报告的编制与公布方面,以及信息公开监督投诉渠道开通等方面的建设情况.
更新及时性考察网站信息公开的及时性,是否体现及时便民原则.
网上服务网上办事率【部门】考察部门服务事项能够在网上办理的比例.
服务广度【地方门户】考察地方门户网站基本政务服务的覆盖广度.
网上办事度【部门】考察政府网站网上办事服务全流程覆盖的实现程度.
服务深度【地方门户】服务便捷度考察网上服务分类的科学性以及是否提供多种服务办理渠道,帮助用户快速定位并及时到达目标页面互动参与互动渠道考察网站在领导信箱、公众问答/网上咨询、投诉举报、征集调查等互动渠道建设的完备度.
互动效果考察网站对公众提问、咨询、投诉等互动6维度一级指标二级指标指标说明活动的答复比例.
以及答复的及时性和答复的质量.
功能指标("能不能")网站可用性站点可用性考察网站运行是否稳定,随机抽查时能够迅速打开网页.
链接可用性考察网站是否存在断链,反映网站链接功能的可用性.
内容准确性考察网站内容是否存在错字,反映网站信息内容的准确性.
网站兼容性语言兼容性考察网站是否针对用户语言习惯提供多语言版本.
移动终端兼容性考察网站是否适应各种移动终端系统浏览.
网站影响力搜索引擎影响力网站被主流搜索引擎收录页面数,总体反映网站信息在搜索引擎上的可见性水平.
社会化媒体影响力考察网站信息被微博等社会化媒体转载的情况,反映网站信息在微博用户群体中的影响力重要新闻媒体影响力考察重要新闻媒体网站用户的来源比例,反映网站信息在重要新闻媒体中的影响力效果指标("好不好")用户需求响应度--考察站内搜索用户需求被有效响应的情况.
网站服务吸引力用户回访率考察特定时段内两次或两次以上访问网站的用户比例(即老用户比例),反映网站用户的忠诚度.
用户访问深度考察特定时段内来到网站的用户中,每次访问达到2个及2个以上页面的用户比例,反映网站内容对用户的吸引力.
用户增长率考察网站用户群体的增长速度.
信息查找便捷度--考察用户使用网站导航系统(包括面包屑导航、网站地图、相关链接、信息列表等)访问网站、查找信息的实际效果.
首页内容用户体验度--通过网站首页用户点击行为分析,考察网站首页栏目设置、内容规划的合理性.
网站地域辐射力--考核网站对于外地甚至国际用户的影响力,反映网站国内知名度和国际化水平.
72.
3指标特点与可行性2.
3.
1指标特点与传统网站绩效评估指标体系相比,上述指标体系重在突出以下三个方面的特色:一是供给评估和用户体验评估相结合.
充分考虑到网站内容建设的艰巨性,该评估体系继承了传统政府网站绩效评估指标体系的合理性,从网站建设方的角度考察内容供给情况,同时从用户需求出发,丰富了多项用户体验类指标,引导网站做到服务供给和需求满足的平衡.
二是定性评估与数据量化评估相结合.
除了对栏目和内容完备度"有"或"无"、"好"或"不好"的定性考察,更强调应用最新的互联网大数据分析技术,对网站用户访问情况进行实时监测,从全样本的用户访问数据出发,客观反映用户对政府网站的访问效果.
三是定期评估与实时动态监测相结合.
由于互联网上用户需求变化快,需要做到实时动态管理服务绩效,从而有利于在用户需求和服务供给之间建立正向绩效激励的循环.
该指标借助于网站用户访问行为精准监测工具,获取用户体验的全样本、实时数据,在开展定期评估的同时,实现对服务绩效的动态监测,为网站管理者改进服务提供及时的数据支撑.
2.
3.
2指标可行性分析第一,指标体系符合国家最新政策文件精神.
本指标体系严格依据《国务院办公厅关于进一步加强政府网站管理工作的通知》(国办函〔2011〕40号)、《国务院办公厅关于进一步加强政府信息公开回应社会关切提升政府公信力的意见》(国办发〔2013〕100号)等文件精神,特别是对100号文件中提到的"(运用)更加符合传播规律的信息发布方式"、"增强政府网站的吸引力、亲和力"、"建设基于新媒体的政务信息发布"等要求,已通过网站影响力、服务吸引力、需求响应度等指标予以引导,符合国家对政府网站的建设要求.
第二,指标体系能综合反映政府网站建设水平.
从内容建设水平、功能完善8程度、用户体验效果三个维度构建指标,基本能够较为全面地反映网站在内容供给、功能搭建、服务效果方面的水平,意在充分引导网站强化内容建设"数量"的同时,引导网站建设逐步向服务"质量"的方向进一步提升.
第三,指标数据采集强调客观与定量化.
为确保评估数据的真实、准确、客观,定性指标尽可能采取"有""无"的客观评判,并通过参评单位填写自评估报告和人工读网相结合的方式进行核实.
对于服务效果类指标全部采用定量化指标,借助于自动化的网站用户访问监测工具,对参评网站一定时间内用户访问行为数据全样本监测,定量化反映网站整体运行效果方面的真实情况,确保最终评估结果的客观、真实与科学.
3.
数据采集与权重设计3.
1指标数据采集数据采集是评估实施的第一步,也是关键的一步.
数据采集工作的好坏,将直接关系到整个评估工作的水平和效果.
为确保评估数据的真实、准确、客观,评估指标的数据采集应充分汇集多方力量,"取长补短",适宜综合应用以下三种方式:一是工具自动采集法.
对于部分功能类指标(即网站影响力)和所有效果类指标(即用户体验类指标),充分依托于网站用户访问监测工具进行指标数据采集,确保数据真实、客观、定量,避免人工监测的片面性和主观性.
目前,国家信息中心网络政府研究中心已对外免费提供了政府网站智能分析系统,可供数据采集之用[7].
二是调查问卷法.
对于内容类指标,采取调查问卷法,由网站建设部门安排专人填写调查问卷,然后由评估工作组进行网上核实与汇总.
由于各网站建设部门最了解自身网站的内容建设情况,最能够无遗漏地阐明自身网站在内容建设方面的成效,可以避免评估工作组因不了解网站情况而造成误判的可能性.
同时,这些内容类指标,又能够通过读网进行随时查验,方便核实,最大程度确保定性指标的数据客观性.
三是专家测评法.
对于一些不便网上查验和系统监测的情况,例如,回复效9果、服务便捷度、服务深度等,可采取专家现场质询和测评的方式,尽可能确保对网站建设水平的客观评定.
3.
2指标权重设计除指标本身外,指标权重设计也体现出对特定阶段网站发展重点的引导.
不同地区或行业在应用该指标体系时,可以根据本地区或行业的网站发展实际情况进行相应权重设计.
例如,对于网站建设较为落后的地区,可以将内容指标和功能指标权重设置高一些,内容建设和功能完备是网站成效发挥的强有力基础,而且也是投入较大的一项工作,设置较高权重便于参评单位夯实基础,同时效果指标的设置虽不高,但也能够引导网站在做好基础建设的同时提前重视服务质量和用户体验.
对于网站发展较快、水平较高的地区,则应将网站影响力和网站用户体验类指标的权重提高,以引导网站进一步提升服务质量,提高用户满意度.
4.
应用案例:基于N省政府网站绩效评估实践为全面摸清省级政务部门网站和市县门户网站建设现状,引导省级政务部门网站和市县门户网站科学建设,促进政府网站提高建设水平,逐步实现从完善功能向注重服务、突出实效转变.
2013年,N省工业和信息化厅委托国家信息中心课题组开展了2013年度政府网站绩效评估工作,首次创新性应用了本文提出的基于用户体验的政府网站绩效评估指标与方法.
4.
1评估基本流程此次评估共考察了32个省直部门和19个市县的政府网站.
通过指标设计、数据采集、数据分析与测评、结果分析四个阶段的相关工作,顺利完成了绩效评估工作任务.
具体流程如下:第一阶段:指标设计阶段.
该阶段主要完成的工作有:(1)基于本文提出的"基于用户体验的政府网站绩效评估核心指标体系",结合N省网站发展实际,设计完成《N省政府网站绩效评估指标体系》,含指标解析、评分标准等;(2)设计完成《N省政府网站绩效评估自评估报告》(省直部门、市县各一套);(3)在全省范围内广泛征求意见,进一步修订完善指标体系和自评估报告.
10第二阶段:数据采集阶段.
该阶段主要完成的工作有:(1)召开各参评网站工作会议,进行评测部署和人员培训;(2)参评网站统一进行网站监测代码部署,对指定指标进行持续统一监测;(3)各单位填写自评估报告并上报;(4)参评网站现场讲解汇报网站建设成效,专家组根据考评指标对被考评的网站绩效评估进行打分.
第三阶段:数据分析与评估阶段.
在该阶段,课题组通过数据汇总、数据核查、数据整理、数据评分、结果校验等工作,得出初步绩效评估结果,反馈给N省工信厅审阅确认.
第四阶段:结果分析阶段.
该阶段主要完成的工作有:(1)根据最终评估结果,完成《N省政府网站绩效评估总报告》;(2)完成51份省直部门网站和市县门户网站绩效评估分报告,有效指导各网站改进各自不足,提高服务成效;(3)完成《N省政府网站绩效评估工作报告》;(4)发布评估结果.
整个评估工作流程简化如下图所示.
11开始指标体系设计、自评报告设计与调整(第三方)指标体系意见征求(全省范围)指标体系发布信息采集量化代码部署(全省参评单位网站)绩效评估启动会议网站单位现场演示答疑、专家现场评估自评报告下发信息采集汇总(第三方)自评报告收集分值汇总加权(第三方)网站排名审核网站绩效排名发布结束通过通过未通过图2N省政府网站绩效评估工作流程图4.
2评估方法说明评估过程中采取了如下关键方法,有效保障了评估工作的规范有序开展.
1、数据采集方法.
数据采集方面,注重综合运用三类采集方法.
一是来自参评网站的自评估报告,对于一些客观、可查验的指标数据,采用参评网站自评估报告的数据;二是来自专家现场测评,对于一些不便网上查验和系统监测的情况,例如,回复效果、服务便捷度等,采取专家现场质询和测评的方式,尽可能12确保对网站建设水平的客观评定;三是来自政务网站智能分析系统的实时监测数据,对于服务效果类指标全部采用定量化指标,基于全样本数据监测,反映网站整体运行效果方面的真实情况.
2、数据校验方法.
为确保评估数据的真实、准确、客观,此次评估一方面注重充分汇集多方力量,确保获取数据的质量,另一方面建立较为完善的数据校验机制:一是在自评估报告中设计数据校验信息,即要求各单位对报告所描述的内容提供相应网址,方便评估工作组进一步核实,避免虚报、谎报的情况出现;二是实施数据反馈核查机制,评估工作组对参评网站所填报的自评估报告中存疑问题进行实时反馈与沟通,及时修正指标数据.
3、指标评分方法.
对定量指标综合采取多种量化方法,对定性指标,能够网上查验的采取网上校验方式,不便于网上查验的,采取专家现场核实、质询、合议评分的方式进行评分,最终按照指标评分方法进行综合测评,得出最终评估结果.
4.
3实证结果分析N省的政府网站绩效评估坚持了定性评估和定量评估相结合、主观评价和客观评价相结合、日常监督和集中评估相结合,充分发挥了评估指标的导向作用.
评估结果符合当地政府网站发展实际,在推进各级各类网站丰富内容、完善功能的同时,有效引导网站向注重服务、突出实效方向转变.
实践结果表明:第一,构建了较为科学合理的指标体系与方法流程.
指标体系兼顾供给和需求,既便于引导,又切实可行;第二,传统指标数据采集方法与最新的网站监测技术的结合,具有较强的可操作性,能够更大程度的保证评估结果的客观性;第三,建立了一整套包括评估工作启动、数据采集、指标评分、结果反馈等在内的评价工作方法流程,为其他省市推广实施提供有益借鉴和重要参考.
但评估实践也发现,基于用户体验的政府网站绩效评估在开展过程中还需要重点改进如下两个方面:一是效果类指标和部分功能类指标的指引性有待进一步增强.
目前,网站影响力指标和所有效果类指标,尽管都是基于系统自动采集的数据进行定量测评,能够确保客观性,能够引导参评网站的重视,但对参评网站改进服务效能,提升用户体验水平却缺乏更有效的方法性指引.
需要配合网站绩13效评估,制定出配套的网站服务改进指引,从而建立评估与激励改进相互配合的运行机制,真正推动政府网站发展.
二是绩效评估结果的应用方式还需要不断创新.
N省的绩效评估结果应用主要是针对每一个参评网站提供该网站绩效评估分析报告,帮助各个网站发现不足以及今后改进的方向.
但在实时网站监测工具和大数据分析技术的支撑下,还可以建立"动态测评、及时反馈"的结果应用方式,并通过可视化的方式予以展现,进一步支撑领导的科学决策.
参考文献[1]于施洋等.
基于用户体验的政府网站效能优化[A].
中国信息化形势分析与预测2013[M].
北京:社会科学文献出版社,2013.
[2]中国互联网络信息中心.
中国互联网络发展状况统计报告(2014年1月)[EB/OL].
[2014-2-5].
http://www.
cnnic.
net.
cn/hlwfzyj/hlwxzbg/hlwtjbg/201403/P020140305346585959798.
pdf.
[3]同[2][4]中国软件测评中心.
第十二届(2013)中国政府网站绩效评估[BE/OL].
[2013-12-20]http://2013wzpg.
cstc.
org.
cn/jxpg2013/index.
html.
[5]国脉互联.
2013中国政府网站绩效评估[EB/OL].
[2013-12-20]http://www.
echinagov.
com/zt/63/#5.
[6]Howto.
gov.
DigitalMetricsforFederalAgencies.
[EB/OL].
[2013-09-02].
http://www.
howto.
gov/web-content/digital-metrics[7]中国政务网站服务能力建设网.
"政府网站智能分析系统(通用版)"免费申请入口.
http://www.
gwd.
gov.
cn.
本期责编:马潮江审校:于凤霞联系地址:100045北京市西城区三里河路58号国家信息中心信息化研究部联系电话:010-68557312电子信箱:macj@cei.
gov.
cn