- 刑事法律援助案件质量评估指标体系研究
- 石贤平
- 24字
- 2025-05-12 17:27:51
第一章 刑事法律援助案件质量评估指标体系的理论基础
第一节 内涵评析
一、概念解读
(一)对刑事法律援助案件质量评估的概念分析
1.什么是法律援助案件质量评估
《法律援助法》第2条规定:“本法所称法律援助,是国家建立的为经济困难公民和符合法定条件的其他当事人无偿提供法律咨询、代理、刑事辩护等法律服务的制度,是公共法律服务体系的组成部分。”法律援助的含义十分丰富,笔者认为,对法律援助进行含义界定应当包含以下几个要素:一是法律援助是国家责任;二是法律援助制度是司法制度的组成部分,经过20多年的发展历程,法律援助制度已经成为法治建设的重要组成部分,在维护困难群众合法权益,维护社会公平正义,增强政府公信力等方面发挥着不可替代的积极作用;三是法律援助的方式主要包括法律咨询、案件调解、案件代理、刑事辩护等;四是法律援助具有无偿性,对受援人来说,法律援助是无偿的,但并不意味提供法律援助是义务的、无偿的,国家是法律援助的义务承担者,必须通过政府购买服务来承担法律援助的国家责任,给予律师等法律援助提供者案件补助,并且随着社会经济发展不断提高补助标准;五是法律援助案件类型主要包括民事、刑事、行政诉讼,也包括申诉案件的代理,一般不包括非诉案件代理,但包括上述各类案件处理中的调解;六是法律援助具有三个层次的意义,即能够维护当事人的合法权益,维护法律的正确实施,维护社会公平正义;七是法律援助是被联合国和世界许多国家确认并采用的司法救助制度,是法律扶贫、扶弱、扶残,实现法律面前人人平等、尊重和保障司法领域人权的重要举措,是衡量一个国家司法文明进步程度的重要标尺;八是从社会经济发展视角看,法律援助是法律扶贫、法律济困,提升法律援助质量的重要举措。
对法律援助的评估可以追溯到20世纪60年代的美国。1964年,美国正式实施的“经济机会法案(Economic Opportunity Act)”中对项目的评估即包括法律援助(法律咨询)项目的评估。[1]评估学认为质量作为事物的一个种类具有可测性,质量的可测性决定了质量是可以评估的。依照一定原则和标准对质量进行测量和评定就是质量评估。公共行政不仅是管理学的关注焦点,也是法学尤其是行政法学关注的焦点,专业化、技术化的评估已成为社会政策和公共行政的有机组成部分,在政府行政管理过程中,重视评估已成为政府人员知识结构的一个必需部分。[2]对法律援助案件的质量评估是基于对法律援助案件质量优劣的关注,因为法律援助的监督管理核心是法律援助案件的质量,质量评估在法律援助监管体系中处于重要地位,其评估思想来源于上述社会政策和公共行政理论。
由于评估是评判是否达到预设目标的一种手段,是帮助人们了解最初设置的目标是否实现,是对服务质量、效果的客观评判,以此来检验及证明服务机构及其人员的服务品质。[3]因此,法律援助案件质量评估就是对作为法律援助的责任主体——政府指派的相关人员办理的符合一定条件的法律援助案件服务质量、效果的客观评判。评估包括过程评估和结果评估。过程评估是贯穿于整个介入过程的评价活动。通过评估,我们对法律援助案件办理情况进行测量、分析和评价。通过评估,积极促进法律援助制度改革更加合理,从而不断满足弱势群体或特定群体的需求。通过评估,向政府和法律援助参与者提供相关意见和建议。[4]
法律援助案件质量评估可以从三个层面来理解:一是从微观层面,法律援助案件质量评估关注的是个案,是对个案服务效果的绩效测量和社会干预;二是从中观层面,对法律援助案件进行质量评估是提升政府法律援助管理工作的有效手段;三是从宏观层面,法律援助案件质量评估是国家履行政府法律援助义务的重要方面,是保障人权的民生工程,使得政府公共决策更具合法性和公信力,具有政治性。尽管如此,我们也不能将法律援助案件质量评估万能化,指望质量评估根除法律援助服务中的问题,但法律援助案件质量评估工作对引导政府政策制定、公共法律服务规划、提升管理方式等具有意义和价值。[5]
2.刑事法律援助案件质量评估的概念分析
刑事法律援助案件质量的定义可以作广义和狭义之分。广义是指刑事法律援助工作满足明确或隐含各种需要的能力的特性总和;狭义是指刑事法律援助人员办理案件活动满足明确或隐含各种需要的能力的特性总和。按照狭义概念,可以对刑事法律援助案件质量做如下定义:刑事法律援助案件质量是指法律援助人员办理刑事案件活动过程中,根据自己的专业知识和执业经验为受援人提供法律服务,满足法律、行业规范和受援人要求的程度。案件质量是通过法律援助人员办理案件活动来满足各种要求的能力的一系列特征表现出来的。刑事法律援助工作和法律援助人员办理案件活动是一个整体,刑事法律援助案件质量是对整个法律援助制度的综合评价,而刑事法律援助案件质量则仅仅是针对法律援助制度的一个环节,即办案环节,也是最重要的环节,刑事法律援助案件质量是法律援助制度运行的结果。由于现阶段我们还不具备对整个法律援助制度进行综合评价的条件,因此,应当主要把精力集中在对法律援助案件质量监管上。刑事法律援助案件质量管理是法律援助监督管理的重点。
此外,我们还应当积累经验,为以后的制度评估留出足够的空间,法律援助发展到一定程度,一旦条件具备了,不仅要对案件进行评估,还可以对整个法律援助制度进行监管和评估。
结合“法律援助”“刑事法律援助”“质量”和“评估”的含义,笔者认为,刑事法律援助案件质量应当从以下几个方面去理解:一是刑事法律援助案件质量是通过有关主体为刑事司法系统的特殊当事人提供法律帮助过程中形成的属性,而且这些固有属性的要求是可以测量的;二是从刑事案件特殊当事人的视角,刑事法律援助案件质量具有适用性,能满足其需要,且能满足其需要的程度;三是从刑事案件管理者的角度,刑事司法系统的有关主体为特殊当事人提供的法律服务应该符合其预设的刑事法律援助案件质量标准,只有全面满足这些质量标准或要求,才能评定为好的质量或优秀的质量;四是刑事法律援助案件质量是动态的、发展的和相对的,随着社会的发展,管理者和受援人对质量提出新的要求,使之得到不断充实、完善和深化;五是刑事法律援助案件质量可以进行评价,分出不合格、合格、较好、好或优秀等层次。
3.本文对刑事法律援助案件质量评估研究领域的探讨
顾名思义,刑事法律援助案件质量评估是对刑事法律援助案件进行的法律援助案件质量评估,由于刑事案件的复杂性和专业性,刑事法律援助案件质量评估通常是由政府组建专业评估机构,组织熟悉刑事法律的专家人员针对已办结的刑事法律援助案件,从办案程序、辩护词等法律文书质量等方面是否符合法律要求,办案所反映出来的法律专业水平、办案技能和服务态度等方面,进行评查验收的一种监督方式和措施。[6]从接受指派办理某一刑事法律援助案件开始一直延续到案件审结,判决书生效,辩护关系终结,它是对整个办案过程的评估,也称为实施行动计划的过程评估。
如何理解刑事法律援助案件质量呢?笔者认为需要从三个方面去理解:首先是遵守规范和程序意义上的质量。要符合刑事法律的实体规范和程序要求。从这个角度看,刑事法律援助案件的质量标准应当是一个合格标准,即基本要求和最低要求。其次是有效性(效益)意义上的质量。这一层面上的质量含义明显关注到了有效法律援助资源与无限增长的法律服务需求之间的矛盾。最后是受援人满意度意义上的质量。以受援人的满意为导向,契合了司法的人民性,符合“让人民群众在每一个司法案件中感受到公平正义”的司法理念,满足了受援人的人权保障需求,有助于政府行政理念和价值取向的转变。[7]
如何理解刑事法律援助案件质量评估的意义?笔者认为,案件质量评估一方面可以促进政府对刑事法律援助工作的监管,履行政府刑事法律援助义务;另一方面通过案件质量评估体现了公权力对刑事法律援助个案提供的法律服务进行绩效测量和社会干预;此外,通过建立刑事法律援助案件质量评估制度可以提高政府公共决策的合法性和公信力。
需要特别说明的是,我国当下法律援助质量评估开展的时间不长,人力和经验尚不足,很多配套措施和制度尚未建立,现阶段我们主要是对刑事法律援助人员承办案件质量的事后评估,不包括对刑事法律援助案件质量管理活动的事前评估和事中评估,也不涉及司法行政机关或法律援助机构工作绩效的评估等。本书探讨领域仅及于此,即仅讨论已办结刑事法律援助案件的“合规性”和“合需性”的评估问题。
(二)刑事法律援助案件质量评估指标体系的构成要件
无论是哪一种评估,归根结底,刑事法律援助案件质量评估是一项系统工程。国内有专家学者对评估体系进行了系统研究,[8]结合刑事法律援助案件质量评估的内涵,笔者认为,刑事法律援助案件质量评估指标体系的构成要件主要包括以下几个要素。
1.价值体系。价值理论是一切评估的基础。由于每个人都在自觉和不自觉地遵守着自己的一套价值理论,因此,价值是多元的。价值多元化并不意味着指标体系没有自己的价值体系,我们可以根据评估对象的不同,依据一定的原则和价值观,构建出一套自己的刑事法律援助案件质量评估价值体系。
由于评估价值目标的设定差异直接影响质量评估规则设定、指标选取和评估结果等,因此,价值体系成为整个刑事法律援助案件质量评估体系的核心所在。价值的多元性意味着刑事法律援助案件质量评估的价值目标的多元性,进而直接导致刑事法律援助案件质量评估标准的多元化。刑事法律援助案件质量评估体系的价值目标最终形成了一个价值体系,价值体系之内各价值目标还应存在位阶差异,使得评估活动复杂化,因此,价值体系是刑事法律援助案件质量评估体系的首要要素,为其他要素如指标设置、权重构成、运行规则和相关支持系统等提供了参考,评估活动也将通过价值目标的位阶来进行。
2.指标设置。指标设置是在一定的价值体系引导下,将各个评估指标按照一定逻辑结构组织起来进行设置,反映刑事法律援助案件办理流程,体现办案关键环节和办案总体情况的评估指标群组。[9]评估指标是表明评价对象(法律援助案件)某一特征的概念及其数量表现,评估指标既要明确评估对象某一特征的概念,即性质,又要反映评估对象的数量。评估指标既能反映定性认识又能反映定量认识,具有这双重功能。[10]评估指标体系根据评估任务与评估目的的需要,能够全面而系统地反映某一特定评估对象的一系列较为完整的、相互之间存在有机联系的评估指标。每一项评估都需要设置多种指标,这些指标需要构建成层次分明、互相联系、逻辑严密、相互补充的指标体系。评估指标和指标体系是联系评估对象和评估人员的桥梁和纽带。一个好的评估指标体系能够把评估对象描述清楚,并可以得出科学合理的评估结论;相反,一个构建不好的指标体系则往往会导致整个评估的失败。此外,评估指标还是一个有效的指挥棒,体现了评估者的价值导向和行为导向,因此,指标体系需要建立在一定的理论基础之上。
3.权重构成。权重是一种权衡,是权衡在被评估对象中哪些要素相对重要,反映的是某种数量形式对比和权衡,是一种量值,因此,也叫权数。针对指标体系而言,所谓指标权重是指某一指标在整体评估指标中的相对重要程度。权重是要从若干评估指标中分出轻重来,一组或几组评估指标体系相对应的权重便组成了权重体系。在评估中,权重的确定是一个基本步骤,权重确定后将会直接影响评估的结果,权重的变化也会影响评估对象优劣顺序的改变。
权重的形式多种多样,类别不同,评估对象不同,确定权重的方法也随之不同。[11]我们在理解权重时需要重点关注的是权重的数量形式是多种多样的,可以是绝对数也可以是相对数;可以是结构相对数,也可以是比例相对数;可以取正数,有时候甚至可以取负数。在我国刑事法律援助案件质量评估试点工作中公布了十个评估指标,[12]但并未公布指标的权重,而是授权在具体评估工作中由地方自行确定权重。后来陆续推行的同行评估模式中对于各个指标也尚未有权重之划分。[13]
4.运行规则和相关支持系统。运行规则是评估过程中需要遵守的规范,主要包括指标设置的法律法规或行业规范依据、评估方法、评估对象范围和评估程序等组成的规则体系,其目的是保证评估活动合法合规并能正常运行。
刑事法律援助案件质量评估的运行规则一般由政府部门设定,也可由行业部门制定,评估机构和评估人员在评估过程中遵守执行。刑事法律援助案件质量评估的核心运行规则是评估程序和评估方法的选定。评估程序主要是保证质量评估的同质性,避免了评估主体的随意性;评估方法主要是保证质量评估的效度。运行规则的目的是保证评估过程的公正和公开性,达到预期效果。
除上述系统结构之外,刑事法律援助案件质量评估体系仍需要诸如经费保障信息技术等相关支持系统加以辅助,才能保证正常规范运行。
(三)本文对刑事法律援助案件质量评估指标体系的探讨范围
由于指标体系构建的复杂性、世界各国文化背景和学术研究体系的差异,目前世界各国在评估体系的构建上还没有形成标准化、内在一致的运行规则。因此,指标体系在体系结构、构建方法、构建原则、构建程序、指标数量等方面各有差异,较难统一。我们在构建法律援助案件质量评估指标体系时应该结合中国国情和文化特质,在遵从中国价值体系的基础上,构建出中国的法律援助案件质量评估体系。[14]
严格意义上来说法律援助案件质量评估体系包含法律援助案件质量评估指标体系,而法律援助案件质量评估指标体系包含刑事法律援助案件质量评估指标体系、民事法律援助案件质量评估指标体系、行政法律援助案件质量评估指标体系和非诉法律援助案件质量评估指标体系等。2014年,司法部开展的法律援助案件质量评估试点,公布了刑事法律援助案件质量评估十个指标子系统。2016年,司法部法律援助中心制定了民事法律援助案件质量同行评估标准(试行),在法律援助质量评估中推行同行评估模式,其指标体系修正为包括“初次会见(关键时刻)、在办案全过程中(关键环节)”两个方面在内的评价法律援助律师办案行为是否专业的13个评估指标。
本书认为,刑事法律援助案件质量评估指标体系是指有关管理部门(通常是指政府)通过组建案件质量评估机构,组织专业人员针对已经办结的部分刑事法律援助案件,从接受指派到办理案件的有关程序、法律文书质量等方面所反映出来的专业水平、办案技能和服务态度等遵照一定的价值目标而设置的相互联系的多个评估指标群组以便进行评查验收监督刑事法律援助案件办理情况,提升刑事法律援助案件质量,这些指标构成具有内在逻辑结构的有机整体就是刑事法律援助案件质量评估指标体系。
由于我国法律援助案件质量评估相关的研究尚没有全面系统展开,本书没有对刑事法律援助案件质量评估体系与刑事法律援助案件质量评估体系指标进行区分,如果没有特别说明,本书所说的刑事法律援助案件质量评估体系与刑事法律援助案件质量评估体系指标系同一含义。
二、相关概念界分
(一)法律援助与相关概念辨析[15]
1.法律援助与公益法律服务
“法律援助”是《法律援助法》已经确定的概念,具体含义在前面已经作了界定,而公益法律服务还不是一个法律概念,散见于各种规范性文件中。[16]笔者认为,法律援助与公益法律服务的主要联系有:一是两者都属于公共法律服务的范畴。[17]二是广义的公益法律服务包括法律援助,因为公益法律服务的概念可以区分为广义和狭义。狭义的公益法律服务是指律师事务所、律师、基层法律服务机构和法律服务工作者等法律服务机构和人员自愿无偿或者减少收费提供的法律服务。
法律援助与公益法律服务的主要区别:一是法律援助是法律法规规定的国家责任、律师的义务、公民的权利,是无偿的,而且法律法规限定了援助对象的范围,由政府给法律服务人员支付办案补贴。而公益法律服务是律师协会、法律服务机构和法律专业人员等自愿实施的,是慈善行为、私益行为,不是必须履行的法律责任。虽然公益法律服务一般是不收费的,但在特定情况下受益人可能承担基本的办案费用,而当事人在法律援助实施中不承担任何费用。二是法律援助的服务对象在《法律援助法》中已经有了明确规定,而公益法律服务的对象范围没有法律法规的限定,但一般也会是普通群众,围绕服务民生展开。为了调动公益法律服务工作者的积极性,政府还可以建立公益法律服务补偿机制,而法律援助政府只有补贴费用,不能额外对援助人进行补偿。
2.法律援助与司法救助
司法救助曾出现在司法解释和有关司法文件中。[18]国家司法救助是对遭受犯罪侵害或民事侵权,无法通过诉讼获得有效赔偿的当事人,采取的辅助性救济措施。国家司法救助以支付救助金为主要形式,与思想疏导、宣传教育相结合,与法律援助和诉讼救济相配套,与民政救助、社会救助相衔接。法律援助不直接向受援人提供资金帮助,提供的专业法律服务是一种间接帮助。法律援助的对象还可以是行政诉讼当事人,显然比司法救助的范围更大。
3.法律援助与社会救助
社会救助是宪法确定的权利,[19]是保障公民实现这项基本权利的重要制度。法律援助是否属于社会救助,学界持不同的观点。郭婕博士在《谈法律援助与社会救助的区别》一文中认为,法律援助不应该被纳入社会救助的范畴。王东进先生在《中国社会保障制度的改革与发展》一书中提出,社会救助是现代国家中得到立法保障的公民基本权利之一,是当公民难以维持最低生活水平时,由国家和社会按照法定的程序和标准向其提供保证其最低生活需求的物质援助的社会保障制度。法律援助是社会救助,但不是物质援助。汤黎虹教授在《社会法学》一书中提出所谓社会救助,是指国家和社会对依靠自身努力难以满足其生存发展基本需求的公民给予的物质帮助和服务。书中将法律援助制度列为社会救助制度中的一部分。2015年11月,河北省出台的《河北省社会救助实施办法》规定,本省行政区域内最低生活保障特困人员供养、受灾人员救助、医疗救助、教育救助、住房救助、就业救助和临时救助以及社会力量参与的其他救助,适用本办法。该办法没有将法律援助列入其中。《关于完善法律援助制度的意见》提出,完善法律援助与司法救助、社会救助工作衔接机制,这表明,该意见认为法律援助与司法救助、社会救助三者是不同的。
笔者认为,社会救助与法律援助是既有区别又有联系的两个概念。社会救助属于公民的基本人权,有明确的宪法依据和特定的内涵。对基本人权不宜任意扩大,因为与基本人权相联系的权利很多,基本人权有其特定的内在规定性。社会救助侧重于通过物质保障解决公民基本生存生活问题;法律援助侧重于通过法律服务保障解决当事人在纠纷或争议中的法律问题,切实维护自身合法权益、实现法律上的公平正义。基本生存生活都不能保障的公民基本上属于弱势群体,其法定权利更容易受到侵犯,当自身合法权益受到侵害时,理所当然地受到法律援助。
(二)刑事法律援助案件的质量标准与评估指标体系辨析
1.刑事法律援助案件质量标准与刑事法律援助标准
《法律援助法》中使用了“法律援助服务质量标准”,[20]一般来说,法律援助服务质量标准与法律援助案件质量标准含义相同,只是描述的角度不同,“服务质量标准”是站在受援人的角度,强调法律援助的服务性,“案件质量标准”是站在管理者的角度,强调对法律援助案件质量管理。因此,刑事法律援助服务质量标准与刑事法律援助案件质量标准是同一个概念。
法律援助标准是对各种法律援助概念和日常性活动所作的动态的统一性规定,是对一定时期内的法律援助实践经验和成果进行总结概括并经相关机构协商一致,由主管部门批准,以特定形式发布,在法律援助工作中共同遵守的准则和依据。[21]法律援助标准是一种工作标准,包括各种类型案件的工作标准、管理工作标准、服务工作标准、案件质量标准或服务质量标准。刑事法律援助案件质量标准是众多法律援助标准中的一种标准。
2.刑事法律援助案件质量标准与刑事法律援助案件结果质量
案件质量和案件结果质量是两个不同的概念。刑事法律援助案件质量是办案人员在办案过程中是否遵守了事先制定好的行为规范。案件结果质量是指受援人的程序权利和实体权益是否得到合法有效维护,裁判或决定结果(法律结果和客观结果)是否正确、得当。物质产品的质量可以用具体参数来衡量并据其评价服务行为的质量。服务质量类似于物质产品质量。与物质产品生产不同,刑事法律援助案件的裁判或决定结果必须基于事实和法律,受现实制约和多种主客观因素影响,由办案单位作出,法律援助人员没有决定权,案件结果质量并不必然反映法律援助人员办案质量。
刑事法律援助案件质量标准主要是行为标准,对办案行为难以提出量化要求,难以根据会见受援人次数和时长、阅卷复制案件材料多少、调查收集到证据多少、法律意见文字多少、研究讨论案情时长等来简单判断法律援助案件质量高低。刑事法律援助案件质量标准主要是办案行为标准,而不是案件结果标准,是对刑事法律援助人员办案行为的指导和规范,通过提高办案行为质量来保证案件结果质量。
3.刑事法律援助案件质量标准与刑事法律援助法律法规
《法律援助法》第二章规定了法律援助的机构和人员,明确规定了法律援助机构的职权和职责、法律服务人员的法律援助义务和相应权利以及基本的法律援助行为规范。也就是说,《法律援助法》规定了基本法律援助行为规范,是保证法律援助质量的基本要求,具有原则性、底线性。
刑事法律援助案件质量标准是在遵循法律援助法律法规的基础上,对法律援助机构履行职责、法律服务人员履行法律援助义务的具体化、目标化,尤其是明确法律援助行为的具体做法和应当达到的程度。刑事法律援助案件质量标准是法律援助法律法规的配套制度,具有规范性,制定法律援助案件质量标准是规范、严格管理法律援助案件质量的需要。比如,2023年修订的《办理法律援助案件程序规定》主要是从办案程序角度对办案行为的规范,而有关案件质量规范、案件评查方法和评查程序等,需要在刑事法律援助案件质量标准中规定。
4.刑事法律援助案件质量标准与案件质量评估标准
刑事法律援助案件质量标准和刑事法律援助案件质量评估标准是既有联系又有区别的。案件质量标准是事前标准,是目标性标准;而案件质量评估标准是事后标准,是测量性标准。刑事法律援助案件质量标准是更为全面和更高要求的标准,而案件质量评估标准可以根据评估目的进行选择。
刑事法律援助案件质量标准与刑事法律援助案件质量评估标准在本质上又是统一的。刑事法律援助案件质量评估标准应当是依据刑事法律援助案件质量标准,从评估目的出发,选取设置的具有较强测量操作性的评估标准。质量标准和评估的关系可以比喻为学校中的教材和考核的关系。案件好比试卷,评估指标好比试题和答案,评估就是依据指标“判卷”,通过得分表明案件质量。评估指标是从质量标准中抽取的可以衡量的具体办案行为要求。合格、良好、优秀标准是通过评估指标呈现的,是实际办案情况的衡量标准。[22]
(三)刑事法律援助案件质量评估的类型界分
构建刑事法律援助案件质量评估指标体系的价值导向不仅决定了评估目的和评估重点,还在一定程度上划定了评估的基本方法与内容。评估是在政府的管理或引导下有序开展,从单纯的构建理论上,刑事法律援助案件质量评估可以借鉴评估学中的目标导向、管理导向、受援人导向、专家导向和参与式导向五种价值导向类型,从而构建刑事法律援助案件质量评估指标体系。
1.不同价值导向下刑事法律援助案件质量的四种评估类型
(1)目标导向式评估。[23]所谓目标导向式评估是将项目目标的甄别和评价作为关注的焦点,回答项目、计划和行动措施的特定目标能在多大程度上实现的一种评估模型。目标导向式评估理论模型主要是服务于监督目的,在监督中将检验规定的目标值与相应的实际值之间对应比较,评估的结果可以用来对目标或者过程进行修订,还可以对目标的逻辑结构和它们相互之间的一致性进行评价。在这一评估模型下,要对目标的关联性进行检验,或者通过更高一级的价值观对目标的一致性进行检验。同时,还可以对由目标的实现所产生的结果进行逻辑分析并与竞争性目标的潜在效果进行对比。
目标导向式评估可以设计成一种“差距评估模型”[24],这一类型关注追求项目目标与实际达到的目标之间的差异,一般需要经历四个阶段的项目并赋予评估相应的任务。一是定义和开发阶段。这一阶段的工作重点是对目标、过程和活动进行定义并对必要的资源和参与者进行描述。每一项具体的内容都需要确定可以在评估中进行检验并形成标准。二是实施阶段。在这一阶段,事先定义的目标值(评估标准)或设计说明被用来当作对项目过程进行评估的标准。评估的主要任务是实施一系列一致性检验,其目的是对项目实施计划与实际执行之间的误差进行辨别。三是过程阶段。这一阶段评估关注的是收集有关项目参与者进步程度的数据,目的是了解参与者的业绩是否改善以及他们的行为方式是否按照预期的意愿发生了改变。四是产出或产品阶段。这一阶段评估的目的是检测长期的项目目的(终极目标)是否达到。除上述四个阶段外,可能还存在第五个阶段,即成本/效益分析阶段。这个阶段要做的工作是将成本效益分析所获得的结果与正在实施的相似项目进行比较。
目标导向式评估的主要优点是逻辑清晰,容易理解,也容易遵循和实施。此外,该评估模式可以督促项目组织者和项目参与者对项目的实际意图作出积极回应并根据变化作出明确的说明。
这一价值导向类型的主要不足之处是缺乏一个真实的经过评估的组成要素,以便能对一个项目的普遍价值进行确定。此外,项目目标的描述经常是一般性特征,要弄清楚通常是一件不容易的事。另外,计划的目标和实际追求的目标之间可能彼此相互矛盾。由于参与项目实施的人员很多,每个人都会遵守不同的、有时候甚至相反的目标,使项目有潜在风险。
(2)管理导向式评估。[25]管理导向式评估是以满足管理者信息需求为关注焦点的评估价值导向类型。管理导向评估对项目流程、人员和资源、组织结构等问题予以关注,但管理导向式评估瞄准的是管理的信息需求,是组织决策过程的一个重要组成部分。阿尔金作为洛杉矶加利福尼亚大学(UCLA)“评估研究中心”的主任,开发了一个以斯塔弗尔比姆的CIPP模式为蓝本的模式,这一模式提出了五个评估命题:系统评价、项目规划、项目实施、项目改进和项目认证。[26]
管理导向式评估的优点[27]是以决策层的信息需求作为评估关注焦点,使有经验的评估者知道如何很容易地从一个广泛的网络中收集大量的信息,也知道如何放弃那些与决策层核心论点和核心问题没有直接联系的多数信息,使决策层的信息需求始终作为评估的中心,避免了评估朝着不相关的研究领域的方向偏移。此外,管理导向评估模式突出强调及时关注信息的重要性,借助这些信息,决策者就可以尽可能地作出反应。
管理导向式评估的不足之处主要是过分关注决策层的信息需求所带来的不利结果,那就是一些重要的问题决策者没有关注到,也可能会有意识地被淡化。有些需要关注的地方因为没有成为关注焦点导致利益相关者的利益受损、被忽视,甚至被有意打压。这就可能带来一个严重后果,为了获得任务委托方的好感,“评估者可能会变成管理者和项目机构的‘枪手’”。如果看问题的角度太窄或者只关注任务委托方单方面的需求,不仅会造成评估结果的“掺假”和对一些重要观点的压制,而且还会导致从一开始就减少评估的主题。这一模式依据的假设是,项目负责人事先清楚地知道他们进行决策必需的那些信息从经验的角度来说是不可靠的。因此,这种观点将会导致评估只能获得非常有限的经费预算,只能在非常有限的时间内来实施,会造成经费上的严重不足,从而严重损害评估的质量。
(3)专家导向式评估。[28]专家导向式评估是指在对机构、项目、产品或活动进行评价时由相应领域的专家进行专业化的评定。由于一个人并不能具备一个范围广泛的评价所必需的所有能力,因此在多数情况下,都会为评审组成一个具有互补性资格的专家小组。
专家导向式评估被菲茨帕特里克[29]等人根据评审方法是否有正式的结构、这一方法是否有公开的标准、评审是否在一个明确说明的时间间隔内进行、这种评审方法是否包含了更多专家的鉴定以及评审结果是否会影响到评估对象的地位五个不同的维度分为四种类型:正式评审、非正式评审、特别事务委员会和特别评审。
专家导向式评估需要满足如下条件:一是具备实施定期评审的结构和组织;二是具有可以使用的公开标准和可能的设备工具;三是为实施定期评审事先确定的周期;四是汇总多名专家意见然后进行综合评定;五是评审结果对评估的事物有效果。
专家导向式评估不是万能的,也表现出明显的缺点。由于制定审核标准的专家、实施现场访问以及对形成的报告进行评价的专家都是来自他们自身的专业领域,因此,这不仅存在片面评价的危险,而且这种应该带来新思想的外部观点根本就不是外在的。此外,认可经常只是包括一些非常有限的主题,非预期效果几乎完全被忽视了。再者,认可还存在对量化指标的偏爱,因为量化指标更容易测量,而质的指标则经常被忽视。这就导致了一些基本的标准通常不能得到重视,以至于一些无关紧要的东西成为最为重要的因素。另外,专家评审方法所依据的隐性假设(即每一次为评审聘请的专家都具有开展评价所必备的专业及其他的能力)是很难用客观标准来进行检验的。更大的困难还在于,尽管有公开的标准,但也不能排除由于个人的偏好和各个参与者主观的经验水平,每位专家的评价也会出现失真的情况。
虽然专家导向式评估具有以上不足,但却不能掩盖其自身具有的优点。在审核标准中,足够的设备、人员的资质以及组织过程的适应性处于重要地位。应该着重指出的是,以专家为支撑的评估方法的最主要成就就在于标准和评价准则的开发。自我评估的实施需要借助特有的结构和过程来深入地交换意见,还将它用来对自己的优势和劣势进行分析,提供改进的机会。此外,来自审核员的外部看法还可能是一种独立的观点,可以将他们的观点与自我评价的结果进行比较,这样还可以开发学习的潜能。
(4)参与式评估。[30]参与式评估是指在评估中邀请项目的利益相关者参与,在特殊情况下要求项目相关人员参与评估的一种评估模式。之所以出现参与式评估模式是因为其他模式的评估者大多数情况下都在做解释评估项目目标,没有将项目的参与者考虑进去,为了解释好评估项目,可能需要撰写冗长的报告,评估时设计的问卷越来越冗长和烦琐,回答和填写问卷的过程越来越难,让人厌烦,导致获得的数据不准确和不可信。评估者作为弱势群体的代言人能帮助他们获得更多的能力,从而提高他们自治和自我管理的能力。参与式评估理论模型有助于提高项目参与者的能力,能够让项目参与者对自己的状况进行自我改善。
根据参与者参与评估的程度,参与式评估理论模型从内部可以被分成“应答性评估”“自然主义的模式评估”和“赋权模式评估”。应答性评估是项目评估者与参与者分别协商(面对面调研)的评估。应答性评估的优点是评估者会重视运用简单的方式和方法,以便项目参与者理解项目,进行相互沟通,参与者也从评估中获得了经验,能力得到了提高。这里的“质”主要是指定量社会研究相对应的概念。赋权模式是由大卫·费特曼创立的一种有意识地抛弃了客观性、有效性和可靠性这些经典的标准,认为因为科学特别是评估不是中性的,而且无论怎样也没有一个科学的真相,这种模式提倡评估应该有助于提高参与者的能力,能够让他们对自己的状况进行自我改善。
参与式评估理论模型的主要代表人物为斯塔克(Stake)、古巴(Guba)和林肯(Lincoln)、巴顿(Patton)、考津斯(Cousins)等。[31]参与式评估理论模型的优势主要在于评估的规划和实施中重视“人”的要素并且关注从评估中获得利益的“人”的需求上,具有广泛性。此外,参与式评估模式还可以在实施过程中根据参与者的需求进行及时调整,因而具有灵活性。
参与式评估理论模型的不足主要有:一是由于政治因素(特别是授权模式),这一模式对评估需要满足客观性、有效性和可靠性等科学标准加以否定,因此,它可能不具有科学性;二是这一模式可能存在将评估者的评价任务轻易转嫁给项目参与者的风险,使得评估失去意义;三是有些评估的理论过于复杂,难以理解,由于参与者难以理解,他们可能不假思索地进行回答或填写,存在“可以理解式的不认真”;四是参与式评估模式只是针对个案,抽样过于随意,不太关注参与者来自哪里、代表谁,因而评估结果可能缺乏代表性和普遍性。
2.刑事法律援助案件质量评估的价值导向类型选择[32]
评估模式的上述分类也不一定是最好的分类,也就是说,还有充分的理由可以将学者的研究成果和评估实践的经验进行总结并归入到更多的分类中。此外,上述评估模式及其分类也不是一成不变的。但是,对评估进行模式分类可以假定每一种模式都可以准确地归入一个事先给定的理论框架中,这样做意味着各种模式之间还是存在一个最佳的分界线,能够方便我们准确认识评估项目并加以实施。
不同的项目应该选择不同的评估模式,[33]选择哪一种评估模式还需要分清楚内部评估和外部评估。评估可以由内部或外部的专家组织实施。内部评估是指评估项目的计划和实施由同一个机构来完成。由接受委托的机构内部的部门来组织实施评估就称为“自我评估”;如果评估是由接受委托的机构的另外一个部门进行的,那么这种评估虽然也是内部评估,但不是自我评估。
内部评估的优点是评估能够迅速并且以最小的成本完成,而且评估者通常熟悉业务,具有较高的专业知识,评估结果也可以直接利用。内部评估的缺点是评估者缺乏独立性,大多数评估者不具备足够的评估知识和评估方法,由于没有距离感,内部评估的评估者往往认识不到项目可能还有更好的评估途径选择。
外部评估是由不属于资金提供者或项目实施机构的人员进行的评估。外部评估通常具有相对独立性并具有很强的方法能力及专业化的评估知识,评估人员熟悉项目或计划所涉及的专业领域。外部评估的缺点是会给被评估者一种压力甚至给其带来恐惧感从而引起抗拒反应,如果被评估者不配合评估,评估结果的转化和应用就会面临问题和困难。
上述总结的内部评估和外部评估的优缺点是相对的。当组织内建立了独立的评估部门并由合格的专家负责时,就不能认为内部评估缺点会表现出来。外部评估也不是自然而然就能保证较高的独立性和可靠性。通常来说,小型机构没有必要设立单独的评估部门或评估职位,完全可以通过购买有资质的评估服务,这样可以用较低的成本由具有专业水准的评估团队完成评估,可能更经济,效果也更好。如果评估主要是为了证明合法性问题,为了达到尽可能高的客观性和可靠性,就只能委托外部评估。
具体到刑事法律援助案件质量评估,在评估模式的选择上首先要区分是内部评估还是外部评估。就目前中国刑事法律援助案件质量评估试点工作情况看,笔者认为,多数是小范围进行,各省也是单独进行,评估的案件数量少,因此,在这种情况下应该优先选择内部评估,在评估模式上建议选择“专家导向型模式”,因为“专家导向型模式”是专家进行专业化的评定,在刑事法律援助案件质量评估试点阶段,要对评估阶段遇到的各种问题进行探索,专家可以用专业知识为评估工作加以指导,提出一些评估遇到的问题的解决方案,有利于评估工作的顺利开展。如果采用其他评估模式,则不能达到上述效果,可能让评估试点工作夭折。
如果刑事法律援助案件质量评估需要大范围进行,且评估的刑事法律援助案件数量较多,需要证明政府资金投入、人员配备等合法性问题,建议选择外部评估,评估委托给专业的评估机构完成。根据中国目前刑事法律援助案件质量评估发展状况,在评估模式上建议选择“目标导向型评估模式”,为了科学合理地设计刑事法律援助案件质量评估体系,保证刑事法律援助案件的质量,建立的刑事法律援助案件质量评估体系即是根据所要达到的法律援助目标进行设计,是理想的基础目标,把每一份实际的刑事法律援助案件(即实际值)放到法律援助评估体系之中,一方面,通过对比得出实际值的质量情况;另一方面,通过对实际值规律或特点的总结来检验或者修正目标值,以达到优化评估体系的效果。