新时代大学学科成效评价理论框架与应用探索-英亚体育

英亚体育

新時代大學學科成效評價理論框架與應用探索


文章作者:林夢泉 陳燕 李勇 張瑾 發布時間:2021-03-30

習近平總書記指出“要把立德樹人的成效作為檢驗學校一切工作的根本標準”,國家大學學科重點建設項目也將建設成效作為整體評價的重點,并研究形成長效機制。習近平總書記在全國教育大會上強調,要深化教育體制改革,健全立德樹人落實機制,扭轉不科學的教育評價導向,從根本上解決教育評價指揮棒問題。2020年10月,中共中央、國務院印發的《深化新時代教育評價改革總體方案》中指出,針對不同主體和不同學段、不同類型教育特點,著力破除“五唯”頑瘴痼疾,建立科學的、符合時代要求的教育評價制度和機制。教育部、科技部出臺若干評價改革文件,強調要在教育科技評價中破除“五唯”,扭轉論文“SCI至上”等要求。強化實質成效和效能是新時代我國高等教育發展新的戰略思考,成效評價將成為政府管理和高校內涵發展的迫切需求。因此,開展大學學科成效評價理論和實踐研究具有重要意義,是服務國家大學學科重點建設戰略,推進教育治理體系和治理能力現代化的重要方面。

一、成效評價研究的需求、背景與意義

(一)成效評價是高等教育發展至高水平階段的必然需求

在教育發展不同階段,對其評價或大學關注的評價也存在不同情況。這里以評價主要方式出現為分析維度,來觀察教育發展的三個階段及評價供給。

第一階段:許可性(合格性)評價。一個國家教育發展初期或大學發展初期,規模發展所需要的評價供給重點為許可性、合格性評價活動,功能偏向于判斷教育活動是否滿足法規條件和基本要求,檢驗辦學的基本條件和基本質量。如我國20世紀90年代一段時期,研究生教育評價主要為學位授權點審核,研究也主要聚焦審核理論方法和實施路徑,及其相應的制度性和方法改革。

第二階段:教育認證。當高等教育發展至一定規模后,過程和內涵發展,以及保障質量成為大學比追求規模更關注的內容,而教育認證是對教育過程和內涵檢驗非常有效的方法,是推動教育可持續發展非常有效的方式。我國21世紀前開始關注工程認證到最終加入華盛頓協定,以及接受國外工商認證到學位中心和MBA教指委聯合組織的CAMEA認證(中國高質量MBA教育認證)的發展過程,都體現以上特征。以教育認證為主要手段實現辦學過程管理規范化,是高等教育提升國際影響、人才培養與行業有效銜接、人才培養的國際資質互認等重要路徑。

第三階段:成效評價。隨著我國高校整體水平的提升,教育作為經濟社會科技發展的基石和核心競爭力逐漸凸顯,政府和高校都關注高等教育國內和國際相對水平和建設成效,更加關注各類水平排名,并通過成效評價,提高建設效能。建設成效評價還是考慮資源投入和產出成效的績效評價的重要基礎。對大學(或學科)建設進行的成效評價,進而協助高校檢驗學科發展態勢,為政府的教育決策提供參考和信息。

以上各階段對于評價方式的存在并不是絕對的,僅是從一個視角分析隨大學發展催生的新評價方式,一般前序階段產生的評價方式在后序中并存。

(二)成效評價在推進教育治理能力和治理體系現代化中的意義作用

1.成效評價是服務國家重點建設成效的檢驗舉措。成效評價是衡量國家重點建設專項效果的有效方法,如建設期末對建設成效進行整體評價等,體現了教育成效評價重要地位和作用。成效評價是檢驗目標性明確的大學學科建設成果和人才培養質量的有效方式。如何評價各高校立德樹人建設成效,如何檢驗一流大學學科整體建設以及其他專項建設成效,如何評估各高校預期建設目標完成的程度,如何實現戰略調整,是新時代我國高等教育管理面臨的重要、緊迫問題。因此我國大學和學科發展評價理念和機制將轉向“成效評價”。從我國高等教育大國向強國邁進的高質量發展階段來看,是從基本的合格性評估、水平評估到體現治理效能評價轉變的時候了。但是,成效評價當前理論和實踐的系統性研究還非常缺乏,不能支撐我國高等教育高質量內涵發展的迫切需要。

2.成效評價助推教育評價改革和破除“五唯”頑疾。在破“五唯”背景下,主要基于SCI、ESI、獎項等數據的大學學科排名評價方式,對我國高等教育發展形成不良導向,因此破“五唯”,扭轉不科學的教育評價導向,需要研究更加科學的評價模式、評價方法,樹立正確的“指揮棒”,營造注重實質成效的良好氛圍,豐富教育評價方式,推動教育評價的戰略轉型。破“五唯”,立“多維”,關鍵在立“多模式”,以多模式評價方式實現“多維”理念。以成效為導向,采用成效評價新模式,從大學學科定位的實現情況、建設的提升情況、建設的總體效果以及可持續發展能力等方面,建立一套科學、完整的教育成效評價體系,有利于樹立教育評價的正確“指揮棒”,有利于破“五唯”,助推教育評價改革。

3.構建中國特色、國際前沿成效評價體系,樹立國際教育評價話語權。近年來,世界主要發達國家都將重點建設高水平大學作為提升國家高等教育及科技核心競爭力的重要組成部分,并制定了相應的戰略規劃。據不完全統計,全世界已有30多個國家正在實施卓越大學建設計劃,涉及兩千多個機構。與此同時,如何評價各國所實施的一流大學建設計劃成效,是否達到預期建設目標,是世界高等教育發展的新的熱點問題。世界上各國教育評價存在多類體系,各有特色和側重,但還未形成一整套國際公認的教育建設項目成效評價體系和運行方案。在推進高水平大學學科建設與發展的歷史階段,研究建立中國評價標準和體系,一方面有利于推進高水平大學學科的建設,提升教育治理體系和治理能力現代化水平,提高教育質量管理效能;另一方面也利于在國際上獨樹一帆,在高水平大學學科建設成效評價方面,發出中國聲音,提升國際影響力和話語權。

二、成效評價研究現狀與面臨挑戰

在教育成效評價方面,目前國內相關研究主要集中在評價要素理論、評價指標體系、評價方法等,從理論和實踐兩個方面開展相關研究。在評價理論方面,已有研究主要在戰略性考量,大多提出成效評價思路和評價的理論思考。鐘秉林等提出結果導向、持續改進、多元參與等“雙一流”建設成效評價框架性思路;王戰軍等提出構建達成、貢獻、引領等“五個維度”為核心要素的一流學科成效評價理論;在評價實踐方面,任超等分析了英國的REF(Research Excellence Framework)評價,提到其指標體系強調“科研成果”“成果轉化與應用”和“科研環境”等三個一級指標;王傳毅等以德國大學“卓越計劃”實施成效評價,聚焦知識生產規模、學術水平和國際化程度,以及政策效應的評價。在評價指標與評價方法上,史靜寰從“雙一流”建設成效評價指標體系建設的新思路、新方法、評價策略等進行了研究。部分學者偏向針對科研成果的同行評議,部分偏向學術成果的計量評價。

國外研究者也在評價的理論模型、評價方法、評價應用等方面開展了相關研究。在評價理論模型方面,Daraio等梳理了大學排名評價存在的評價維度單一、數據統計具有穩健性、評價結果依賴于大學的規模與學科組合、缺乏對投入-產出結構的考慮等四個顯著問題,基于部分歐洲大學數據,運用相關數學模型對魯棒性距離、規模與學科依賴程度、管理效率得分進行了測算。在評價應用中,科學計量學界的學者針對引文影響的普遍共識是,在規范的標準化應用前提下,在成效評價中,引文可以作為反映成果的“學術影響力”的有效指標,但不能作為測度研究“質量”的直接指標。

總之,目前理論的系統性研究和實踐都面臨較大挑戰,主要體現在以下五個方面:①總體上,相對于水平、排名等評價研究,教育“成效評價”專題理論和實踐研究較少;②在評價內涵上,總體研究比較宏觀、概括,對教育成效評價的概念界定、功能、目標還比較模糊,突出評價的目標實現和發展能力特征,還未形成共識性定義;③在理論體系上,相對于其他評價理論研究,教育成效評價還未形成系統的理論體系和模型,當然也缺乏系統的實施體系;④在指標體系上,由于成效評價概念的未成熟,評價體系主要局限于某些特定的維度或者范圍,體系研究呈現多樣性,成效評價特征不明顯,與一般水平評價接近;體系設計理念上,少有體現成效的目標實現等多維度、多視角特性;⑤在評價方法上,鑒于成效評價的較強的管理屬性,傳統的定量評價方法不能很好支撐成效評價。現有研究中,能針對性地支撐成效評價的創新方法比較缺乏。

可見,從我國高校高水平發展階段新需求、國家重點建設成效評價戰略需求,到破“五唯”背景下評價改革創新,都迫切需要進行教育成效評價概念內涵、評價理論、體系構建和應用的深入研究,以服務高水平建設,提高建設效能。因此,建立中國特色、國際水平的成效評價體系和方法,對推動我國教育評價理論創新,提升我國高等教育治理體系和治理能力現代化水平具有重要理論和實踐意義。同時,也有助于在國際教育評價領域貢獻中國智慧,樹立中國話語權。

三、成效評價理論框架

(一)成效評價含義

1.成效析義。成效一詞古有應用,漢王充《論衡?非韓》:“夫道無成效于人,成效者須道而成……”;陸游《條對狀》:“如措置酒坊,招捕海賊,未有毫發成效,而擾害之事,已饜滿聞聽。”可見,成效是所獲得的預期的效果或功效,接近的有成就、成果、見效。成效的“效”主要含義是效果、功用。有學者認為,學科建設的成效是學科在一定建設周期后所取得的現實建設效果,反映了該學科在具體發展過程中的改革力度、創新水平。總結以上觀點,針對本研究的研究對象,大學學科建設成效可定義為:在一定周期內,相對于預設的條件、范圍、目標等基礎前提,大學學科建設所取得的成績、成果、功效和效果。成效與建設水平相對辨析如下:大學學科建設水平一般從學術角度分析,指時間點和區間建設情況達到一定的程度,擁有的成績、成果、結果等。建設成效具有管理屬性,包含水平元素(如學術水平、學生質量),但有些建設成效(如專任教師數、畢業學生數)不一定屬于水平范疇。

2.成效內涵。以大學學科建設成效為例,新時代大學學科建設成效應聚焦新內涵,堅持立德樹人根本任務,圍繞立德樹人成效,大學學科具體成效可包含,但不限于“人才培養質量”“師資隊伍結構質量”“科學研究與轉化成果”“文化傳承成果”“社會服務與貢獻”“聲譽與國際影響力”“治理能力和水平”等維度的建設成果和效果。

3.成效分類。根據成效含義,成效可分為絕對成效、相對成效和增量成效。

(二)成效評價與分類

1.成效評價。基于成效含義和評價的功能,成效評價可解析為以建設成效為目標的價值判斷。依據成效含義,與其他教育評價功能不同,成效評價包含兩個功能,一是測量建設成績、成果,二是評價建設實施的效果和效能。英文有譯為“Result evaluation”“Effectiveness evaluation”,二者合一比較恰當,而國外“Performance evaluation”所表述的評價項目,實際上大部分屬于中文的成效評價范疇,當然也有績效評價的含義。成效評價廣泛運用于現代企業管理領域,主要是指企業用來評估整體戰略方案是否達到預期的戰略目標和標準,以及戰略實施后取得的經濟效益和社會效益,即方案實施效果。

2.成效評價分類。根據評價需求,采用相應方法實施不同的成效評價。根據三類成效可界定三種成效評價類型。①絕對成效評價,指檢驗大學學科建設從一個起點到某一個終點達到的水平或累積的成果;②相對成效評價,指檢驗不同大學學科之間在相同周期內所取得成效的橫向比較情況;③增值成效評價,指檢驗相對上一個建設周期,同一大學學科建設成效的縱向變化情況。教育部學位與研究生教育發展中心(簡稱“學位中心”)組織的學科評估屬于整體水平評估,其體系主體包含成效評價元素,該體系可進行絕對成效評價,也可用于相對成效評價,目前的評價方法主要為相對成效評價;從有關文件資料看,大學學科重點建設評價(“雙一流”建設、高峰高原建設等),包含了以大學學科建設絕對成效評價為基礎,兼有相對和增值成效評價的綜合屬性。

成效評價可賦予更廣泛的內涵,如對建設規劃項目進行考核的“目標完成度、達成度、實現度”評價,屬于建設效能的檢驗,因此可歸入成效評價范疇。但目標達成度成效評價的有效性和可比性,取決于目標設定的合理性。可見,從有效性看,目標達成度評價比增量成效評價更具挑戰性。一般地,大學學科建設成效評價具有顯著的目標性,評價要素取決于評價目標。可見,成效評價具有很強的管理功能,有望成為新時代教育質量治理的新工具,具有廣泛的理論和實踐價值。

四、成效評價體系立體設計法與二維模型構建

在明確評價目標的框架下,科學構建指標體系是忠實評價目標,保證評價科學、有效的最核心工作。這里研究提出成效評價立體思維設計理念,并就應用于評價體系模型構建進行探討。

(一)成效評價立體思維體系設計

1.立體思維體系設計理念。“重要性”是一般評價體系設計的依據,構成一維的評價體系結構。基于前面提出的成效評價突出特征,僅按“重要性”一個維度的體系設計法,不能很好滿足成效評價的目標需要。基于成效評價成果、成績和效果的二元特征,提出了成效評價體系的系統性、融通式“立體思維指標體系設計”理念,克服單維度體系設計不足,強調體系設計的多視角考察,特別是指標評價方法在體系設計中的貫通性和統籌性考量,提高體系指標的精準性、可靠性、可評性,以確保設計的體系結構和內涵更接近評價目標。

2.立體思維體系設計法。基于設計理念,從指標重要性特征的縱向要素、指標效果特征的橫向要素,以及指標可評性特征的評價方法要素三個維度,立體地統籌考量構建指標體系,稱為“立體思維體系設計法”,示例見圖1。以下就三維度立體設計法方法框架進行論述。

第一維度為建設的任務要素。如大學學科重點建設(“雙一流”建設、高峰高原學科建設等)總體方案的任務內容,可歸納其建設的核心要素,包括人才培養、科學研究、師資資源、文化傳承、社會服務、國際交流、治理機制等七方面。

第二個維度為建設任務完成與發展效果要素。主要體現建設效果,即建設目標的達成度、建設成長度、貢獻度和發展度等四度。四度是成效評價的突出特征,能夠比較全面地體現建設效果、效率、規律和趨勢。評價體系設計如何體現四度,克服指標單維度孤立設計的局限,是成效評價的新課題。任務的達成和建設的成長增值情況是成效檢驗的基本要素,原則上每個指標都有此屬性,通過綜合考慮目標達成和成長進步情況才能體現發展水平和成就;貢獻度強調指標要體現建設的標志性成果、學術原始創新、國際國內領域引領、解決“卡脖子”問題等;發展度則注重建設所形成的可持續發展的能力,如大師資源、高端平臺、文化引領和治理機制等。

第三維度為指標內容的可評性。基于破“五唯”背景,SCI、ESI、獎項等定量評價需要全面改革,評價的難度更大,導向要求更突出。未兼顧評價方法的體系不具有可操作性,因此指標設計需同時關注其能否應用定量、定性還是融合評價方式,以便形成可行、可用的評價體系,實現最佳評價目標。這是由于每種評價方式都需要特定的指標內涵,如類型、形式、規模、可用性,特別是可獲取性。如定量評價,需要具備提供數據標準、范圍、客觀性、公平性和足夠高的數據質量;定性評價,需要確定指標重點、提供形式、開放程度、可比性和定性評價的不確定程度;當兩種傳統的方式難以確定時,需要研究指標是否能夠實現融合評價的要求及相應的方法路徑,如指標的證據鏈是否可獲取可用,以便分析指標是否可取。可見,不同的評價方式對指標有不同要求,設計指標應兼顧指標的可評性。

根據以上分析,基于三維立體統籌貫通的思維,可構建更加科學、可行的指標體系。成效評價體系立體思維設計模型示例見圖1。

(二)二維結構體系模型構建

1.二維結構體系模型構建的基本方法。前面分析的成效評價的基本內涵是體系構建的基本依據,具體的評價體系基于政策依據和理論依據對評價目標的分解,通過立體的統籌分析,在滿足可評性的基礎上,設計結果簡化為“二維結構體系模型”。第一維度為:建設任務要素,表達基本成果;第二維度為建設任務完成與發展效果要素,也可稱為四度要素,表達主要效果、效益和效能。由于二維內容交錯,所以呈現為矩陣式指標體系框架。(見圖2)根據三維立體設計理念,研究如何形成獨特的體系結構和內涵,既具有可評性,又包含了四度導向的思想,使得二維評價體系內涵更貼近成效評價目標。二維結構體系模型是本研究提出的成效評價突出的特征,其中每個指標都可能包含兩個維度的含義,但兩個含義可能不是平均分布,分布的情況與指標選定有關。該模型擬研究的內容,下面以“人才培養”一級指標為例,建立其內涵時(二級指標或觀測點)兼顧四度理念,進行科學分級,如“思政教育特色與成效”“教學資源提供”“教學質量”“學生學習成果”“學生成長”“就業分布”“畢業生職業發展與社會貢獻”等。需要說明的是,每個二級指標不一定都具有同等程度的四度特性,如“學生成長”指標其成長度特征明顯,其他的特征較弱。

由于增設四度含義,二維結構體系的指標都可表達為兩種維度,即四度維度和建設任務維度。

四度維度:人才培養={達成度(每個二級),成長度(教學資源、學生成長等大部分指標),貢獻度(畢業生職業發展與社會貢獻、思政教育成效、畢業分布……),發展度(教學質量、教學資源提供……),……};基于多視角的成效觀測,易于貫穿立德樹人,易于回避“唯”的做法。

建設任務維度:人才培養={思政特色教育成效(達成、成長、發展……),教學資源(達成、發展……),教學資源與質量(達成、成長、貢獻……),學生學習成果(達成、成長、貢獻……),畢業生職業發展與社會貢獻(達成、成長、貢獻……),……};同樣如科學研究={學術發表水平(達成、成長、貢獻……),成果轉化(達成、成長、貢獻……),科研成果(達成、成長、貢獻……),科研平臺(發展……),……}。

以此類推,表示對二維結構體系的分解描述,詳見圖2。

2.二維矩陣體系使用表達與獨特優勢。

(1)使用表達。可以按矩陣方式組織形成不同的評價結果,方法為:第一體系表達為建設任務維度體系,實際就是普通的一維體系(A、B、C、D、E……若干一級指標),通過權重賦值,可形成分指標和總體評價結果,但體系已融入了成效屬性;第二體系表達為四度維度體系,可以分別組成達成度、成長度等獨立體系(四度維度即為四個一級指標),同樣通過四度權重,也可以獲得與第一維體系一樣的總體結果,但可獲得四度結果,作為成效評價的重要結論。但以上屬于理想情況,二維體系分別表達,主要是強調二維理念在體系指標設計中的存在,實際研究中,有些指標下設的觀測點比較符合四度特性,有些并不適合硬性分成四度,觀測點可能僅是隱含了一定的四度特性。具有清晰的四度觀測點的,便可以清晰地進行四度測量;不是所有觀測點都能分成四度的,統計主要的四度觀測點,也基本能反應四度的主要結果。當然可以對非清晰四度的觀測點,賦予四度內涵的系數,這樣便可以進行理想方式的結果統計。

(2)獨特優勢。表現為結果呈現獨特,具有良好導向。一方面,任務維度已經蘊含了成效特征,指標內涵包括了四度指標內涵,因此評價結果的價值不僅僅體現狀態和水平,強化了不同發展階段的大學學科成長情況和貢獻等特性,避免“一把尺”量全部,體現了與一般體系的差異,具有良好的導向性,這是二維體系的最突出特征;另一方面,完成與發展成效維度的四度體系獲得四度獨立的評價結果,從貢獻度、發展度屬性等比較突出的指標,可以發現重點專項建設突出的貢獻、突出引領性成效,發現建設的效果、效能和可持續發展能力。再一方面,二維多視角因素更有利于支持數據和政策分析,發現建設規律,研究計劃和目標制定合理性。特別說明的,評價模型僅是勾畫了成效評價體系框架基本內涵。評價結果呈現,并非僅追求或僅能進行定量評價獲得一個分數的狹義意義,在此框架下,也可獲得定性評價意見,這樣大大擴展的成效評價的作用。

五、成效評價應用場景

基于成效評價的概念界定,以上對評價的體系內涵和體系建立方法進行了論述,使得對成效評價的應用范圍有了基本認識。下面重點就成效評價的主要功能、應用邏輯、結果產生及其效用,進行進一步闡述,以供參考。

(一)成效評價基本功能與目的

根據成效關于成果和效果的基本內涵,成效評價是以任務目標為主線的評價模式,是對學科前期某種方案、計劃而取得的建設效果的評價。因此,成效評價的評估目標往往與建設目標存在關聯。與水平評估等模式不同的是,成效評價可以對預設或假定的建設目標、計劃進行評價、診斷和檢驗。通過評價實現建設的戰略管理,既有管理效果的感知,又有督導的效用。主要有四大功能:①鑒定目標任務實現情況。通過運用評估標準判斷和鑒定大學學科在實際活動中達到預設目標的程度,如未達到、達到、超越目標等;②診斷功能。分析發現增值幅度、實質性服務貢獻情況以及可持續發展能力等;③調控管理。通過分析建設效果、檢驗建設計劃的合理性,追溯建設過程的得失,進行戰略決策優化,調整學科建設行為,引導管理決策按正確的方向進行;④激勵依據。成效評價也是績效管理的重要依據,通過評價優化關鍵資源配置,激發學科建設的積極性;同時,成效評價是績效評價重要組成部分,結合大學學科資源投入情況,綜合研判建設績效,可以得到大學學科廣義建設績效評價情況,為更精準地進行績效管理提供依據。

(二)成效評價的應用邏輯

構建了成效評價的基本體系后,實施機制是發揮成效評價特殊功能的根本保證。應用邏輯是基于三大因素,即組織主體、評價對象、功能范圍。其應用要遵循以下邏輯:提出組織主體的評價目標,分析評價對象類型,給出體系構建方式,明確評價方法應用等來確定評價體系和評價方式的四條實施路徑,形成總體方案。

1.組織主體確定評價目標。確定評價目標是任何評價的首要任務,從成效評價主要功能看,組織主體有以下三類。一是建設項目的主管者(投資者),由于成效評價最基本的特征是基于建設目標的評價,因此成效評價的主要主體一般為專項建設或投入的支持方或管理者,即建設目標的設定或審批者,如主管項目的政府部門。高校內部基于戰略規劃,設定各方面的專題建設任務,也需要自主開展校級內部的成效評價。二是建設的承擔方,出于自我檢驗和接受檢驗的雙重目的,建設的承擔者也有必要開展成效評價。三是專業機構第三方,鑒于成效評價的特征,建設計劃檢驗是主管者的行為,非管理或承擔方的第三方沒有獨立開展成效評價的邏輯定位,但可以接受項目主管者的委托,依據主管者的計劃組織成效評價。綜上,成效評價確立目標的差異性,主要取決于項目主管者和建設承擔方的不同主體角色和行為,下面作重點討論。

(1)項目主管者評價目標確立。包括各級政府以及自立項目的高校,主管者在建設某時間節點進行成效評價的行為是項目管理的基本程序。確定評價目標需要考慮三個方面:一是項目的初心,建設項目的核心任務;二是檢驗的管理期待和檢驗重點;三是檢驗的時間節點,如確定為建設期結束。基于以上三個方面,確定評價目標,如建設計劃的完成程度,建設項目促進大學和學科發展成就,對經濟社會的貢獻,建設計劃的效率與問題等,為績效評價和持續建設的管理決策提供依據,等等。

(2)項目建設的承擔方目標確定。對于建設周期長、具有持續計劃的建設行為,作為建設的承擔方,如高校、學院、項目負責團隊等,為預測建設狀況,診斷發展問題,調整建設路徑,提高建設效率,更好地實現建設目標,有必要自主開展成效評價。當前,部分“雙一流”、高峰高原學科建設高校實際上已經在探索開展,校內建設項目自我成效評價更加普遍。由于自我評價一般為建設過程的自我檢驗,因此,評價目標與建設末期檢驗大目標相近,具體目標有所差異。需要統籌考慮的是應根據英亚体育發展規劃的總體框架,兼顧外部評價的基本要求,同時關注自身特色需求及內涵發展規律。因此,此類目標宜聚焦任務完成相對程度、階段性增值情況、建設舉措的合理性、建設要素情況及其相互支撐和制約情況,以及發展的趨勢預測,為改進建設策略提供依據。

2.評價對象分析。在評價目標確定的框架下,評價對象的差異決定了評價體系構建和評價方式的選擇。對象分析維度主要包含對象的范圍和分類。從對象的范圍來看,項目主管部門組織建設成效評價,評價對象一般為建設任務承擔的全部對象;而項目承擔者自我評價則是有限對象或單對象,如校內某幾個或某個建設學科群等。從對象的分類來看,主要涉及建設任務發布的分類,是基于同類對象類型的分析,如高水平大學建設高校、高水平學科建設高校,上海地區的高峰、高原學科,江蘇地區的優勢學科和培育學科類,某些高校的“引領類”“提升類”和“培養類”項目等。對象的分類是建立評價體系和評價方式的重要依據。

3.分類體系構建的方式選擇。對于一類建設項目,需要建立相對統一框架,并基于對象差異建立內涵分類的評價體系。具體方法如前述,重點建議關注兩方面的選擇。一是體系構建四度維度的選擇。不同評價目標和對象,在采用“立體”式評價體系建立時,關于四度維度的考慮應有所差異。對建設任務要求較高的承擔者,體系主要聚焦大學學科建設在科學研究、人才培養等方面對經濟社會的貢獻度,以及在體制機制、文化積累呈現的發展潛力等方面的檢驗;對建設任務要求較低的承擔者,體系主要突出對建設成長度和達成度的檢驗。二是“計劃強度”與體系構建的選擇。“計劃強度”是指建設計劃的合理性和目標明確程度。基于目標任務的建設計劃是成效評價突出特征,因此體系構建的模式確需考慮計劃強度。當計劃目標比較柔性,剛性目標較少,或計劃目標合理性不能完全保證時,體系設計中關于計劃目標達成度的分量不宜太強化。

4.評價模式選擇。基于成效評價的特殊性,評價模式的選擇和應用尤其重要。評價模式這里主要指評價方法和評價標準。評價方法主要是指定量評價、定性評價或融合評價;評價標準是指面對申報提供的信息,依據怎么樣的標準給出評價結果。評價目標和體系設計完成后,評價模式很大程度上決定了評價的成敗。一是評價方法應正確應用,合理的評價方法才能保證評價結果的可信度。在破“五唯”的背景下,要合理確定三種評價方法。只有數據價值和質量高的指標,才適宜采用傳統的定量評價;對于數據及質量含量低的指標,只能采用傳統的同行評議;對于數據價值和質量中等的指標,可以采用融合評價。二是正確制定評價標準,評價標準清晰才能保證評價結果的可信度。在計劃強度比較強的情況下,成效評價可以主要依據建設目標,評價建設的達成程度和成長變化情況,不需要通過橫向比較,可對單個對象直接評價,即絕對成效的評價;在計劃強度低及其他情況,通過對若干評價對象基于比較式的評價,給出評價結果,即相對成效評價。

(三)成效評價結果信度與應用

學科成效評價最重要的功能是促進科學管理。但是,結果應用前提是結果的信度,鑒于成效評價的特殊性和復雜性,保證評價結果的信度成為成效評價成功的“最后一公里”。

1.評價結果的信度保證。一是評價信息的信度。評價信息的可靠性是評價結果可信的第一保證,因此,評價的第一步驟是信息“清洗”,主要包括重復信息的剔除、信息的大學或學科歸屬度驗證、信息的真實性保證和信息的證據鏈保證等。沒有信息清洗的評估結果難以保證其可信度。二是與建設目標關聯的信度。由于成效評價有基于任務目標達成度的成分,評價結果與目標設定有關,因此,存在不同對象評價結果的可比信度。三是采用傳統同行評議的信度。一般地,同行評議需要制定科學的評價規則,對專家開展保證評價標準一致性的培訓,才能保證評價結果的可比信度。

2.第三方評價采信信度。成效評價體系或結果形成中包含二次評價元素(如第三方評價結果),需要開展元評估進行科學研判,否則存在結果失真的可能性。一是二次評價結果正確使用。其結果使用需要兩方面的考慮,不宜認用缺乏立德樹人等不正確導向體系的評價結果,將僅反映科研等局部結果當作綜合成效采信等。二是重復計算情況分析。在建設目標或評價總體結果中,若包含二次評價結果指標,則必然存在與成效評價指標重復計算的問題,應統籌分析、理性采用。

3.結果應用。評估結果多是為管理者判定實際活動達到目標的程度,為其后續資源分配、確立大學學科未來發展途徑等提供依據。成效評價具有比較明確的目的:一是提供給管理者,檢驗任務完成情況,評估結果信息反饋給管理者,以調整下個周期的建設目標和實施舉措;二是提供給建設任務承擔者,以便找出實際建設偏離目標的原因和程度,改進其建設方案,促使其建設成效盡可能地逼近目標,以評促改,促進科學管理,提高建設效率和效能;三是與持續資源配置“掛鉤”,主管部門依據成效評價結果對今后資源或政策投入進行優化配置。

總之,本研究從分析現代大學學科建設成效評價的必要性入手,就成效評價的概念內涵、功能、評價分類等進行深入研究分析,給出了比較系統的成效與成效評價概念表述,為成效評價的分類功能建立提供理論基礎和依據。鑒于成效評價的特殊性,分析了體系構建難題,對提出的立體三維體系構建新方法進行了全面論證,分析了理論依據和三維架構的邏輯關系和具體設計方法;進而分析立體體系構建法如何形成成效評價二維結構的體系框架,并就矩陣式體系框架構成進行了可行性分析,給出了矩陣式體系分解應用表達,論證了該方法的優勢。為更有效應用成效評價,就其應用場景的重點問題給出作者的看法,從評價目標制定、評價體系構建、評價方法選擇的基本原則和路徑出發,為評價落地提供四個方面應用策略。最后分析了結果可信度的影響因素和結果應用可使用的領域,從而形成了一整套成效評價的理論架構和實施路徑,為成效評價實踐提供參考,為該領域的繼續研究提供一種模式。國外此類研究也未有系統理論和成熟實踐結晶,期待今后研究中與國內學者共同探索建立中國特色、國際影響的評價方案,貢獻中國智慧,樹立中國話語權。

(來源:2021年03月16日中國高等教育學會)

點擊排行
相關信息
讀取內容中,請等待...
亚博网站登陆 亚博网站登陆 亚博网站登陆 亚博网站登陆 亚博网站登陆