複製鏈接
請複製以下鏈接發送給好友

rae

(英國研究評估考核)

鎖定
RAE(Research Assessment Exercise)開始於1986年,是“撒切爾計劃中公共開支問責制的一部分”,分別於1986年、1989年、1992年、1996年、2001年、2008年開展了六次科研評價活動。每次科研評價都會在上一次的基礎上對評價方法、程序和標準等進行一定的調整。2008年科研評價之後的改革幅度較大。 [1] 
RAE由英格蘭Higher Education Funding Council(HEFCE)、蘇格蘭Funding Council(SFC)、威爾士Higher Education Funding Council (HEFCW)和北愛爾蘭Department for Employment and Learning(DEL)這四個高等教育基金委員會聯合評出的,目的是對由這四個高等教育基金委員會提供科研經費的大學及教育機構的科研水平和科研貢獻做出評估,也為以後對這些學校的資金支持力度提供指導,所以這項評選的結果對於英國大學來説至關重要。
2014年,RAE轉變為一個全新的體系—研究卓越框架(Research Excellence Framework, REF),由HEFCE、SFC、HEFCW和DEL主導,由代表四個撥款實體的REF小組及監管團隊管理,REF 2014 英國大學官方排名相比RAE2008最大的變化是引入了“科研影響力”的評價。“科研影響力”概念主要指對外部社會的廣泛功能,排除對高等教育部門內的科研、學術知識的進步的影響力(這種影響力放在“產出”或“環境”來評估);排除對學生、教學或其他侷限在提交案例高校內的活動影響力;如果是對提交案例高校之外的學生、教學的影響,則包括在內。 [2] 
中文名
研究評估考核
外文名
RAE
外文名
Research Assessment Exercise
創始時間
1986年 [2] 
基本含義
高等教育機構研究評估考核

rae評估簡介

研究評估考核(the Research Assessment Exercise, 簡稱RAE),是英國高等教育基金委員會對英國高等教育機構的研究質量進行的一次系統全面的測評,大約每五年進行一次。前幾次的RAE排名分別發佈於1986、1989、1992、1996和2001年。前兩次由大學基金委員會(Universities Grants Committee)實施,從1992 年開始由其替代者—四個英國高等教育撥款機構(英格蘭高等教育撥款委員會(HEFCE)、威爾士高等教育撥款委員會(HEFCW)、蘇格蘭高等教育撥款委員會(SFC)、北愛爾蘭就業與學習部(DEL))分別在四個地區負責實施。前兩次評估項目相對“良性”一點,科研撥款幾乎不受影響。從 1992 年的第三次評估開始,即英國的職業技術學院(Polytechnics)變為“新”大學開始,科研評估才真正開始“動真格了”。評估結果使得研究資金的分配產生了重大差別,科研評估從此成為學術界以及教育界關心的重要問題。 [2] 

rae演變歷史

1986年以前:無評估狀態
英國大學的科研評估有很長的歷史,至少開始於1965年,大學基金委員會(UGC)一直試圖以一種“低干涉”的柔性方式來管理科研。但英國學界普遍認為1986年以前,英國大學實際上並沒有真正的科研評估活動。當時,所有英國大學都從UGC 接受整體撥款配額(Block Grant Formula),科研資金就包含在內。整體撥款額由大學的學生數決定,因此科研資金“與科研的體積或質量沒有關係”。大學越大,其整體資金額度就越大,這與其科研質量無關。
這種模式到了20世紀80年代發生了變化,在經濟形勢緊張的情況下,公共部門整體上都面臨很大的資金問責壓力,UGC也不能倖免。在撒切爾政府確保公共開支最好價值的政策下,UGC選擇了順從政府,開展科研評估嘗試—英國科研評估體系(Research Assessment Exercise,RAE),即一種週期性、國家性的由評估單元(Units of Acsessment, UoAs)來組織的同行評議,很大程度上與學科或科目領域相關,主要由英國學界成員、小部分非英國的學術諮詢委員及一些科研“使用者”代表組成的同行評議專家團來進行評估。其結果是同行評議後的質量等級(Quality Ratings),用來計算分配給大學的科研整體撥款額。撥款委員會給大學的科研資金中超過90%是由RAE結果決定的。 [2] 
1986年:第一次科研評估實踐
1986年,RAE首次開展,最初由UGC實施,叫做科研選擇活動(Research Selectivity Exercise,RSE)。“RAE 的首要功能是提醒科研基金分配實體和政府政策,這些資源應該按照科研質量來分配。此活動也在為公眾提供信息、為高等教育科研活動的公共開銷進行質量監控上發揮重要功能。”然而,當時它在為部門分配更多科研資金上,似乎只是一個交換條件、一項非常柔性的活動,實際上只是使大學通過科研表現指標(發表量)“解釋它收到的公共資金的使用方向”。
隨後 UGC 被大學撥款委員會(Universities Funding Council, UFC)取代。在 UFC 開展了1989 年的科研評估活動之後,評估責任由四個英國高等教育撥款實體分擔。
一些英國學者認為1986 年的活動是一次以具體表現指標(PI)來取代泛化指標的嘗試。而科研撥款的分配參考RSE 結果,所以高等教育機構發現 RSE 決定着而非簡單測量大學科研的運行,但這個過程很不清晰。
1986年,RSE 未與高等教育部門進行任何諮商,僅僅要求完成一份問卷,問卷裏只要求每個院系或投入中心舉出五個研究產出的例子。儘管RSE 要求提交一些大學層面的數據,但重點似乎遠離“大學”,而是聚焦在大學的“院系或投入中心”。數據樣本過小使得根本沒有人意識到或抱怨評估覆蓋面不夠。大學提交的數據由UGC的學科小組來評估,並以一系列量表、標準來排名。 [2] 
1989年:第二次科研評估實踐
1989年,對UFC發起的活動進行了廣泛的諮詢,並作出了一系列重大改變。50個投入中心被152 個評估單元取代,並引入了五點計分法,要求大學學術成員提交其在1984年1月—1988年12月期間最優秀的兩個成果(出版物),並輔以研究生的信息和科研收入的信息;之前UGC的學科委員會被70 個同行評議專家組取代。
UFC 對此次活動的評估結果是“出版物數據很不可靠,且可靠的數據也説明不了任何產出的質量”。評估單元(多數時候完全等同於學科、院系)至今仍被採用,學校高管不得不在學校總體情況之外判斷其每個單元的表現。因此,英國的科研評估一直持續在凸顯某些單個學科領域的優秀表現或不良表現。
1992年:第三次科研評估實踐
1992年英國出台《繼續及高等教育法案》,按照此法,職業技術學院升級為“新”大學,RAE1992評估就發生在此背景下。與1992年前的“舊”大學同時接受科研與教學撥款不同,“新”大學的撥款幾乎全部投入在教學上,因此所有員工的研究預設相應改變了,“科研活躍”的概念由此引入,即72個評估單元的每個科研活躍員工都要提交兩個出版物及產出信息。專家團使用5分制來打分,1代表很少或沒有科研“卓越”,5代表最卓越。
預料之中“舊”大學獲得了大部分的科研撥款(91%),評分低的大多來自“新”大學。教育出版界使用RAE數據的一部分製作了排行榜併發布,引起巨大反響,從此排行榜成為另一項大學必須適應的事物。
HEFCE 隨後回顧了RAE1992 評估對高等教育機構的影響及存在的問題,最主要的擔憂是它扭曲了專業相關的學科(教育、商業管理、經濟),以及更重視理論工作而不關注實踐研究;它也擔心由於選擇性的科研撥款,1992 年前的“舊”大學中可能會出現科研與教學活動的分離。 [2] 
1996年:第四次科研評估實踐
1996年,RAE也進行了諮詢和調整,“研究活躍”員工必須經過認定,需提供四個產出以及“同行聲望”指標。
先前的5分等級量表擴展到了7分等級(1,2,3b,3a,4,5,5*),等級1和2得不到撥款,撥款額度分配也不是線性的。這意味着RAE的高選擇性在不斷加強,而隨着越來越多的“新”大學加入到了科研撥款的“大餅”中,HEFCE也警告“除非政府額外加大投入,否則科研撥款必須更具選擇性”。此次評估有69個評估單元,1992年後的“新”大學提交的案例數量首次超出了1992年前的“舊”大學。所有1992年前的“舊”大學的院系以及58個“新”大學中的21個(打分在 3 以上)收到了撥款。1996年的評估結果顯示:英國高等教育部門的科研文化在逐步加強。但對於教育研究的質量有很大爭論,特別是在教育研究與學校和教育產出提高的關係上。HEFCE也對1996年RAE評估數據進行了系統的後續分析[9],以輔助高等教育撥款委員會規劃科研戰略方案。 [2] 
2001年:第五次科研評估實踐
RAE2001與RAF1996的評估方式大致相同,但有一些重大改變,特別是在科研撥款上。原計劃仍採用7分等級計分,最低的三個等級得不到撥款(1,2,3b),但最終 HEFCE 的首席長官Howard Newby 宣佈:3a 等級(定義為“全國優秀”“展示了國際卓越的證據”)將得不到撥款,導致大學爆發憤怒。之後創造出一個6*等級,它與1996 年的5* 等級達到的科研等級相同,但同時報告的員工數更少。7 個“新興學科領域”(Emerging Subject Areas),如戲劇、表演藝術,以及那些獲得了3a及以下等級的機構可以競爭“科研能力撥款”(Research Capability Funding)。[10]此次評估涉及大概 173 個高等教育機構,提交了2,598個評估案例,50,000名研究者。
1992年—2001年 RAE 評估結果的發展趨勢。
此次評估中,英國最老的教育學院—利物浦大學教育學院獲得了3b 的評分等級,被標記為“關停”,因為RAE 判斷它的科研基礎太弱。從此,RAE 被視為一項對評估單元(即大學院系)進行管理的工具,那些科研表現很差的機構被認為有被關閉的合法性,不管它對大學其他使命(如教學)的貢獻有多大。
RAE2001要求每個機構的每個評估單元展示7套數據,核心是要求在規定時間內每個成員(或員工)生產的四項科研產出的表現,包括所有學術員工及支持員工(“科研活躍”員工)數、研究學生數、外部科研資金數、獎學金數、科研環境及“額外信息”包括聲望指標及科研影響力證據。將哪些員工歸類為“科研活躍”是機構需要作出的重要決定,這需要根據員工科研產出的質量來判斷。有時候提交的員工羣組可能本身並不在一個團隊進行科研工作,但分配到相關學科領域中能夠最大限度地提高評估分數。在2001年的評估中,大學在材料措辭方面花費了巨大精力。
RAE2001結果顯示:98% 撥款委員會的科研預算以整體資金額被分配到大學中。計算方式依據產出容積(人頭數)、學科量額(區分不同類型的科研成本)及科研打分等級因素,這個框架平等應用在所有大學中。RAE 結果在撥款中的權重,隨打分等級的提高權重在增加。
RAE2001之後,政府出台了一份文件,堅稱撥款沒有充分地將資金集中在表現最優者上,因而給予在1996及2001評估中都獲得5* 的院系6* 等級,並撥給額外的資金,而這一舉動也招來很多批評。另外,在1996年後大學的普遍驅動力是儘可能獲得更高的科研等級打分,而非囊括儘可能多的學術領域,因為這個框架賦予科研等(相比容積)更高的重要性,將“較弱”的員工囊括進來拉低等級可能帶來嚴重後果。此次評估後,4等級的科研相比5* 等級獲得的撥款大幅減少,後者是前者的2.5倍還多。 [2] 
2008年:第六次科研評估實踐
2007年前後,英國政府可能不滿於無法插手“學術評價學術”的系統,在RAE評估案例提交前不到18個月時,當時的財政部長宣佈以一項基於計量的新系統來取代RAE2008。已經為RAE2008作了大量準備的高等教育機構對此強烈反對,最終提議被部分撤銷,僅在科學、技術、工程、數學(STEM)學科領域進行計量的評估實踐。但撥款分配的原則是“資助最高質量的研究”“保護科學學科的地位”,因此等級標準有所提高。RAE2008進一步發展了RAE2001的評估方法,專家團囊括了國際成員,意在“為質量表現帶來國際化的視角”。核心不同是質量表現不再由單一要素決定,而包含了三個要素:科研產出、科研環境、聲望指標,都以5分等級(未標記、1*、2*、3*、4*)來打分。三要素的權重不同,科研產出可能在50%~70%之間,科研環境大概在5%~20%之間,此次評估產生了新一輪的排行榜。 [2] 
從研究的綜合實力排名來看,傳統名校依然佔得頭籌,劍橋大學(University of Cambridge)擊敗牛津大學(University of Oxford)取得最高研究水平的位置,倫敦政治經濟學院(London School of Economics)、帝國理工學院(Imperial College)和倫敦大學學院(University College, London)分列3至5位。
2014年:第七次科研評估實踐
2014年,英國高等教育機構的科研質量評估由RAE變為一個全新的體系—研究卓越框架(Research Excellence Framework, REF),由英格蘭、蘇格蘭、威爾士高等教育撥款委員會及北愛爾蘭就業與學習部主導,由代表四個撥款實體的 REF 小組及監管團隊管理,REF2014相比RAE2008最大的變化是引入了“科研影響力”的評價。“科研影響力”概念主要指對外部社會的廣泛功能,排除對高等教育部門內的科研、學術知識的進步的影響力(這種影響力放在“產出”或“環境”來評估);排除對學生、教學或其他侷限在提交案例高校內的活動影響力;如果是對提交案例高校之外的學生、教學的影響,則包括在內。
REF2014評估大學研究的外部功能及影響的嘗試在英國學界引起了巨大爭議。2009年針對REF開展的公眾諮詢的數據顯示,圍繞“影響力”指標至少有三大爭議:一是其對同行評估專家團的界定,威脅學術自治;二是影響力話語的建構會削弱科學的“邊界”特徵;三是對影響力建立在科研之上的預設限制了知識的轉譯。英國大學聯合會(University and College Union)甚至發起了一項稱為“站出來力挺科研”(Stand Up for Research)的請願活動,反對將影響力因素引入 REF,認為科學與其社會或經濟應用之間存在清晰界限,應該“抵制粗糙的應用概念”。但也有研究者認為REF實際上可以幫助大學反思日常行為,加強而不是限制學術自主權,同時提高研究的效率與水平。 [2] 

rae業內影響

經過多年的發展,RAE/REF成為了英國大學不得不面對的、控制力極強的外部力量,大學投入巨大的資源來發展應對與管理它的策略,並投入學術及行政人員的大量時間精力來服務評估專家團。RAE的形式與演變反映出圍繞大學產生的各種張力,不僅有政治和政策的,也有針對科研本質的—大學科研應是傳統的、學科的、自治的,還是應用的、受操縱的、多學科的。總體上看,從1986年以後,英國高校科研評估的實施一直是由高等教育撥款委員會進行,因此與撥款數額緊密相關;評估的單元一直以學科領域為基本單位,不同學科領域的評分權重、評分方式都有一定的差別;隨着七次評估活動的演變,科研評估越來越具有選擇性,相應的評估活動越來越透明化、綜合化、系統化。整個過程中諮詢的作用非常大,每次諮詢既是一次從錯誤中學習的過程,也是確保評估重新具有更大合法性的過程。評估的設計及運行也逐漸從單純迴應政府壓力變為更有效地抵制來自政府的壓力。此外,國家科研評估RAE/REF活動對各高校的影響力也越來越大,英國並沒有在國家層面對高校教職員工直接評估與干預,特別是針對高校教師個體的具體活動,如教學或科研等直接評估。但在撥款委員會牽頭的RAE/REF中,由於評估對象是某一學科中高校學術成員的直接成果,故對高校教師的工作有很大要求,間接促進了高校以它為參照,調整其教師員工隊伍。
促進高校內部員工分化,加強大學管理主義行為
從1996年起,RAE開始引入“科研活躍”概念,允許高校選擇被評估的學術成員,將其標記為“科研活躍員工”,並只將此部分員工提交RAE評估;活躍的研究者需要提交特定數量的科研產出(2001年和 2008 年要求四項),缺乏科研產出或未達到相應質量標準的員工則不被評估。
RAE對大學及其院系帶來的最重要後果是對科研管理主義的、組織層面的更強關注。不少高校在院系中“廣泛引入了量化工作規劃模型,在員工間選擇性分配科研時間”。對科研產出的監控在不斷傳播,研究者提供指導的科研政策廣受歡迎。另外,大學還發展出操控遊戲的策略,以使自己在評估中的表現最大化,禁止能力不足的科研者提交產出,選擇更易被接受的評估子小組。因此,RAE使得大學從聯合治理轉向了管理主義和更加等級化的內部組織結構。
對於大學的學術員工而言,他們的職業生涯和發展全部指向滿足評估的需求:“有科研聲望野心的大學任命學者時,就預期他們在REF中將作出貢獻”。最具生產力的研究者被獵頭看中,甚至提供財政刺激;而生產力低的研究者則被鼓勵提前退休。
影響學術工作者個體的職業期許與發展
在個體層面,RAE/REF 標準與職業發展的關係對個體的專業認同有重要影響。RAE/REF鼓勵更具策略性對個體生涯的評估,調整研究者的發表行為,因此高度限制了研究者的自主性。
RAE/REF是焦慮和不確定性的主要來源。被證實排除在活躍研究者羣體之外的學者們不得不認可學校賦予自己的“半公眾狀態”,增加教學量與行政職務,以減少活躍研究者的工作負擔。“科研活躍”者也面臨同樣嚴峻的要求,週期性地重複滿足達到高質量研究產出的期待。 [2] 
參考資料