當前位置:首頁(yè) » 理論實(shí)務(wù)
政府采購評審專(zhuān)家評分異常的判定和管理
2021年11月30日 09:53 來(lái)源:中國政府采購報 【打印】
■ 湯駿
在政府采購中,專(zhuān)家評審環(huán)節是實(shí)現公平、公開(kāi)、公正“三公”原則的重要環(huán)節之一,評審結論通常決定了中標供應商花落誰(shuí)家。專(zhuān)家評審制度是我國政府采購法律、法規體系中一項重要的制度設計,《中華人民共和國政府采購法》賦予了評審專(zhuān)家對投標文件的評審權和中標供應商的推薦權,專(zhuān)家的評審水平影響著(zhù)政府采購綜合效益的發(fā)揮。然而,長(cháng)期以來(lái)屢屢出現的評分異?,F象成為困擾政府采購監管部門(mén)的一大難題,同時(shí),還易引發(fā)供應商的質(zhì)疑、投訴以及采購人對采購結果的不滿(mǎn)意。
當前,越來(lái)越多的呼聲要求對政府采購評審專(zhuān)家的評分異常情況進(jìn)行科學(xué)地評估和有效地監督管理。
評分異常的界定及原因分析
關(guān)于評審專(zhuān)家異常評分的定義,無(wú)論在理論界還是在政府采購行業(yè)內至今沒(méi)有形成統一的意見(jiàn)。我國政府采購法律、法規體系中關(guān)于評分異常也沒(méi)有明確闡述。在《中華人民共和國政府采購法實(shí)施條例》《政府采購貨物和服務(wù)招標投標管理辦法》等文件中涉及“傾向性言論”“評分畸高、畸低”等少量表述,僅局限在一些原則性的規定上。
筆者理解,所謂評分異常的本質(zhì),無(wú)外乎是“異于常規”或“異于常人”,即評審專(zhuān)家憑借個(gè)人喜好,隨意給出不符合普遍認知或有悖于常理的得分?!墩少徳u審專(zhuān)家管理辦法》中就評審原則有專(zhuān)門(mén)要求,即科學(xué)、公正、不受任何干擾,獨立負責。換言之,凡是違反上述規定的,都可以視為評分異常。
導致評委評分異常的原因大致可以分為主觀(guān)因素和客觀(guān)因素兩類(lèi)。
主觀(guān)因素是指評審專(zhuān)家個(gè)人意志或主觀(guān)判斷等因素。例如:有的專(zhuān)家受利益驅使給特定關(guān)系人打出“關(guān)系分”;有的專(zhuān)家因為身份多重(比如同時(shí)作為供應商代表或者采購單位代表),考慮到業(yè)務(wù)發(fā)展需要而為“朋友圈”相互關(guān)照打出“人情分”;有的專(zhuān)家受到其他專(zhuān)家的影響或者誘導,不問(wèn)青紅皂白亂打“糊涂分”??傊?,不管是主動(dòng)還是被動(dòng),不論是有意為之還是無(wú)心之失,都是評審專(zhuān)家的思想觀(guān)念、道德水平和職業(yè)素養出了問(wèn)題。
客觀(guān)因素是指非評審專(zhuān)家個(gè)人因素導致異常評分的其他因素。例如:在評審專(zhuān)家的入庫遴選過(guò)程中專(zhuān)業(yè)分類(lèi)不科學(xué)、不精細或者審核標準不明確,導致專(zhuān)家“混崗使用”,因能力欠缺而無(wú)法科學(xué)地評分;政府采購評審專(zhuān)家庫人員數量不足,專(zhuān)家易被圍獵、被腐蝕,難以公正評分;部分采購項目供應商過(guò)多,評審工作量過(guò)大,專(zhuān)家在短時(shí)間內無(wú)法完成超額的評審任務(wù),不得不采取敷衍塞責的態(tài)度完成評標任務(wù);一些地方的專(zhuān)家對法律法規、專(zhuān)業(yè)技能、廉潔自律教育等長(cháng)期漠視,動(dòng)態(tài)考核管理機制尚未建立等,這都給評分異?,F象的出現埋下了隱患。
評分異常的判定方法
評分異常是對投標文件中的主觀(guān)性評審內容而言,因為客觀(guān)性評審內容(比如供應商的資質(zhì)、項目負責人的執業(yè)資格、職稱(chēng)專(zhuān)業(yè)核定等)實(shí)際上不應當存在偏差,所有評審專(zhuān)家的結論應當一致。
對于政府采購主觀(guān)內容的評審是允許存在個(gè)體評審差異的,這種差異在合理范圍(區間)之內,被看作為“偏差”。當然不能簡(jiǎn)單地將“偏差”與“異?!被鞛橐徽?。關(guān)于異常評分的判定標準,一直以來(lái)眾口不一,尤其是要從定量的角度去刻畫(huà)難度更大,但可以明確的是,偏差達到極限就是異常。盡管不同的偏差類(lèi)型判斷的標準有所不同,但超出合理偏差范圍的評分就是異常評分。因此,要結合偏差的類(lèi)型具體分析并建立合理的偏差模型。
評分偏差類(lèi)型可以分為兩類(lèi),一類(lèi)是橫向偏差,另一類(lèi)是縱向偏差。
所謂橫向偏差,主要是指專(zhuān)家個(gè)人與同時(shí)參與同一個(gè)項目評審的其他專(zhuān)家相比,評分出現偏離,也就是“自己和別人比”有偏差,這種偏差容易甄別。中南大學(xué)的唐光杰在《科技評審中評分偏差模型的研究與應用》一文中提出,此種偏差可采用基于統計、距離、密度的異常檢測方法;河南大學(xué)的焦易于等人在《基于異常評分行為分析的虛假評論商品識別方法》一文中則提出,此種偏差可采用正態(tài)分布擬合和時(shí)序數據突變點(diǎn)的檢測方法。不管采用何種方法,只要構建相對科學(xué)、合理的數理模型,都可以比較直接地檢測出專(zhuān)家的評分偏離,有沒(méi)有接近或超過(guò)極限值,從而判定其是否為異常評分。
橫向偏差大致可細分為四種情況。第一,個(gè)性偏差。例如,不以招標文件規定的評標辦法為依據,而是根據個(gè)人喜好隨意給出評標結論。這類(lèi)偏差有的出于有意(受利益驅使),有的出于無(wú)意(工作態(tài)度敷衍塞責)??傊?,這類(lèi)偏差屬于純粹的主觀(guān)臆斷,是主觀(guān)惡意最大的偏差。第二,學(xué)識偏差。因評審專(zhuān)家的專(zhuān)業(yè)技術(shù)水平或者實(shí)踐經(jīng)驗達不到評標所需的標準而出現的非主觀(guān)層面的偏差。例如,待評審項目的專(zhuān)業(yè)要求與專(zhuān)家自身從事或者熟悉的專(zhuān)業(yè)大相徑庭,甚至有些專(zhuān)家完全不了解所評項目的專(zhuān)業(yè)特點(diǎn),這屬于專(zhuān)家能力不足導致的一種偏差類(lèi)型。第三,認知偏差。認知偏差是專(zhuān)家基于自身的認知程度,對同一份投標文件的同一個(gè)評分項存在不同理解的情形,這也會(huì )導致評標結論存在較大差異。例如,對于“最近三年來(lái)無(wú)重大質(zhì)量安全事故”的時(shí)限起算點(diǎn)的爭議,專(zhuān)家A認為,應從行為發(fā)生之日起算。專(zhuān)家B則認為,應從認定存在重大質(zhì)量安全問(wèn)題法律文書(shū)的生效之日起計算。導致這類(lèi)偏差產(chǎn)生的原因主要是招標文件的評標標準設計不嚴謹,使專(zhuān)家在評審過(guò)程中產(chǎn)生理解上的分歧、認識上的偏差。第四,隨機偏差。隨機偏差是專(zhuān)家出于非主觀(guān)原因導致的一種無(wú)意識的偶然偏差。例如,對于夜間施工噪聲,兩個(gè)投標文件提供了不同的控制方案,一種安裝了聲屏障,另一種則砌筑了降噪棚,但是兩者都將噪聲控制在招標文件規定的55分貝之內。專(zhuān)家出于無(wú)心過(guò)失給出了不同的分值。
橫向偏差判定(Determination of lateral deviation,LAD)。在橫向偏差判定時(shí)應關(guān)注兩個(gè)指標:一是在同一項目中,對同一投標單位所有評標專(zhuān)家評分的平均值與各個(gè)專(zhuān)家評分對平均值的偏離程度;二是在同一項目中,以單個(gè)評標專(zhuān)家為對象分別計算其對所有投標單位打分的平均值偏離程度。至于偏離的置信區間可預先設定一個(gè)區域(如±10%—20%),根據評標項目不同屬性分別設置。如勘察設計、監理等技術(shù)服務(wù)類(lèi)項目主觀(guān)評審因素影響較大的,可以適當放寬區域上下限。
通常,設定專(zhuān)家評審得分為Pi,對于同一個(gè)投標單位的其他專(zhuān)家的評審平均分為P,預設的橫向偏離區間為Δ,則合理橫向偏離幅度應當滿(mǎn)足公式①。
所謂縱向偏差主要是專(zhuān)家個(gè)人在評審類(lèi)似項目時(shí)出現的評分偏離,也就是專(zhuān)家“自己和自己比”有偏差。這種偏差類(lèi)型目前國內研究者尚無(wú)人關(guān)注也未有人提及,但其實(shí)是十分關(guān)鍵的偏差來(lái)源之一。其理論依據是,在評審過(guò)程中,如果有兩個(gè)項目供應商提交的投標文件在資格條件、響應程度、履約能力等各方面都高度一致(或相同),同一個(gè)專(zhuān)家對于這兩個(gè)項目應該給出相近或者相同的評分。否則,就存在偏差傾向。當然,這兩個(gè)項目可能不在同一時(shí)期出現,因此甄別起來(lái)就比較困難,沒(méi)有數據庫的積累和大數據分析工具的支持,很難捕捉到其中的差別,而這點(diǎn)正是大多數人容易忽略的情形,有時(shí)甚至連專(zhuān)家本人都無(wú)法解釋為何出現評分偏差。
縱向偏差判定(Determination of longitudinal deviation,LOD)。專(zhuān)家的縱向偏差判定比較困難,因為需要有足夠的樣本和大數據工具的支持。從相對簡(jiǎn)化角度來(lái)看,可按照以下步驟處理:首先,要判斷待評審項目與以往已評審過(guò)的歷史項目,在項目特征、采購需求和投標供應商的響應程度方面是否高度相似;其次,要分析待評審的投標供應商與以往投標項目過(guò)程的基本情況有無(wú)明顯變化(如資質(zhì)、資格、產(chǎn)品規模等);再其次,選擇同一個(gè)供應商時(shí)在時(shí)間跨度上不宜太大,否則會(huì )受政策環(huán)境、評標標準變化等因素影響;最后,滿(mǎn)足前三個(gè)基本條件的,可以對專(zhuān)家的評分進(jìn)行縱向抽樣比較。如發(fā)現專(zhuān)家對同一個(gè)企業(yè)的評分存在明顯偏離的,就有理由懷疑其存在異常評分行為。
設專(zhuān)家本次評分結果為Qi,歷史上專(zhuān)家對于該企業(yè)的評分為Q,預設的縱向偏離區間為▽?zhuān)瑒t合理縱向偏離幅度應當滿(mǎn)足公式②。
評審時(shí)長(cháng)判定(Determination of bid evaluation duration,EVD)是橫向偏差判定和縱向偏差判定以外的一個(gè)重要且簡(jiǎn)捷有效的補充判定方法。理論依據簡(jiǎn)單,即沒(méi)有足夠的評審時(shí)長(cháng)保障,專(zhuān)家不可能作出合理的評審結論。由于我國的政府采購一般都是通過(guò)計算機評審系統對電子投標文件進(jìn)行評審,因此,專(zhuān)家在瀏覽電子文檔的駐留時(shí)間很容易被計算機自動(dòng)記錄下來(lái)(一般利用Ajax輪詢(xún)技術(shù)就可調用專(zhuān)家瀏覽投標文件的后臺日志),如此容易判斷專(zhuān)家能否給出公正的評審結論。這個(gè)時(shí)間維度的指標可以從多個(gè)角度來(lái)定義或者計算,比如,可以計算單頁(yè)駐留時(shí)長(cháng)、全文本頁(yè)面平均駐留時(shí)長(cháng)、頁(yè)面停留極端時(shí)長(cháng)(即單頁(yè)最長(cháng)或者最短駐留時(shí)長(cháng))等。
當然要構建合理的標書(shū)文件駐留時(shí)長(cháng)模型不易,因為時(shí)長(cháng)模型涉及的參數眾多,要充分考慮投標文件字體的大小、文字內容的難易程度、信息密集程度,以及專(zhuān)家的閱讀習慣、專(zhuān)業(yè)水平等。有時(shí)為了方便起見(jiàn),也可以采用縱橫比較的方法來(lái)作一些粗略的判斷,比如評標時(shí)長(cháng)不到其他專(zhuān)家平均時(shí)長(cháng)的1/5,那就需要重點(diǎn)關(guān)注該評委有沒(méi)有存在草率評標的情形。另外,專(zhuān)家對于不同的投標文件存在明顯的瀏覽時(shí)間差異也是一個(gè)應當引起重視的現象,因為,很難想象,專(zhuān)家對于不同的投標文件在嚴重不對等的時(shí)長(cháng)分配下能給出令人信服的結論。
異常評分判定公式
政府采購評審中,應當分別運用以上三種判定方式,最終分析得出專(zhuān)家的評分是否屬于異常評分情形。當然也可以對以上三種方式進(jìn)行權重分配后給出一個(gè)綜合評價(jià)數值。
設橫向偏差、縱向偏差和時(shí)長(cháng)偏差合理評分置信區間分別為[LADmin,LADmax]、[LODmin,LODmax]、[EVDmin,EVDmax],評審專(zhuān)家的橫向、縱向、時(shí)長(cháng)評分分別為L(cháng)AD、LOD、EVD,綜合評價(jià)數值公式如③,且同時(shí)滿(mǎn)足公式②時(shí),可判定為異常評分。
有時(shí)也可事先設定一個(gè)綜合置信區間,即假定綜合合理評分置信區間(Comprehensive confidence interval,CCI)為[CCImin,CCImax],對橫向、縱向和時(shí)長(cháng)偏差根據對異常評分的可能影響程度分別進(jìn)行權重分配,設權重系數分別是α、β、γ,則判定公式可更改為公式④。
從異常評分判定的科學(xué)性、全面性而言,公式③更加客觀(guān)、公正,但是計算量較大;公式④相對比較簡(jiǎn)便,但是易造成誤判。需要政府采購管理部門(mén)在積累大樣本數據的基礎上適時(shí)調校置信區間參數。
如圖是江蘇省南通市政府采購評審專(zhuān)家的一份異常評分檢測報告。從圖上的分析結論來(lái)看,張姓評委在橫向偏離、縱向偏離都超過(guò)了預設的閾值(極限值),尤其是時(shí)長(cháng)偏差明顯有悖于常理。因為其在單頁(yè)的平均瀏覽時(shí)間只有4秒,47份投標文件、4000多頁(yè)的文本在短短67分鐘內就評審完畢,顯然是不符合評審規律的(甚至可以得出部分投標文件根本沒(méi)有瀏覽的結論),因此判定其存在異常評分證據確鑿無(wú)疑。
異常評分的修正
從現行的政府采購法律體系看,即便能夠科學(xué)、公正地甄別出專(zhuān)家的異常評分也很難直接予以修正。首先,國家層面對異常評分還沒(méi)有明確的界定標準或處置方法。財政部雖然在《關(guān)于進(jìn)一步規范政府采購評審工作有關(guān)問(wèn)題的通知》中指出,采購人、采購代理機構……要對評審數據進(jìn)行校對、核對,對畸高、畸低的重大差異評分可以提示評審委員會(huì )復核或書(shū)面說(shuō)明理由,但沒(méi)有允許直接修正評分。其次,多數評審專(zhuān)家對于自己的評分出現偏差也難以接受,更不會(huì )主動(dòng)提出修改評審結論。最后,評分修正關(guān)系企業(yè)切身利益,決定了中標供應商資格的歸屬,無(wú)論是采購人還是行業(yè)監督部門(mén)都不得不采取小心謹慎的態(tài)度,在沒(méi)有充分依據的情況下不會(huì )主動(dòng)啟動(dòng)評分修正程序。
基于上述原因,目前比較合適的做法是,把專(zhuān)家的異常評分與日??己寺?lián)動(dòng)起來(lái),對于長(cháng)期出現異常評分情況的專(zhuān)家,及時(shí)指出問(wèn)題所在,加強監督教育管理,拒不改正的,堅決暫停其評審資格或者清理出庫。有條件的地區,可以在積累一定樣本數量的基礎上,通過(guò)大數據分析方法,研究哪些領(lǐng)域、哪些行業(yè)、哪種評標方法容易引發(fā)異常評分偏差,定量分析專(zhuān)家的評審質(zhì)量波動(dòng)幅度和趨勢,從而為政府采購行業(yè)主管部門(mén)制定標后評估管理辦法提供科學(xué)的依據。
評審專(zhuān)家的異常評分在政府采購行業(yè)內飽受詬病,它破壞了公平公正的市場(chǎng)秩序,違反了優(yōu)質(zhì)優(yōu)價(jià)的評審原則。要從根本上破解這個(gè)難題,需要從管理、技術(shù)和政策三個(gè)方面同時(shí)施策。
基于管理層面,異常評分的一個(gè)根本原因是評審專(zhuān)家擁有過(guò)大的自由裁量權,評分空間彈性太大,專(zhuān)家不恰當地行使過(guò)大的自主權很容易導致評分偏離正常的軌道。因此,要在評標辦法的制度設計上壓縮自由評審的幅度和范圍。財政部在《關(guān)于進(jìn)一步加強政府采購需求和履約驗收管理的指導意見(jiàn)》中明確指出,采購文件設定的評審因素要與采購需求對應,采購需求相關(guān)指標有區間規定的,評審因素應當量化到相應區間。另外,在評標方法的選擇上,要結合采購項目特點(diǎn)和實(shí)際需要選擇恰當的評標方法。對于采用通用技術(shù)、成熟工藝的常規采購項目,宜采用價(jià)格單因素(包括經(jīng)評審的最低評標價(jià)法)等客觀(guān)因素主導的評標方法,不宜選用過(guò)度依賴(lài)評委主觀(guān)評判的綜合評分法,這樣從根源上就鏟除了可能滋生異常評分的不利因素。
基于技術(shù)層面,隨著(zhù)信息化技術(shù)的進(jìn)步,利用人工智能來(lái)輔助評審是解決專(zhuān)家評分異常的有效工具。目前,一些地方已經(jīng)開(kāi)始嘗試此做法,例如,中山大學(xué)研發(fā)出了一種快速采購系統,首次將人工智能AI與數據技術(shù)應用于招投標和評標等采購過(guò)程中。智能評審的基本思路是將采購文件進(jìn)行結構化拆解、抽取評分點(diǎn)信息、調用評審樣本數據庫,再借助半監督機器學(xué)習算法,以知識圖譜技術(shù)為補充,實(shí)現對投標文件的智能評審。這樣的評審結論基本上可擺脫人為的主觀(guān)判斷,結果的均衡性、穩定性顯然大大優(yōu)于人為操作。
基于政策層面,如果能在科學(xué)論證的基礎上,適度賦予采購人在異常評分識別機制下可以自主修正評審結果的權利,則能一定程度上減小異常評分帶來(lái)的危害。
(作者單位:江蘇省南通市政府采購中心)

編后
政府采購中,無(wú)論是出于有意還是無(wú)意,評審專(zhuān)家主觀(guān)傾向性異常打分是直接影響政府采購評審公正的主要因素之一。目前,由于缺乏明確的依據和判斷標準,政府采購監管部門(mén)很難進(jìn)行科學(xué)治理。而本文作者從產(chǎn)生異常評分的背景和因素出發(fā),提出了判定異常評分的識別方法,并就如何有效預防異常評分提出相關(guān)建議。
構建公平、健康、有序的市場(chǎng)環(huán)境,是政府采購的必然要求。我們相信,隨著(zhù)政府采購制度的不斷完善以及科學(xué)技術(shù)的蓬勃發(fā)展,未來(lái),政府采購領(lǐng)域對評審專(zhuān)家的異常評分可以有效地識別、分析、判定和管理。
相關(guān)文章
- 政采評審專(zhuān)家犯錯案例對我們的警示2021-01-06
- “十措并舉”管好用好政采評審專(zhuān)家2020-12-03
- 我們需要啥樣的政采評審專(zhuān)家制度2020-11-24
- 如何在評審專(zhuān)家中“優(yōu)中選優(yōu)”2020-10-27
- 案例 | 評審專(zhuān)家違反了政采法規,能免責嗎?2020-07-01