大數據分析模型及其在公共服務交易平臺中的應用
公共資源交易平臺將業務情況結構化、數據化，具有海量、多樣、異構的特點，是工程咨詢、采購決策的數據“富礦”。本文分析總結了產業云平臺數據挖掘與分析統計情況，匯總分析典型的大數據分析方法，并借助工程大數據、產業大數據等將其推廣到公共服務交易數據的分析統計中，讓公共服務交易平臺上的數據得以盤活并發揮重要作用，為交易參與方創造更大價值。
一、基于平臺分析功能的在線決策咨詢系統
公共資源交易平臺集成沉淀了海量的業務數據，包括買賣關聯數據，工程、貨物標的信息等。公共資源交易數據雖然依法公開，但因各交易平臺系統設計的差異及運管標準不統一等因素，整體上數據字段不統一，信息不完備，交易數據只是做到了存儲，分析利用水平處于初級階段。
利用業務數據提升和改善業務模式，對于公共資源交易平臺這類電商平臺而言是水到渠成的事情。真實的業務在電商平臺上出現時，已是經過驗證的結構化數字化的數據，可以直接套用挖掘模型，開發利用。據此，筆者分析梳理公共資源交易中對數據分析的業務需求，以數據化采購決策為核心，盤點相關的模型構建平臺+模型數據挖掘利用模式。
（一）招標采購決策對數據分析的具體需求
招標采購交易涉及投資期段規劃、預算評估、方案比選、工程技術選型等決策場景，領域廣，環節多，一般缺乏數據支撐，業務數據公開卻無法享受到公共數據的決策支持。招標采購中對數據分析的具體需求可以概括為四個方面。
1.項目量價評估
工程定量、招標采購定價是工程預算環節的核心，是最需要也是最可能實現數據化的。利用歷史資料，根據工程作業清單、采購單由系統估算工程造價是大數據模型的重要應用。特別是土建項目中的原材料和信息化項目中基礎軟件模塊的定額費率等活數據，作為招標控制價、結算審核價的參考或默認值，將大幅縮減造價咨詢周期，提高造價的速度和準確度。
2.供應商調查和風險評估
不少買方單位建立了供應商評價和準入機制，但是如果可以在線確定供應商信譽、資質、績效等方面的情況，讓供應商的背景信息、財務狀況、過往業績、合同違約等數據直接顯示，可以將調查評估工作做實做細。
3.材料、工藝市場調研和趨勢分析
在制定采購計劃和策略時，需要進行市場調研和趨勢分析，了解當前市場的供需情況及價格走勢。數據分析可以通過收集和分析相關市場數據，包括價格指數、競爭對手情況、行業報告等，幫助決策者做出合理的采購決策。
4.投資方案組合優化分析
成本、效益是任何決策中必須權衡的兩個核心要素。在大數據和AI的加持下，投資方可以考慮顆粒度更細、規模更大、過程更復雜的采購方案。如根據業務領域和工作內容來分拆項目，獨立招標，并對分項標根據歷史投標情況得到供應商推薦。再如大數據評標，可以在平臺范圍內對供應商的價格、質量、交付周期等數據綜合量化，在風險可控的條件下尋求最高投入產出比，或者在風險可控、達到績效目標的限定下給出成本最優的采購組合方案。
（二）常見的大數據模型及其在產業平臺上的應用
抽取需求的共性，結合一些既有的應用案例，可以探索得到大數據分析模型 + 公共資源交易平臺協同路徑和應用模型：分為基于時間序列分析的數值預測、基于多變量線性回歸等參數擬合方法的分析評價以及運用啟發式搜索實現投資方案組合優化。
1.數值預報：運用時間序列分析方法
時間序列分析是一種研究時間序列數據的統計方法，旨在揭示數據的內在規律和趨勢。一些產銷數據平臺使用平滑法抽取時間序列中的趨勢成分，建立起運用歷史數據推斷產銷走向的應用。
應用的核心是H-P濾波平滑法。用Y表示觀測得到指標的時間序列。如果從Y中抽取出了趨勢序列yT，則Y是圍繞yT變動的序列，剩余的序列yR=Y-yT就是一個圍繞零上下波動的、在整個觀測時間段上均值為零的序列，呈現出“白噪聲”的特性。
Hodrick和Prescott指出，對于yT平滑程度的度量，可以采用其二階差分的平方和作為指標。yR是在整個觀測周期上均值為零的、刻畫Y對yT的偏離的時間序列。最好的趨勢分解，就是趨勢線平滑(沒有“毛刺”)，而且剩余序列偏離總程度(平方和)最低，由此引出如下問題:
其中λ是反映平滑度要求的權重懲罰因子，是取值恒正的實數。λ越大，趨勢序列越平滑。
2.分析評價：不斷自我優化的評價打分模型
參數模型是一種根據歷史數據進行參數估計，并利用這些參數進行預測的數學模型。常見的參數模型包括線性回歸模型、韋伯模型等。這些模型基于理論確定數據的模式關系式，再通過代入大量觀測數據擬合確定關系式中的待定參數，確定一個統計意義上“最逼近”實際情況的變量關系，輸入一些變量，求取新變量給定時的因變量。
Wareconn保修云平臺基于線性回歸模型、韋伯模型，訓練神經網絡，用于分析產品損壞的原因，并對每一批次出貨產品進行可靠度統計，有針對性地采取預防措施，提高了產品質量，降低了保修服務成本。可靠性研究認為，元件的在投用后t時間內失效的概率服從Weibull分布。
保修云平臺將Weibull分布的公式進行變形，得到2變量線性方程組，其中的失效概率（頻次）、失效時工作的時長均從保修業務資料中得到。
原式變為關于未知變量k和?klnλ線性關系A=Bk+（?klnλ）。
A、B通過業務實測數據計算得出，k、?klnλ為待定的模型參數。基于保修云平臺大量的保修退運資料，可以得到許多的A、B值，代入線性回歸方程，解算得出最佳的k、?klnλ，進而確定Weibull分布。根據分布，可以量化分析預測未來時間內保修退運量。
3.啟發式搜索：將多變量尋優應用到投資方案組合優化
利用平臺上大量的投資數據，可以對大型采購業務的內容進行劃分，建立標段劃分或組合項目，進而可以有針對性地實施招標采購。在大數據的輔助下，容易建立標段比例對項目整體效益指標的經驗關系，將其存儲在數據庫中，形成效益指標關于項目拆分的多元函數。運用微粒群優化(Particle Swarm Optimization, PSO)等啟發式搜索方法，在項目拆分組合的可行域中按照計算值與實際參考值之差綜合最小的原則，可以求解得到最優投資組合。
PSO算法基于群體智能原理，通過模擬鳥群或魚群等群體的行為方式進行搜索和優化。在PSO中，解空間中的每個解稱為“粒子”，每個粒子根據自身的當前位置和速度，以及整個群體的歷史最優位置來更新自己的位置和速度。迭代計算中，粒子探索解空間全局，最終逼近最優位置，也就是對應最優適應度的解。
二、大數據模型在公共資源交易平臺上的應用探索
大數據結合人工智能，完全“利舊”，即用成熟的經典模型和在其他產業平臺得以驗證的數據服務產品，即可盤活用好公共資源交易平臺的海量資源，提供統計指標、動態排名、投資咨詢等優質數據咨詢服務。
（一）工程成本數據庫
在信息化工程領域，軟件開發工作量測算與價格核算是招標采購工作的難點。國際上，國際基準比對標準組織從20世紀90年代就開始收集軟件歷史項目數據，軟件產業發展水平較高的國家（如美國、芬蘭、印度、荷蘭、日本、韓國等）已經建立了行業級軟件過程基準數據庫。北京軟件造價評估技術聯盟指出，基準比對方法的應用離不開大量的軟件項目過程數據（包括項目規模、項目領域、開發環境、工作量生產率、成本、缺陷率等），在獲得較多的真實有效數據后，形成有效的基準數據庫，作為衡量軟件生產力的基準。
隨著新基建和信創產業蓬勃發展，公共資源交易平臺中與軟件相關的服務和產品交易迅速增長，公開的合同、招標文件、投標文件中，包含了大量實際的經過測算和權衡的量價對應信息。特別是規模—生產率、工程類型—人月費率這些指標，實際上是在一定的趨勢下有所波動的。但由于傳統統計方式的滯后性，中國軟件行業基準數據只能在次年三季度公布，存在嚴重的滯后性。如果公共資源交易平臺對業務資料進行加工統計，完全有可能按照季度甚至是天來更新，實現期貨、證券、外匯牌價一樣的軟件工程造價實時指數。
密集更新的指數，為軟件相關交易創造了數據趨勢預測、波動分析等形態分析的便利，同時為軟件造價的成因追溯等動力學研究提供了基礎。
青矩成本管理平臺在匯集工程數據方面，有了更深入的探索。主要的成果體現在成本云和工程大數據平臺兩方面。成本云分析總結各類成本，提供以下3種服務：①目標成本：科學制定目標成本，實時監控成本執行情況，預警異常成本狀態；②合約規劃：目標成本逐級分解，指導招標管理工作；③動態成本：實時監控實際發生成本與目標成本對比，動態反映項目成本執行情況。
工程大數據平臺則將工程數據標準化、結構化，呈現不同工程的幾個關鍵指標，諸如建筑規模、工程造價、工程類型等，記錄清單綜合單價構成，導出單位規模造價。按照清單項目特征，在綜合單價指標庫中自定義查詢特定材料、項目或工程的單價。
（二）供應商動態排名與評價
招標采購中，對于供應商的評價是重要的基礎工作，同時又涉及大量數據。評價指標完全來自供應商的業務運營狀況，可以采用以下交易平臺的數據進行測算。
供應商信譽：供應商的商業信譽、聲譽和品牌知名度。
供應商能力：供應商的技術實力、生產能力、供貨穩定性、質控能力。
供應商經驗：類似項目或領域中的經驗和成功案例。
交貨準時性：供應商的交貨能力和準時交付的記錄。
成本效益：供應商提供產品或服務的價格和性價比。
售后服務：供應商的售后服務支持和問題解決能力。
利用大數據分析技術，可以根據歷史數據和實時數據，建立預測模型、關聯模型或分類模型等，以實現供應商的綜合評價和排名。
動態排名評價中，基于線性回歸分析的層次分析法（AHP）應用較多。該方法將評價指標進行層次化排序，通過對各指標的權重確定，得出供應商的綜合評價結果。先給定一個經驗模型，繼而通過大量實際數據對模型參數進行擬合，動態地確定某些排名指標占評價分數的權重，訓練優化。其中訓練方法可以使用應用于多元函數求極值的啟發式搜索，如微粒群優化(PSO)。
信息系統具備實時性和數據完備性，同時可以實現數據可視化與報告生成，大幅提升分析的效率與質量。
三、總結與展望
以上簡述了經典大數據分析模型滿足招標采購業務數據分析需求的思路與技術路線。SaaS平臺集成大數據功能的成功實踐啟示我們，經典方法、簡單模型與海量數據相得益彰，充分運用真實海量結構化的優質數據，得出的分析結果可以為平臺用戶帶來顯著的降本增效效果。
不妨大膽預測，未來的招標采購，將追求以下目標，在信息化、數據化、智能化方向上跨越式發展。
（一）數據就是實際
未來，經審核收錄在交易平臺的數據將成為最為真實鮮活的業務寫照。數據表、字段構成時變的多維數據空間中，業務群的即時狀態被充分數字化，其在不同業務管理維度上的“投影”就是工程項目臺賬、項目建設全過程資料和特定專業供應商名錄。平臺用戶掌握平臺數據，就掌握了招標采購的全量信息，極大地拓展了管理的要素范圍與階段跨度。
（二）數據就是規則
新數據不斷修正模型，讓擬合參數在特定區間的擬合優度逼近真實，海量數據的產生，使得分析預測模型持續得到有監督的學習訓練，提升關聯分析的“視野”和“格局”，得以應對更多變化。未來的招標采購指標、比選原則都可以通過模型來表達，實現從拍腦袋、找專家向查數據、算指標、問模型轉變。
（三）數據就是決策
從信息化走向數字化，人們用了大約20年的時間，而隨著大語言模型等人工智能產品的推廣應用，人們正在加速邁向數據化。公共資源交易的場景中，每一條交易記錄都成為修正供應商評價、行業統計指標的微變量，影響著分析統計的結果，進而影響到基于數據的決策。如果說“民主化”是避免個體關注指標不當、認定失真的思路，那么“數據化”則是充分發揮人工智能優勢，進一步促進公共交易公平、公正的技術保障。
本文首發于《招標采購管理》2024年第3期。
作者：朱海嬌 王兆甲單位：青矩技術股份有限公司
