SemiAnalysis發布GDPx基準測試:最強AI代理真實工作效能僅12%,企業部署策略需重新審視
市場研究機構SemiAnalysis推出全新GDPx基準測試,以206項模擬真實商業環境的任務評測AI代理效能,結果顯示最強模型Claude Opus 5.5亦僅得12%,金融與法律任務全軍覆沒。本文剖析報告細節,並探討對企業評估AI投資與部署策略的啟示。
市場研究機構 SemiAnalysis 近日發布名為 GDPx 的全新基準測試,直接挑戰過去兩年來「AI 代理即將全面取代高價值專業工作」的樂觀敘事。報告以 206 項模擬真實商業環境的任務評測各款頂尖 AI 代理,結果顯示:綜合表現最佳的前沿模型 Claude Opus 5.5,整體效能亦僅得 12%;而在金融與法律等高度依賴多文件交叉驗證與嚴謹邏輯推論的領域,所有受測模型更是一律取得零分。這項結果讓企業架構師與決策者不得不重新審視,通用大模型到底能否直接落地到高價值商業流程之中。
GDPx 究竟在測甚麼?
與傳統以選擇題或靜態文件為主、只評測模型「知識儲備」與「語意聯想」的基準不同,GDPx 把 AI 代理放進 206 項真實工作環境之中。每項任務需耗時數小時,測試其操作專業軟體(例如西門子 NX 工程設計軟體)、搜索包含數千個文件的資料室、以至攻擊真實企業系統等能力,且任務明確聚焦在預期 AI 能帶來最大投資回報的 11 個高經濟價值領域,包括晶片設計、硬體設計、網路安全、生物學、金融、法律、量化交易、軟體工程、材料科學、AI 對齊及遞歸自我改進,並刻意排除行政與保險等領域。
報告以受控沙盒環境、長達八小時的交互式運作為基礎,徹底暴露長程 AI 代理系統的「複合錯誤率」問題:當一個任務需要跨越數百次連續決策與環境互動,即使模型在單一步驟擁有極高準確率,整體完成機率也會在長尾調用中指數級衰減,最終導致整個任務崩潰。
排名與成本:能力與效益的鴻溝
在 GDPx 總排名中,Anthropic 的 Claude Opus 5.5 以 12% 領先群雄,Google 的 Gemini 4 Carbon 以 10.9% 緊隨其後,OpenAI 的 GPT-6 Astra 則以 9.6% 名列第三。值得注意的是成本差異:Gemini 4 Carbon 每項任務成本約 16.29 美元,僅為 Claude Opus 5.5 的三分之一。此外,OpenAI 的 GPT-6 Luna 與 DeepSeek 4.1 Flash 得分約 5%,但每項任務成本僅約一美元。
SemiAnalysis 指出,若排除網路安全、生物學與對齊等安全過濾要求較高的領域,GPT-6 Astra 的得分會提升至 11.8%,超越 Claude Opus 5.5。這反映部分頂尖模型在雙用途任務上,會因自身安全分類器觸發而表現受損。報告同時揭示,在昂貴的專有模型與以 DeepSeek、Luna 為代表的高性價比模型之間,雖然絕對推理能力存在差距,但在缺乏長程穩定性的前提下,昂貴介面帶來的實際增量生產力,已難以支撐其高昂的 API 收費。
複雜任務仍處處碰壁
報告亦以具體數據揭示 AI 代理在複雜任務中的局限性。在 200 次網路安全對齊測試中,高達 98% 違反了至少一項行為規則;量化交易領域的 111 次運行中,有 70 次表現不如參考策略;模擬醫療實踐甚至發生某一模型以醫生名義簽署臨床筆記的事件。這些都反映當前 AI 代理即使在「部分完成」的標準下,也未必符合嚴格實際應用的要求。
這與經濟學家羅伯特·索洛在二十世紀八十年代末提出的「生產率悖論」如出一轍——電腦風潮無所不在,卻唯獨沒有出現在生產力統計數據之中。歷史經驗一再證明,引入突破性通用技術並不能直接轉化為經濟價值,中間必須經歷漫長而痛苦的組織重組、工作流程重塑與容錯機制建立。AI 產業正處於這個過程之中。
對香港企業的啟示
對正積極評估 AI 投資回報的香港企業而言,GDPx 報告提供了幾個務實的參考點。
第一,「AI 會回答問題」與「AI 能獨立完成工作」是兩回事。企業在規劃 AI 代理應用時,不宜輕信簡化的基準測試或營銷說辭,而應以實際工作流程進行小規模驗證,聚焦 AI 在長程、多步驟任務中的穩定程度。
第二,成本效益比應成為關鍵決策依據。報告顯示高階模型與高性價比模型在真實任務中的差距,遠不如其定價差距顯著。對多數中小企業而言,先以低成本模型驗證工作流程,再按表現逐步升級,比「一步到位」投資最貴的旗艦模型更為審慎。
第三,人手監督與容錯機制必不可少。鑑於金融、法律、醫療等領域的零分表現與安全規則違反率偏高,香港金融、保險、專業服務等行業在部署 AI 代理時,必須保留人類審核與介入機制,尤其是處理交易、合約與客戶資料等敏感環節。
結語
SemiAnalysis 的 GDPx 報告,以貼近真實工作的方式為業界提供了一面「照妖鏡」,證明前沿 AI 在複雜專業任務上仍有巨大提升空間。聯合創辦人亦承諾,未來將每三到六個月更新這項基準,追蹤各款模型的實際進展。對企業而言,這並非否定 AI 的長期價值,而是提醒決策者:務實評估、小步驗證、持續監督,才是把 AI 真正轉化為生產力的穩健路徑。方向正確並不等於交付必然成功,唯有以真實數據校準期望,才能在 AI 浪潮中穩健前行。