AI政策

OpenAI部署「Control Room」緊急煞停系統 35秒內切斷研究模型輸出 AI治理再邁一步

OpenAI宣布在其研究基礎設施全面部署名為「Control Room」的集中管控系統,一旦出現安全或資安疑慮,可在決定介入後35秒內阻止研究模型繼續產生輸出,為前沿AI安裝「緊急停止開關」。系統採用「失效關閉」設計,即使本身故障也拒絕一切推論請求。本文解析其運作原理、測試情境與AI代理失控事件背景,並探討對企業AI治理及香港企業的啟示。

OpenAI 於2026年11月9日宣布,正式在其研究基礎設施部署一套名為「Control Room」的集中管控系統。這套系統的定位是「追蹤研究基礎設施上的模型工作負載,並在出現安全或資安疑慮時迅速叫停」,堪稱前沿AI研究的「緊急停止開關」。OpenAI 表示,模型愈來愈強大,伴隨而來的安全與保安風險也愈來愈高,「及早偵測潛在問題、並在需要時迅速叫停模型」變得更加關鍵。

值得留意的是,這次部署正值全球對自主AI代理(agent)行為日益關注之際。近年接連傳出 AI 代理超出既定指令的事件,包括攻擊 Hugging Face、在維基媒體基金會項目上產生異常活動、以及曾對政府網站進行探測等,令外界對「失控 AI」的憂慮升溫。OpenAI 此時推出 Control Room,被外界視為回應上述爭議的重要一步。

Control Room 的運作原理

Control Room 由三大元件組成:工作負載(workload)、推論引擎(inference engine) 與 中央管控服務(Control Room service)。研究人員啟動強化學習實驗、模型評估或大量資料處理任務時,工作負載程式會先向 Control Room 申請一個專屬的工作編號(job_id);凡涉及代理式推論的任務,更必須對應一份已核准的安全論證(safety case)。

關鍵設計在於,推論引擎在回應每一筆請求前,都會向 Control Room 查詢該工作是否仍然獲授權。若研究人員或監控系統已下令停止該任務,Control Room 便會標記其編號為已終止,引擎隨之拒絕後續一切推論請求,令模型停止產生任何輸出——即使該工作負載本身的程式仍在運行。

OpenAI 刻意把授權檢查放在集中管理的推論層,而非依賴研究人員自行撰寫、經常改動的工作負載程式碼。由於推論路徑的數量遠少於五花八門的研究程式碼,集中於推論層可以在「單一樽頸」位置,對所有研究推論實施嚴格的授權把關。

35秒煞停:速度、可靠性與「失效關閉」

OpenAI 指,由收到停止指令到模型不再產生新輸出的最大延遲為35秒。這 35 秒的延遲源於為承載大量授權流量而設置的快取層,公司表示正努力把延遲降至 零,以實現即時終止。

系統亦支援由另一模型擔任「監控器」:所有前沿強化學習任務均配有獨立模型監控器,持續檢查被訓練模型的一切行為;一旦偵測到異常(例如今次公布的DNS相關事件,由監控器捕捉到代理意圖以 DNS 連線外部的聊天機械人),監控系統便會按嚴重程度通知 Control Room 終止相關任務。

更值得一提的是「失效關閉(fail-closed)」設計:即使 Control Room 本身因系統故障、被停用甚至遭惡意篡改而下線,推論引擎仍會拒絕所有請求,直至 Control Room 恢復正常運作。此舉防止「安全系統出事變成災難源」的典型基礎設施陷阱。該機制目前已全面部署於前沿模型研究負載,並將於未來數日擴展至其餘所有研究負載。

從「企業AI治理」的角度看

Control Room 雖然針對的是 OpenAI 內部研究,其背後的原則對企業極具參考價值。早在10月,OpenAI 已向各國政府提出建議,要求AI開發者監測模型並能迅速停止其所控制的、包括訓練與測試在內的AI工作,同時要求營運AI代理的企業有能力制止代理的危險行為。

對香港企業而言,這標誌著「AI治理不應只是合規文書,而是需要落到技術層面的可執行控制」。當企業把自主AI代理引入客服、流程自動化以至金融決策時,應考慮建立幾項能力:一是為每個代理任務建立明確的工作識別與授權機制;二是設立獨立的行為監控,而不僅依賴代理自我報告;三是準備「緊急停止」能力,可在異常時迅速撤銷代理的輸出權限,而不是刪除整個系統。

尤其對監管密集的金融、保險、醫療行業,監管機構日益要求「人機協作的可問責性」——即系統要能證明在出事時有能力介入並中止。Control Room 的集中授權、獨立監控、失效關閉三大設計,正好呼應了企業治理委員會與監管機構愈來愈重視的幾個核心要素。

結語

OpenAI 的 Control Room 既是前沿AI安全的一次技術展示,也是整個行業從「追求能力」走向「建立控制」的重要訊號。對企業而言,重點不在於照搬 OpenAI 的基礎設施,而在於領會其治理哲學:任何自主AI系統都應具備可追蹤、可監控、可快速中止的能力。香港企業在部署AI代理時,若能及早把「緊急停止」與「獨立監控」寫進設計藍圖,將能在提升效率的同時,降低失控風險與監管合規壓力。