獨立公開示範

獨立公開示範

Reliance Compiler 同 Repository Review Gate 以一個公開測試樣本一齊展示。情境只係示意:將證據缺口講清楚,唔係聲稱有一套組合系統喺生產環境運行過。

問題

問題

AI 輸出可以講到好似已經準備好部署,但其實未必有人分開核對過佢嘅主張、假設、支持證據同未做嘅檢查。

情境

情境

呢個只係示範測試情境:AI 話一個程式庫已經準備好部署,但現有證據未涵蓋具破壞性嘅 migration 或 rollback 路徑。示範要問嘅係,一次有界限嘅審查應該點樣回應;並唔係聲稱呢套組合系統曾經喺生產環境運行。

限制

限制

  • 只使用公開程式庫同一個合成測試樣本。
  • 將已觀察到嘅證據,同解讀及仍然未解決嘅假設分開。
  • 部署決定權交俾一位清楚指定嘅人負責。
  • 未有做過嘅檢查,唔可以用嚟推斷已經準備好。

設計決定

設計決定

  • 將一個主張當成審查單位,而唔係為整個答案打一個信心分數。
  • 每個重要主張都要連到可以支持或者推翻佢嘅證據。
  • 具破壞性嘅 migration 或 rollback 證據欠缺時,就要升級處理。
  • 輸出清楚、有界限嘅決定,唔好暗示自動化擁有批核權。

05 / 系統圖

系統圖

可靠性 Workflow 圖七個階段由未能放心使用嘅 AI 輸出,連到有界線嘅可靠性記錄;驗證之前設有由人決定嘅關口。01未能放心使用嘅 AI 輸出02主張同假設03連結證據04失效模式05由人決定嘅關口06驗證07可靠性記錄
七個階段由未能放心使用嘅 AI 輸出,連到有界線嘅可靠性記錄;驗證之前設有由人決定嘅關口。
  1. 未能放心使用嘅 AI 輸出由一句未經核實嘅「可以部署」聲明開始。
  2. 主張同假設將句子真正聲稱嘅事,同佢冇講出嚟嘅假設分開。
  3. 連結證據每個重要主張都連到已觀察嘅程式庫證據,或者清楚標示證據缺口。
  4. 失效模式檢查可能改變決定嘅具破壞性 migration 同 rollback 界線。
  5. 由人決定嘅關口將未解決嘅可靠性決定交俾擁有部署權限嘅負責人。
  6. 驗證講明可以填補重要證據缺口嘅最少檢查。
  7. 可靠性記錄記低有界限嘅輸出、證據範圍同仍然存在嘅不確定性,方便覆核。

輸入 / 測試樣本

部署準備程度主張

  • AI 產生嘅主張:「程式庫已經準備好部署。」
  • 已觀察證據:提到一個具破壞性嘅 database migration,但未見到相關安全檢查。
  • 已知缺口:未有已核實嘅 rollback 程序或者測試結果。

DO NOT RELY / HUMAN_DECISION_REQUIRED(唔好依賴/必須由人決定)——作出任何部署決定之前,必須先由人覆核。

輸出 / 有清楚界線

有界限嘅決定

DO NOT RELY / HUMAN_DECISION_REQUIRED(唔好依賴/必須由人決定)

  • 主張同假設分開列出。
  • 具破壞性 migration 嘅證據缺口清楚可見。
  • rollback 嘅證據缺口清楚可見。
  • 測試樣本唔會自行授予部署權限。

06 / 測試同公開檢查

測試同公開檢查

  • Reliance Compiler 測試樣本會檢查主張、假設同證據參照。
  • Repository Review Gate 會將未核實發現交俾人作決定。
  • 當 migration 同 rollback 證據欠缺時,呢個組合測試樣本會輸出有界限嘅唔依賴決定。
  • 示範只連到公開程式庫來源,唔會執行部署。

公開來源

限制

限制

  • 呢個係獨立公開示範,唔係客戶項目。
  • 測試樣本有清楚範圍而且只係示意,唔代表生產環境部署。
  • 公開來源展示方法同測試樣本,唔包含實際發佈決定所需嘅所有背景。

剩餘風險

剩餘風險

  • 另一個程式庫可能有呢個測試樣本冇涵蓋嘅 migration 或 rollback 行為。
  • 公開來源嘅可用性同實作版本可以改變。
  • 仍然要由人負責評估背景,並批准或者拒絕呢個決定。

呢個示範證明唔到嘅事

呢個示範證明唔到嘅事

  • 所有程式庫都可以安全部署。
  • 生產環境可靠性或者普遍正確性。
  • 任何客戶項目或者客戶成果。
  • 全面嘅保安認證。

由一條實際 Workflow 開始

先講非敏感背景。我哋可以一齊整理主張、審查負擔、負責決定嘅人,同埋真正會改變下一步嘅證據。

電郵提交項目簡介