問題
問題
AI 輸出可以講到好似已經準備好部署,但其實未必有人分開核對過佢嘅主張、假設、支持證據同未做嘅檢查。
獨立公開示範
Reliance Compiler 同 Repository Review Gate 以一個公開測試樣本一齊展示。情境只係示意:將證據缺口講清楚,唔係聲稱有一套組合系統喺生產環境運行過。
問題
AI 輸出可以講到好似已經準備好部署,但其實未必有人分開核對過佢嘅主張、假設、支持證據同未做嘅檢查。
情境
呢個只係示範測試情境:AI 話一個程式庫已經準備好部署,但現有證據未涵蓋具破壞性嘅 migration 或 rollback 路徑。示範要問嘅係,一次有界限嘅審查應該點樣回應;並唔係聲稱呢套組合系統曾經喺生產環境運行。
限制
設計決定
05 / 系統圖
輸入 / 測試樣本
DO NOT RELY / HUMAN_DECISION_REQUIRED(唔好依賴/必須由人決定)——作出任何部署決定之前,必須先由人覆核。
輸出 / 有清楚界線
DO NOT RELY / HUMAN_DECISION_REQUIRED(唔好依賴/必須由人決定)
06 / 測試同公開檢查
限制
剩餘風險
呢個示範證明唔到嘅事
由一條實際 Workflow 開始
先講非敏感背景。我哋可以一齊整理主張、審查負擔、負責決定嘅人,同埋真正會改變下一步嘅證據。