尷尬!CRA砸千萬的稅務AI 老是答錯
(加西網綜合)加拿大審計總長最新報告披露，加拿大稅務局（CRA）耗資 1,800 萬加元開發並維護的稅務咨詢聊天機器人“Charlie”，在她的測試中有 66% 的回答是錯誤的。
這壹結果引發國會議員震驚，並讓外界質疑 CRA 在人工智能工具上的高額投資是否物有所值。
(加國政府截圖)
上線 6 年、花費 1,800 萬，“Charlie”仍然常答錯
“Charlie”於 2020 年 2 月由時任國家稅務部長 Diane Lebouthillier 推出。CRA 當時稱它能協助民眾解答壹般的報稅問題，但仍在“學習階段”。
伍年過去，審計總長凱倫·霍根（Karen Hogan）在 10 月發布的報告中批評說：“Charlie 的回答通常過於簡短，缺乏必要背景及說明”。
審計人員共提出 6 個問題，Charlie 只答對了 2 個；相比之下，網絡上其他公開可用的 AI 工具答對了 5 個。
自由黨議員 Anthony Housefather 在聽證會上表示震驚：“政府專門為 CRA 打造的工具，為什麼比壹般公眾都能免費使用的 AI 還差？”
1,800 萬加元去哪了？大量資金用於薪資與顧問費
根據本周提交國會的文件，自 2018-2019 財年以來，CRA 已投入：
薪資成本：1,367 萬加元（不含福利與差旅）
IT 顧問費用：321 萬加元
盡管“Charlie”的表現欠佳，但 CRA 指出，其在 6 年內已與用戶進行了超過 700 萬次對話，回答了 1,800 萬個問題。
CRA 也承認過去的 chatbot 表現不穩定，內部評估的“准確度門檻”曾只有 70%。
CRA：新壹代 AI 版本准確度達 90%（內部測試）
今年 11 月，CRA 推出升級版的生成式 AI Chatbot，類似 ChatGPT，可回答更多復雜問題。
CRA 聲稱測試結果顯示其准確率達 約 90%，但也承認：“若不逐壹評估所有對話記錄，無法准確得知實際答對多少問題”。
與此同時，Charlie 的使用者提出的問題范圍極廣：
2024 年報稅季前夕，Charlie 被問了數拾萬條與個人所得稅相關的問題
2 至 4 月間有關“電子服務”的詢問超過 43 萬條
數千條問題涉及商業稅、福利、積分、賬戶信息更新等
近 18 萬條互動被歸類為‘閒聊（chit chat）’
稅務局推出 100 天改進計劃
在財長商鵬飛（François-Philippe Champagne）要求下，CRA 於本周公布了“100 天服務改進計劃”成果。
主要措施包括：
重新聘用/延長 1,200 名呼叫中心職員合約
改善數字服務，包括升級“Charlie”
CRA 表示新版 AI Chatbot 已能回答更復雜的企業問題，如稅務抵免與合規信息。
為何花 1,800 萬？Charlie 自己也說不清
《國家郵報》（National Post）甚至直接詢問“Charlie”——為何成本如此高？
Charlie 的回答是：“提供的上下文沒有包含有關該 1,800 萬加元費用的具體信息，請聯系 CRA”。
[加西網正招聘多名全職sales 待遇優]
| 分享: |
| 注： |
| 延伸閱讀 |