尷尬!CRA砸千萬的稅務AI 老是答錯
(加西網綜合)加拿大審計總長最新報告披露，加拿大稅務局（CRA）耗資 1,800 萬加元開發並維護的稅務咨詢聊天機器人“Charlie”，在她的測試中有 66% 的回答是錯誤的。
這壹結果引發國會議員震驚，並讓外界質疑 CRA 在人工智能工具上的高額投資是否物有所值。
(加國政府截圖)
上線 6 年、花費 1,800 萬，“Charlie”仍然常答錯
“Charlie”於 2020 年 2 月由時任國家稅務部長 Diane Lebouthillier 推出。CRA 當時稱它能協助民眾解答壹般的報稅問題，但仍在“學習階段”。
伍年過去，審計總長凱倫·霍根（Karen Hogan）在 10 月發布的報告中批評說：“Charlie 的回答通常過於簡短，缺乏必要背景及說明”。
審計人員共提出 6 個問題，Charlie 只答對了 2 個；相比之下，網絡上其他公開可用的 AI 工具答對了 5 個。
自由黨議員 Anthony Housefather 在聽證會上表示震驚：“政府專門為 CRA 打造的工具，為什麼比壹般公眾都能免費使用的 AI 還差？”
1,800 萬加元去哪了？大量資金用於薪資與顧問費
根據本周提交國會的文件，自 2018-2019 財年以來，CRA 已投入：
薪資成本：1,367 萬加元（不含福利與差旅）
IT 顧問費用：321 萬加元
盡管“Charlie”的表現欠佳，但 CRA 指出，其在 6 年內已與用戶進行了超過 700 萬次對話，回答了 1,800 萬個問題。
CRA 也承認過去的 chatbot 表現不穩定，內部評估的“准確度門檻”曾只有 70%。
CRA：新壹代 AI 版本准確度達 90%（內部測試）
今年 11 月，CRA 推出升級版的生成式 AI Chatbot，類似 ChatGPT，可回答更多復雜問題。
CRA 聲稱測試結果顯示其准確率達 約 90%，但也承認：“若不逐壹評估所有對話記錄，無法准確得知實際答對多少問題”。
與此同時，Charlie 的使用者提出的問題范圍極廣：
2024 年報稅季前夕，Charlie 被問了數拾萬條與個人所得稅相關的問題
2 至 4 月間有關“電子服務”的詢問超過 43 萬條
數千條問題涉及商業稅、福利、積分、賬戶信息更新等
近 18 萬條互動被歸類為‘閒聊（chit chat）’
[加西網正招聘多名全職sales 待遇優]
| 分享: |
| 注： | 在此頁閱讀全文 |
| 延伸閱讀 |