挑戰
這家 app 的訂戶成長很快，客服卻還停在關鍵字罐頭回覆：問「發音課在哪」跟問「為什麼扣我兩次錢」，得到的是同一句抱歉。使用者最常見的動作是連問三次、然後要求轉真人——客服團隊等於整天在幫機器人收拾殘局，首次解決率長期卡在低檔。
我們怎麼研究
我們沒有先挑模型，而是先把三個月的真實客服對話攤開來分類。七成的問題其實有標準答案，只是散落在說明中心、課程頁與歷次公告裡，機器人根本讀不到；真正需要真人的帳務爭議與退費，佔不到一成。這個分布直接決定了解法——問題出在檢索，不在生成。
做了什麼
我們把說明文件、課程資訊與方案規則整理成一套可檢索的知識庫，將客服重建為檢索問答（RAG）架構：先找到依據、再生成回答，每一句都能對回原文。模型選型上，我們拿同一組真實客服問題對主流 AI 引擎做盲測評估，選出成本與品質平衡的組合，並訂下明確的轉真人規則——帳務問題與情緒升溫的對話，第一時間交給人。
結果與判決
上線八週後，首次解決率明顯拉高、平均回覆時間大幅縮短，客服團隊從救火隊變回處理真正棘手案件的專家。誠實說一句：中途我們試過拿掉檢索、讓模型直接生成，答案讀起來更順，錯誤率卻立刻翻倍，當場砍掉。這個案子的勝負手是知識庫的整理品質，不是模型本身。
