入れただけのチャットボットが育たない理由
AIチャットボットは、入れた日が完成ではありません。むしろ、動かし始めてからが本番です。
最初に用意した資料やFAQは、実際に寄せられる質問のすべてを想定できていません。言い回しの違う質問、資料にない質問、そもそもチャットボットで答えるべきでない質問が必ず来ます。これを見て直していく仕組みがないと、答えの質はそこで止まり、やがて使われなくなります。
この「見て、直す」を続けることを、ここではチューニングと呼びます。
よくある5つのつまずきと、直し方
1. 答えがあいまい、または間違っている
AIが自分の知識だけで答えようとすると、それらしいけれど事実と違う答え（ハルシネーション）が出ます。
直し方：答えの根拠にする資料を決めて、そこから探して答える仕組み（RAG）にします。あわせて「資料に書いていないことは答えない」と指示し、根拠にした資料の場所を答えに添えるようにします。
2. 質問の意図を取り違える
「解約したい」と「解約の方法を知りたい」は、似ていても対応が違います。すべての質問に同じ流れで答えようとすると、ずれが起きます。
直し方：まず質問の種類を分けてから答えるようにします。「手続きの質問」「料金の質問」「不具合の報告」のように分類し、種類ごとに参照する資料や答え方を変えます。
3. 言い回しや方針が会社に合わない
丁寧すぎる、軽すぎる、できないことを「できます」と言ってしまう。こうしたずれは、問い合わせをした人の印象に直結します。
直し方：答え方の型（言葉づかい、長さ、言ってはいけないこと）を指示としてまとめて、全体に適用します。「料金の断定はしない」「他社の話はしない」など、禁止事項をはっきり書くのが効きます。
4. 時間がたつと精度が落ちる
商品や料金、手続きが変わっても、チャットボットの資料が古いままだと、古い情報で答え続けます。
直し方：資料の更新を、業務の流れに組み込みます。「料金を変えたら、チャットボットの資料も直す」を担当と手順として決めておきます。月に一度は会話の記録を見返す日を決めておくと、ずれに早く気づけます。
5. 人の対応がかえって増える
チャットボットが答えられなかった質問が、説明不足のまま担当者に回ってくる。やり取りの経緯が引き継がれず、最初から聞き直しになる。これでは手間が増えます。
直し方：人に回す条件（エスカレーション）をはっきり決め、回すときは会話の内容と、答えられなかった理由を添えて渡します。「人に回した質問」の一覧は、次に資料へ足すべき内容の宝庫です。
チューニングの回し方
やることは、次の4つの繰り返しです。
- 記録を見る：答えられなかった質問、人に回した質問、評価の低かった回答を拾う
- 原因を分ける：資料がない・資料が古い・分類がずれている・答え方の指示が足りない、のどれか
- 直す：資料を足す、指示を変える、分類を見直す
- 確かめる：同じ質問をもう一度投げて、答えが良くなったかを見る
最初の1〜2か月は週に一度、落ち着いてきたら月に一度、が目安です。
どこから手をつけるか
直す手段はいろいろありますが、効きやすい順に並べるとこうなります。
- 資料の中身を足す・直す：いちばん効きやすく、専門知識も要りません
- 答え方の指示を見直す：言い回しのずれや禁止事項の抜けに効きます
- 質問の分類と、人に回す条件を見直す：意図の取り違えや、有人対応の増加に効きます
AIのモデル自体を替えるのは、この3つをやってからでも遅くありません。
まとめ
- チャットボットは、動かし始めてから見て直すことで育つ
- よくあるつまずきは、あいまいな答え・意図の取り違え・方針とのずれ・情報の古さ・有人対応の増加
- 記録を見る→原因を分ける→直す→確かめる、を繰り返す
YUWA の AIチャットボット導入・運用 では、答える範囲の線引きから、会話の記録を見ながらの改善までを一緒に進めています。今のチャットボットの見直しも、お気軽にご相談ください。
