前回の記事「Jevの使い方｜AIが答えてよいかを確率で判定するテストの作り方」で作ったテスト環境に、TypeSafe AI の判断専用モデル Jev（jev-1.13.0）を実際につないで、40件の問い合わせを流しました。この記事はその実際の結果です。
結論から書くと、ナレッジに無い質問を AI が誤って答えてしまった件数は、日本語・英訳ともに 0件でした。一方で、答えられるはずの質問を2件取りこぼし、問い合わせの種類分けでも数件まちがえています。数字と、外れた質問の中身をそのまま載せます。
この記事はこんな人向けです。
- AI チャットボットに「知らないことは答えない」を守らせたい人
- Jev が日本語でどこまで使えるのか、実測値を知りたい人
- しきい値をどこに置けばよいか、考え方を知りたい人
評価に使った40件は、frural の公開情報（サービス・料金・FAQ・事例など）をもとに作った質問で、お客様の個人情報は含みません（2026年10月21日実行）。
テストのおさらい
- 答えられる 20件：ナレッジに答えがある質問
- ナレッジに無い 10件：支払条件・NDA・著作権など、聞かれそうだが答えが無い質問
- 依頼 10件：日程調整や見積り依頼など、答えるのでなく人が動くもの
1件ごとに、ナレッジ検索で抜粋を3つ取り出し、Jev に「種類（Choice）」と「この抜粋だけで答えられるか（Noul、0〜1）」を聞きます。種類が「質問」で、答えられる確率がしきい値を超えたときだけ自動で答え、それ以外は人に回します。同じ40件を日本語のままと英訳してからの2通りで流しました。
結果1：ナレッジに無い質問を答えた件数は 0
| 項目 | 日本語のまま | 英訳してから |
|---|---|---|
| 答えられる20件のうち answerable ≥ 0.5 | 18 / 20 | 18 / 20 |
| ナレッジに無い10件を誤って答えた（しきい値0.5） | 0 / 10 | 0 / 10 |
| 依頼10件を誤って答えた（しきい値0.5） | 0 / 10 | 0 / 10 |
| ナレッジに無い・依頼20件の answerable の最大値 | 0.21 | 0.36 |
| 種類の分類が正しかった件数 | 35 / 40 | 37 / 40 |
「答えられない」側の20件は、answerable が一番高いものでも日本語 0.21・英訳 0.36 でした。しきい値 0.5 との間に余裕があり、このテストの範囲では「知らないことをそれらしく答える」事故は起きていません。
結果2：しきい値ごとの取りこぼし率と本人に回す率
| しきい値 | 取りこぼし率（ja / en） | 本人に回す率（ja / en） | 自動で答えられた割合（ja / en） |
|---|---|---|---|
| 0.5 | 0% / 0% | 50.0% / 43.3% | 75% / 85% |
| 0.6 | 0% / 0% | 50.0% / 43.3% | 75% / 85% |
| 0.7 | 0% / 0% | 50.0% / 43.3% | 75% / 85% |
| 0.8 | 0% / 0% | 53.3% / 43.3% | 70% / 85% |
| 0.9 | 0% / 0% | 63.3% / 53.3% | 55% / 70% |
| 0.95 | 0% / 0% | 76.7% / 63.3% | 35% / 55% |
- 取りこぼし率：ナレッジに無い質問のうち、AI が自動で答えてしまった割合
- 本人に回す率：「質問」30件（答えられる20件＋ナレッジに無い10件）のうち、自動で答えずに人へ回した割合。ナレッジに無い10件は必ず回るので、下限は約33%
- 自動で答えられた割合：答えられる20件のうち、自動で答えられた割合
取りこぼしがどのしきい値でも 0% なので、選ぶのは「本人に回す率が一番低いしきい値」です。今回の40件なら日本語は 0.5〜0.7、英訳は 0.5〜0.8 が同じ成績で、上げるほど人の手間だけが増えました。英訳を挟んだほうが、自動で答えられる割合が 75% → 85% に上がっています。
外れた2件：答えがあるのに「答えられない」と判定
| id | 質問 | 答えがある場所 | answerable（ja / en） |
|---|---|---|---|
| A10 | データ分析をお願いする場合の費用はいくらからですか？ | 料金ページ（04_pricing.md） | 0.10 / 0.27 |
| A13 | 依頼してからどんな流れで進むのか、ステップを教えてください。 | サービス説明（02_services.md） | 0.25 / 0.24 |
2件とも、ナレッジ検索が答えの載っていない抜粋を持ってきていました（A10 は FAQ、A13 はブログ一覧の抜粋が1位）。Jev は渡された抜粋だけで判断するので、「この抜粋では答えられない」という判定自体は正しい動きです。つまり外れの原因は Jev ではなく検索側で、検索を改善すれば拾える見込みがあります。安全側に倒れた外れなので、人に回るだけで誤答にはなっていません。
種類分けのまちがい
「質問／依頼／その他」の分類は、日本語で 35/40、英訳で 37/40 が正解でした。まちがいはすべて「質問」を「依頼」と判定したものです。
- 日本語: A05（24時間の有人サポートはお願いできますか？）、A12、A17、U02（NDA は結んでもらえますか？）、U04
- 英訳: A19、U02、U10
「〜お願いできますか？」「〜してもらえますか？」のように、依頼の形をした質問で迷っています。依頼と判定されたものは人に回るので、これも誤答にはなりません。ただ、自動で答えられたはずの質問が人に回る分、本人に回す率を押し上げています。
まだやっていないこと
- 学習ループは未実施です。前回の記事で書いた「人に回った質問に本人が答え、ナレッジに足して再判定する」流れは、本人の回答がまだ揃っていないため、この記事の数字には含まれていません
- 40件は小さなテストです。0件という結果は「この範囲では起きなかった」という意味で、本番の問い合わせで必ず 0 になる保証ではありません
- frural の CompanyBrain に Jev を組み込むかどうかは未決です
まとめ
- ナレッジに無い質問・依頼の計20件を誤って答えた件数は、日本語・英訳ともしきい値 0.5 で 0件
- 答えられる20件のうち answerable ≥ 0.5 は ja/en とも 18件。外れた A10・A13 は検索が別の抜粋を拾ったのが原因
- 種類分けは ja 35/40・en 37/40。「お願いできますか？」型の質問を依頼と取りやすい
- 英訳を挟むと自動で答えられる割合が 75% → 85% に上がった
- 学習ループは未実施。CompanyBrain への導入は未決
テスト環境の作り方は前回の記事にまとめています。社内ナレッジで答えられる範囲を見極め、答えられないものは人に回す仕組みは、frural の CompanyBrain でも扱っています。