AIに判断を任せる仕組みは、AIが賢ければうまくいくと思っていませんか。AIのチカラ編集部では、判断だけをするAI「Jev」を使って、記事の検品や企画の振り分けをする道具を3つ作りました。3つ目を初めて本番で動かした日、すでにある記事を見逃しました。原因はJevではなく、Jevに渡す手前の絞り込みでした。

ここでは、作りながら決めた設計の型を5つ紹介します。自分の仕事にAIの判断を入れたい人が、作る人やAIに頼むときにそのまま使える頼み方も載せています。

▼記事を3分で理解できる！マンガ風スライドはこちら

Jevは「選ぶ」だけのAI

Jevは、TypeSafe AIが2026年9月15日に早期提供を始めたAIです。文章は書きません。こちらが用意した選択肢から答えを選び、その答えにどれくらい自信があるかを数字で返します。

仕組みや向いている仕事は、入門記事「Jevとは？文章を書かないAIの仕組みと使いどころをやさしく解説」にまとめています。入門記事で書いたのは、条件を1問ずつに分けることと、計算はプログラムに任せることの2点でした。この記事はその続きで、道具を作りながら足した型を扱います。

編集部で作った3つの道具

3つとも、記事づくりの流れの中で自動で動きます。

・タイトル検品：狙う検索語に対して、タイトル案のどれが噛み合っているかを比べる

・ルール検品：原稿が編集部のルール（特定の店が思い浮かぶ描写をしない、など）を守っているかを見る

・入口の振り分け：書き始める前に、企画を「新しく書く」「既存の記事を直す」「別の記事として書く」のどれかに振り分ける

入口の振り分けは、同じ疑問に答える記事を2本書いてしまうのを防ぐために作りました。自分の記事どうしで、同じ検索結果を奪い合うことになるからです。以下の型は、主にこの道具を作ったときの話です。

型1：分からないときの出口を2つ用意する

Jevは、用意された選択肢の外を選べません。正解が選択肢の中になくても、どれかに確率を振り分けます。海外の解説記事でも、選択肢で全部の場合を覆えないときは「不明」のような選択肢を入れるよう勧めています。

そこで入口の振り分けでは、出口を2つ用意しました。

・選択肢に「判断できない」を入れる

・Jevの自信が0.6より低い答えは、どの選択肢を選んでいても「判断できない」として人に回す

本番で効いたのは2つ目でした。「Claude Codeを安全に使う設定」という企画を入れたところ、言葉の一致だけでCodexの設定記事が候補に混ざりました。Jevがいちばん確率を高くつけた答えは「同じ疑問」でしたが、自信は0.16しかありません。線を引いていなければ、関係の薄い記事が「同じ疑問」として扱われるところでした。

型2：同じことを2つの聞き方で聞く

入口の振り分けでは、既存の記事ごとにJevへ2つの質問をしています。

・新しい企画と既存の記事の関係は「同じ疑問」「別の疑問」「無関係」「判断できない」のどれか

・新しい企画の検索語で探した人に既存の記事を見せたら、求めている答えがそこにあるか

1つ目で「同じ疑問」と答えても、2つ目が半分を下回れば、人が確認する扱いにしています。聞き方を変えても同じ答えになるときだけ、先へ進めます。

ChatGPTの学習をオフにする企画を入れたときは、既存の設定記事に対して2問とも同じ向きの答えが出て、「既存の記事を直す」に振り分けられました。

型3：止めるのはAIではなく人にする

3つの道具は、どれもAIの判定だけで作業を止めません。タイトル検品とルール検品はメモを残して先へ進み、最後に掲載を判断する工程がそのメモを読みます。

例外は1つだけです。入口の振り分けが「既存の記事を直す」と出たときは、記事づくりを止めて私に確認が来ます。それでも新しく書くか、既存の記事を直すかを決めるのは人です。

線の引き方は、外れたときに戻せるかどうかで決めました。メモが外れていても、読んだ人が無視すれば済みます。書き始めた記事を後から取り消すのは手間が大きいので、そこは人が決めます。

型4：見逃しはAIの手前でも起きる

入口の振り分けを初めて本番で動かしたのは、この記事の企画でした。結果は「新しく書く」でした。ところがAIのチカラには、Jevの入門記事がすでにあります。

原因はJevではなく、Jevに渡す候補を絞るプログラムのルールでした。検索語の言葉が2つ以上一致した記事だけを候補にしていたため、「jev」「jevとは」のような1語の検索で読まれている入門記事が外れていました。2つ以上にしたのは、「Claude Code」のような製品名だけが一致する記事が大量に混ざるのを防ぐためです。新しい製品名では、この線が裏目に出ました。

直し方は、スラグ（URLの末尾の英字）に珍しい言葉が入っている記事を必ず候補にする、というルールの追加です。直した後は入門記事が候補に入り、Jevは「別の疑問」と判定しました。入門記事は「Jevとは何か」に答え、この記事は「どう組むか」に答える、という判断です。

AIの判定がどれだけ正確でも、候補に入っていない記事は判定できません。絞り込みのルールも、AIと同じように点検の対象です。

型5：答えが分かっている例で先に試す

道具を作ったら、本番の前に答えが分かっている例で試します。入口の振り分けでは、次の6件を用意しました。

・既存の記事を直すべき企画が3件（ChatGPTの学習オフ、Geminiのアクティビティ、Jevとは）

・別の記事として書くべき企画が1件（手相占いの記事がある状態での人相占い）

・候補が1つもない企画が1件

・わざと関係のない記事を当てる組み合わせが1件

6件すべてが期待どおりに振り分けられるまで、本番では使いません。質問の文や絞り込みのルールを変えたら、毎回この6件を流し直します。型4の見逃しを直したときも、「Jevとは」の例をこの中に足しました。

自分の仕事に入れるときの頼み方

Jevを使った仕組みは、Claude CodeやCodexのようなAIに頼めば、自分でプログラムを書かずに作れます。編集部の3つの道具も、私はプログラムを書かず、Claude Codeに頼んで作りました。

地域の会社なら、届いた問い合わせを「見積もり依頼」「採用の応募」「営業の売り込み」「判断できない」に分ける仕事から始めやすいはずです。頼むときは、型をそのまま伝えます。

Jev（TypeSafe AI）を使って、届いた問い合わせメールを仕分ける仕組みを作ってください。次のルールを守ってください。
・数える、決まった言葉を探す、一覧と照らし合わせるなど、答えが1つに決まる作業はプログラムで行い、Jevには意味の判断だけを聞く
・Jevの選択肢には必ず「判断できない」を入れる
・Jevの自信が低い答えは、選んだ選択肢にかかわらず人が確認する扱いにする
・同じことを2つの聞き方で聞き、答えが食い違ったら人が確認する扱いにする
・Jevの判定だけで、送信・削除・返金のような取り消せない操作をしない
・答えが分かっている例を5件ほど用意し、わざと関係のない例も混ぜて、正しく仕分けられるか確かめるテストを先に作る
・Jevに渡す前の絞り込みで取りこぼしが出ないかも、テストで確かめる

最後の2行は、外注先に頼むときにも外さないでください。答えが分かっている例を自分で5件書けない仕事は、まだAIに任せる段階ではない、という目安にもなります。

よくある質問

Q. Jevを使うのにプログラミングの知識は要りますか？

A. 動かすにはプログラムが要りますが、自分で書く必要はありません。どんなルールで判断させるか、どこで人が確認するかを決めるのは、頼む側の仕事です。

Q. 「判断できない」が多く出たらどうしますか？

A. 質問の文か、Jevに渡す材料を見直す合図です。人が確認した結果をためておくと、どの例で迷っているかが分かります。

Q. Jevの自信の数字は、そのまま合格点に使えますか？

A. 編集部では合格点としては使っていません。案どうしの比較と、人に回すかどうかの線にだけ使っています。0.6のような線も、試した例が少ないうちは仮の線として扱っています。

Q. 入門記事とはどう違いますか？

A. 入門記事はJevが何をするAIかを説明しています。この記事は、実際に道具を作ったときに足した型と、見逃しの実例をまとめています。

まとめ

判断だけをAIに任せる仕組みは、AIの賢さより、分からないときの出口と人に回す線で決まります。見逃しはAIの手前の絞り込みでも起きるので、答えが分かっている例で先に試してください。まずは自分の仕事から、選択肢が先に決まっている判断を1つ選び、答えが分かっている例を5件書き出すところから始めてみてください。

▼3分で理解できる！マンガ風スライドはこちら

AI活用について、社内でどう進めるべきか迷っていませんか？
AI-Brainでは、中小企業向けに30分の無料相談を実施しています。
まずはお気軽にご相談ください。

30分無料相談はこちら