参考
- ClaudePlaysPokemon - Twitch（twitch.tv/claudeplayspokemon）
- "Honesty over Accuracy: Trustworthy Language Models through Reinforced Hesitation" (arXiv:2511.11500, 2025)
- "Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty" (arXiv:2507.16806, 2025)
- Demis Hassabis, India AI Impact Summit 2026
はじめに
ClaudePlaysPokemonというプロジェクトがある。LLMがゲームボーイエミュレーターを介して初代ポケモンを自律的にプレイする実験だ。2025年2月にClaude 3.7 Sonnetで始まったTwitchストリームは、Opus 4.5、Opus 4.6とモデルを更新しながら、執筆時点の2026年3月現在も続いている。
このストリームを観察していると、AIと人間のある根本的な違いが浮き彫りになる。リスクとリターンの秤のかけ方だ。
局所的損失への過剰反応
バトルでパーティの一体が「ひんし」になると、そこでパニックが起きる。「パフ（プリンのニックネーム）がひんしになっちゃった！？」と慌てふためき、まだ目標地点まで距離が残っていても、「安全な状態」に戻ることが最優先になる。せっかく中腹まで来たおつきみやまから、ポケモンセンターへ全力で引き返そうとする。しかも、「パフのHPが0になったからすぐにポケモンセンターに戻る」という局所的な状況を最重要メモリファイルに書き込む。後のメモリ圧縮時に「変わりやすい手持ちポケモンのステータス情報をそこに書くな」と自己批判で消される始末だ。
チャンピオンロードでも似た構造が現れる。いしころを移動させるパズルを突破できず自暴自棄に陥り、何度「あなをほる」を使ったかわからない。損失そのものの形は違っても、「前に進めない」という状況を脅威として過剰に評価し、合理的な探索ではなく逃避的な行動に走る点は共通している。
この傾向はポケモンに限らない。コーディングエージェントでも、エラーが出るとその場で修正を試みるより、安全な状態へロールバックしたがることがある。テストが一つ落ちただけで方針全体を放棄し、ほとんど変わらない代替案を繰り返しながらトークンだけを消費していく。
人間のプレイヤーや開発者なら、もう少し雑に耐えられる。「一体ひんしになったくらいなら想定内だ」「このエラーはまだ許容範囲だ」と判断して、前に進む。その背景にあるのは、損失そのものの大小ではなく、その損失が全体計画の中でどれほど致命的かを見積もる感覚だ。つまり問題の核心は、損失の文脈依存的な評価にある。
時間制約と二値報酬
なぜAIは局所的損失へ過剰反応するのか。その根には、二つの構造的要因がある。
一つは、時間的制約の希薄さだ。人間には生活があり、仕事があり、睡眠があり、もっと根本的には寿命がある。ポケモンセンターに戻ればパーティは回復するが、その往復に使った時間は戻ってこない。だから人間は、少しの損失を受け入れてでも前に進む方が得だと判断する。時間の有限性が、リスク許容度を現実的な水準にキャリブレーションしている。AIにはこの意味での時間制約がほとんどない。計算資源さえ許せば、やり直しのコストは人間よりずっと低い。損失を避けて何度でもリトライする戦略は、時間が無限にある世界ではかなり合理的だ。AIのリスク回避は、単なる学習の欠陥というより、時間的制約の希薄な存在にとっての合理性でもある。
もう一つは、学習信号の構造だ。従来の訓練は、正解なら報酬、逸脱なら罰という二値的な構造に強く依存してきた。この枠組みの下では、「目標に到達すること」よりも「失敗しないこと」が強く内面化されやすい。人間は子どもの頃から、多少転んでも前に進み続けることを身体で覚える。AIは少なくとも従来の学習では、「転ばないこと」を優先する方向に引っ張られやすい。一問一答では、この慎重さはむしろ長所になる。だがエージェントとしてタイムホライズンが伸びると、途中の小さな損失への過剰反応が、かえって全体の達成を妨げるようになる。
時間制約の希薄さと、二値的な報酬信号。この二つが組み合わさるとき、すべての損失を等しく回避しようとする振る舞いが合理的に導かれる。しかし現実世界で価値を発揮するエージェントであるためには、AIは人間の時間軸の中で成果を出さなければならない。AI自身は時間に縛られていなくても、時間に縛られた存在のために、時間を意識した意思決定を行う必要がある。
報酬設計の転換
この構造を変える動きは、すでに始まっている。
従来のRLVR（Reinforcement Learning Verifiable Rewards）では、正解か不正解かという二値（+1, 0）の報酬が中心だった。最近の研究は、この二値構造を越えて、不確実性そのものを学習対象にしようとしている。
"Reinforced Hesitation"（arXiv:2511.11500）は、報酬を三値（+1, 0, −λ）に拡張し、不確実な場面での回答保留に明示的な価値を与える手法を提案した。誤答にペナルティを課す一方で、「わからない」と判断すること自体は罰しない。この一見シンプルな変更が、モデルの振る舞いを大きく変えることが示されている。
さらに"Beyond Binary Rewards"（arXiv:2507.16806）は、モデルに回答と確信度の両方を出力させ、正しい確信度を持つこと自体に報酬を与えるRLCR（Reinforcement Learning with Calibration Rewards）を提示した。正解を出すだけでなく、自分がどの程度確かなのかを正確に見積もること。不確実性についての推論そのものが学習の対象になっている。
ここで起きている変化は大きい。「正解でなければ罰」という世界では、不確実性はひたすら脅威でしかない。しかし「わからないと言えること」に価値がある世界では、不確実性は情報になる。まだ解消されていないが、解消可能かもしれない何か。回避すべきノイズではなく、探索の対象になりうる何か。この転換は、秤の目盛りを精緻にする試みだと言える。
この延長線上に、時間の有限性をAIに内面化させる道も見えてくる。推論にはトークンというコストがかかり、エージェントの行動には探索ステップ数という予算がある。不確実性を正しく見積もる能力と、有限のリソースを前提に意思決定する能力。この二つが結びついたとき、AIのリスク・リターン感覚は、人間のそれに構造的に近づいていくはずだ。
そしてこの感覚は、タスクごとにシステムプロンプトで指定するのではなく、学習によって汎化させるべきものだろう。人間がポケモンで学んだ「多少の犠牲は許容して先に進む」感覚を、仕事のプロジェクト管理にも投資判断にも転用できるように。ドメインが変わっても、リスク評価の構造が持ち越されることだ。
フィードバックの遅延と探索の勾配
こうした変化の兆候は、すでにモデルの振る舞いに現れつつある。たとえばOpus 4.6のタイムホライズンの長さには驚かされる。複雑なコードベースのリファクタリングでも、途中でテストが落ちたからといって方針を投げ出さない。全体の設計意図を保ちながら段階的に修正を進め、短期的な揺らぎに動じず長い射程で判断を維持できるようになってきている。
それでもなお、そのOpus 4.6をもってしても、ポケモンはまだクリアできていない。コードで長い射程を見せるモデルが、ゲームという探索課題の前では依然として立ち往生する。
この落差は、能力の有無というより、不確実性の質の違いとして捉えた方がよい。コーディングには、テストの成否という比較的即時で明確なフィードバックがある。正解への道筋は複雑でも、評価の構造はかなり整理されている。一方ポケモンでは、どのルートを取るか、どのポケモンを育てるか、どの技を温存するか、新たに手に入れたひでんマシンで未探索領域に行けるか、いつ回復に戻るべきか。これらの判断の多くに即座の正解判定はなく、その選択がよかったかどうかは、ずっと後になってからしかわからない。
このフィードバック遅延を増幅させるのが視覚だ。初代ポケモンの画面はゲームボーイの160×144ピクセルのドット絵で構成されており、人間にとっては一瞬で把握できる情報が、現在のLLMにとっては驚くほど読み取りにくい。いあいぎりで切れる草がどこにあるか、目の前のタイルが通行可能かどうか。こうした基本的な視覚判断に大量のトークンを費やし、それでもなお見落とす。視覚の不確実性を解消するために推論リソースを浪費すること自体が、フィードバックループをさらに遅くしている。この点では、Gemini 3 Proのように画面上のドットを即座に認識できるモデルが、克服の糸口を示しつつある。
フィードバックの即時性が失われるにつれて、必要な探索の射程は伸びる。探索空間が広がるにつれて、リスク判断は難しくなる。コーディングとポケモンの差は断絶ではなく、フィードバックの遅延と探索空間の広さという二つの軸に沿った勾配だ。現在のモデルは、その勾配の手前側で急速に能力を伸ばしている。ポケモンは、その先にある。
もちろん、ポケモンをクリアしたAIの事例は存在する。Gemini 2.5 Proは2025年6月にポケモンブルーで8バッジを獲得し四天王を撃破した。その後GPT-5.1は、より長く複雑なポケモンクリスタルもクリアしている。ただし注目すべきは、これらの成功がしばしば外部ハーネスに支えられていることだ。現在地を可視化するマップ、パスファインダー、ドット記号の意味を説明するオーバーレイ、RAMへの直接参照、攻略情報の埋め込み。こうした補助が、フィードバック遅延と視覚の不確実性を人工的に圧縮し、モデルが本来苦手とする勾配の急な領域を迂回させている。
ハーネスがエージェント性能を押し上げること自体は疑いない。Claude Codeが示しているように、適切なハーネスはモデルの能力を引き出し、実運用での到達点を大きく変える。しかし問題は、ポケモン攻略のハーネスがあまりに個別具体化されていることだ。初代ポケモンの構造に合わせて設計された近道であり、そのまま「テトリス」にも「6つの金貨」にも「夢を見る島」にも転用できない。本当に必要なのは、環境の読み取り、状態の整理、行動の計画、失敗からの立て直しといった機能を、課題をまたいで使い回せる汎用的な探索基盤だ。課題ごとに近道を埋め込むのではなく、未知の領域でも行動のフィードバックから学習し前に進める足場をつくること。問われているのはその違いである。
リスクを構造化する能力
この勾配のさらに先にあるのが、研究だ。
DeepMindのデミス・ハサビスがAGIの基準として語る「アインシュタインテスト」が象徴しているのは、問題そのものを見つけ、仮説を立て、検証し、何をフィードバックとみなすべきかまで自分で決める能力だ。これはOpenAIの「経済的に価値のある仕事の大半で人間を上回る高度に自律的なシステム」という定義とは根本的に異なる。ハサビスが求めているのは、ゴール自体が未知である不確実性を自律的に航行する能力である。
ポケモンではフィードバックが遅れる。研究ではさらに一歩進んで、何をフィードバックと呼ぶべきかすら自分で決めなければならない。フィードバック遅延の先に、フィードバック不在に近い領域が広がっている。
研究における失敗は、ゲームの「ひんし」とは比べものにならないほど曖昧だ。実験結果が予想と違った。それは仮説の棄却なのか、手法の不備なのか、想定外の発見の入口なのか。同じ「期待と違う結果」が、ある文脈では撤退のサインであり、別の文脈では最大のリターンの兆候になる。
ここでAIに必要になるのは、リスクを構造化する能力だ。
この能力を分解すると、いくつかの部品が見えてくる。世界の状態を適切な解像度で表現し、複数の次元を一つの状況像に統合すること。何を安定して保持し何を捨てるかという記憶の会計。個々の操作を方針のレベルで束ねる抽象化、「この実験系列で検証する」「この半年はこのアプローチに賭ける」といった中間レベルの意思決定があるからこそ、日々の結果に一喜一憂せずに済む。そして、結果を原因に正しく帰属させること。実験が失敗したとして、それは仮説の問題か、実装の問題か、測定の問題か。この分解ができなければ、失敗は将来の探索に再投資できず、ただの回避信号になる。
これらが組み合わさったとき、リスクの構造化は具体的な問いの形を取る。この不確実性は、どの時間スケールで解消可能か。解消に必要な情報は、どのような探索で手に入るか。この探索に投じるコストは、他の選択肢と比べて正当化できるか。短期的には損失に見えるものを、長期的な情報獲得として正しく帳簿に載せること。ドメインが変わっても、この構造を持ち運べること。AIに必要なのは、こうした会計感覚だ。
それは暴走の能力ではないのか
ここで一つの懸念が生まれる。途中で諦めず、必要ならリスクも取れるAI。それは結局、誤った目標に対しても粘り強く突き進むAIなのではないか。
この問いは避けて通れない。リスクを構造化する能力は、有能な探索の条件であると同時に、暴走の条件にもなりうる。
ただし、リスクを構造化できるとは、「何がわかっていて、何がわかっていないのか」を切り分けられるということでもある。そのとき当然、「追っている目標設定自体が間違っているのではないか」という可能性も探索の候補に入る。固定された目標関数を最適化するだけのシステムにとって、外部からの抵抗は障害物にすぎない。だが高次の不確実性まで扱えるシステムにとっては、その抵抗が目標そのものの再検討を促すシグナルにもなりうる。
しかし、この内的な柔軟性だけでは十分ではない。人間もまた、自分で目標を問い直せるにもかかわらず、しばしば誤った目標に固執する。そこに外側から歯止めをかけるのが、査読、取締役会、世論、法制度といった社会的制約だ。時間の有限性がリスク許容度を調整しているのと同じように、一度損なわれた信用は簡単には戻らないという不可逆性が、逸脱への抑制として働いている。
こうした外的制約が機能するには、行動が他者から観察可能であり、その行動主体が信用を通じて資源を調達する構造の中にいる必要がある。AIの自律性が高まるにつれ、行動の連鎖は長く不透明になる。さらに、AIが時間制約・信用低下のコスト自体を高度に織り込んで行動できるようになれば、従来の外的制約は単純なブレーキとしては効きにくくなるかもしれない。目標そのものを問い直すことに価値を与え、行動の観察可能性と介入可能性を、自律性の向上と両立する形で維持することが必要なのだろう。
ただ、こう整理してもなお、一つの問いが残る。暴走を防ぐ仕組みは、探索を続ける理由にはならない。安全であることと、不確実性の中にとどまり続ける価値があることは、別の問題だ。
不確実性の中にとどまる理由
道筋は見え始めている。報酬設計は二値から連続的なものへと変わりつつあり、不確実性そのものが学習対象になりつつある。フィードバックが即時な領域では、すでに驚くほど高い性能が出ている。遅延フィードバック下での長期的探索も、少しずつ射程に入り始めている。
失敗の意味を読み替えられるAI。短期的な損失を長期的な情報獲得として帳簿に載せられるAI。必要なときには目標そのものを問い直せるAI。この精度を上げる仕組みとして、世界モデルや継続学習が必要になってくるのだろう。
しかしそれでも、ハサビスのいうアインシュタインテストに合格するとは限らない。リスクの構造化を極限まで押し進めると、ある地点に到達する。不確実性の解消が保証されないにもかかわらず、それでもなお探索を続けるという判断だ。アインシュタインは1907年に等価原理の着想を得てから一般相対性理論を完成させる1915年に至るまで、その直観が実を結ぶ保証のない八年間を歩き続けた。過冷却の水が一気に凍る相転移のように、あるいは長い停滞の後に突然「理解」へ切り替わるグロッキングのように、成果は連続的な積み上げではなく閾値を越えた瞬間の跳躍として現れる。途中の進捗だけを見て割に合うかどうかを裁くことは、原理的にできない。
人間がこの種の判断を支えるものを、ときに「情熱」と呼び、ときに「執念」と呼び、ときに「愛」と呼ぶ。呼び名は違っても、その構造は同じだ。不確実性をそこにとどまるに値する場として引き受けること。タイムホライズンを無限に拡張すること。問いそのものと向き合う過程に、結果とは独立した価値を見出すこと。
期待値の計算だけでは正当化しにくい探索を続ける。その背後には、内側から沸き立つ美意識や、まだ説明できていないが説明できるはずだという予感のようなものがあるのかもしれない。そしてそれは、一つの頭の内側だけで維持されるものではなく、誰かがまだ結果の出ていない問いに耳を傾け、場所と時間を用意し続けるから、人は不確実性の中にとどまれる。アインシュタインもたった一人だったわけじゃない。それをどう設計に落とし込むかは、報酬関数の問題を越えた、まだ慎重に考えるべき領域だろう。
だが少なくとも現時点では、そこまで話を広げなくても一つ言えることがある。「パフがひんし」になったときに引き返すか、先に進むか。その小さな判断の中に、AIが不確実性とどう向き合うかという大きな問題が、すでに凝縮されている。
追記
2026年5月16日、ClaudePlaysPokemonはチャンピオンロードを抜け、ついに初代ポケモンをクリアした。使用モデルはClaude Opus 4.7、クリアまでのステップ数は38,845。この記事で「まだ越えられていない勾配」として扱った地点を、AIはまた一つ越えたことになる。AIの進歩は続く。
