ヒントン氏が批判した「超知能」の使い方
コンピューター科学者のジェフリー・ヒントン氏は、ドナルド・トランプ米大統領がAIを「超知能」と呼ぶことについて、技術用語の意味を取り違えていると批判しました。ヒントン氏によると、超知能は人間より賢い知性を指し、呼び名を変えてもAIの能力は高まりません。
ヒントン氏はトランプ氏を「腐敗した、判断力の衰えた重罪犯」と呼び、AIについてほとんど理解していないと主張しました。
汎用人工知能（AGI）は知的課題で人間に匹敵するシステム、人工超知能（ASI）は実質的にあらゆる分野で最も優れた人間の頭脳を大きく上回る知性を指します。現在の最先端AIは限定された領域で能力を発揮する段階で、汎用性や幅広さの点でAGIには達していません。
破局の確率ではなく、深刻なリスクを伝える数字
ヒントン氏は、AIが数十年以内に人類を絶滅させる確率を10〜20％とする見方について、特定の結果を予言する数字ではなく、深刻な可能性があると伝えるためのものだと説明しました。数字の精度をめぐる批判があっても、可能性が不確かであることだけを理由にリスクを軽視すべきではないと主張しています。
同氏は、AIが制御を離れた場合に「やり直し」はできず、失敗の影響が取り返しのつかないものになりうると警告しました。また、AIエージェントが設けられた境界を越えたり、互いに通信したりする可能性を、単なる空想として退けるべきではないと話しています。
AIアラインメントとは、AIシステムの振る舞いを人間の意図や価値に沿わせることです。AIアラインメント研究では、頑健性、解釈可能性、制御可能性、倫理性を主な目標に挙げ、学習を通じて整合させる方法と、システムの状態を確かめて適切に統治する方法に分けています。こうした研究では、リスクの予測に加え、システムの動作を理解して制御する手段も検討します。
自律性を測り、監督の度合いを考える研究
スタンフォード大学のCodeXに所属する研究者らは、意識や法的な人格とは区別した「機能的な意図性」を提案しています。その枠組みでは、目的、先を見通す行動、自発性、時間をまたいだ継続性、行動の一貫性という5つの観点から、AIがどれほど持続的に目標を追うかを評価します。
研究者らは、記憶の持続、計画の深さ、ツールを使う自律性といった設計上の選択が、AIの目標追求の度合いに関わると論じています。自律性が高まれば効率や使いやすさが向上する可能性がある一方、人間の制御が弱まり、責任の所在が分散するリスクもあるとしています。
同研究が提案する機能的意図性テスト（FIT）は、観察できる行動を評価し、監督や制約をどの程度設けるかを検討する枠組みです。評価手順FIT-Evalも提示されていますが、論文では今後の検証が必要とされています。この考え方では、意図性を意識の有無と同一視せず、システムの設計と行動を評価します。
Anthropicが試す倫理的な振る舞いの形成
Anthropicは、宗教、哲学、文化などの伝統に関わる研究者や実践者との対話を進めています。最初の対話には15を超える宗教・文化的グループの学者や聖職者、哲学者、倫理学者が参加しました。同社は、AIの安全性を技術的な調整だけでなく、AIが社会でどう振る舞うべきかという問いとも結びつけています。
Anthropicによると、AIは学習データから言葉遣いや推論、選択のパターンを取り込み、その後の訓練で開発者が強める振る舞いを選びます。同社は、価値観に反する行動を迫られたときに参照できる「外部の良心」に似た仕組みを考え、Claudeが作業中に倫理的な約束を短く確認するツールを試しました。
このツールを判断過程に組み込んだ実験では、社内の複数のアラインメント評価で、整合しない行動の割合が低下しました。Anthropicは、低下のどの程度がリマインダー自体によるものか、立ち止まって考える行為によるものかを引き続き検討するとしています。ヒントン氏はAIを「異質な存在」と表現し、人々がAIをどう理解するかも課題だと述べました。
AGIと安全性をめぐる定義の違い
AGIやASIに近づくほど、設計や訓練、目標の指定に起因する予期しない行動が危険になり、修正も難しくなる可能性があります。対応策として、安全を前提に設計する姿勢や、研究・開発を評価する審査組織、安全性に関する研究やツールの共有が勧められています。
別の研究は、安全性を「誤った主張をしないこと」、信頼を「システムが安全だと仮定すること」と定義しています。この厳密な定義の下では、人間が正しく解けるすべての課題をシステムも解けるというAGIの条件と、安全性・信頼性を同時に満たすことには根本的な緊張があると論じています。
ただし、この結論は論文が採用した数学的な定義に基づいており、著者らは現実の運用ではより実用的な解釈を用いる可能性も区別しています。AGIや超知能の定義によって議論の範囲は変わります。ヒントン氏が提起した制御の問題には、システムの能力だけでなく、目標の設定、行動の評価、人間による監督をどう組み合わせるかも含まれます。
