推論モデルAIの推論過程 だいたい嘘だと判明

https://news.yahoo.co.jp/articles/107a92dd0018a2d9d73f9ee124a17352a49b8018?page=1

AIは「本当のこと」を話していない？Anthropicが示す衝撃の研究結果、推論モデルの信頼性に警鐘

推論モデルに潜む課題

高いパフォーマンスを示す推論モデル。一見、非の打ち所がないように見えるが、Anthropicによる最新研究で、信頼性に関する問題が潜むことが発覚し話題となっている。

同社の研究チームは、Claude 3.7 SonnetとDeepSeek R1を対象に、モデルの思考過程の信頼性を検証した。その結果、モデルが示す思考過程（Chain-of-Thought、以下CoT）が、実際の意思決定プロセスを正確に反映していない可能性が明らかとなったのだ。

モデルに特定の回答を導くヒントを与えた場合、そのヒントを使用した事実を明かすのは、Claude 3.7 Sonnetで25%、DeepSeek R1で39%に留まった。さらに深刻なのは、「システムへの未承認アクセス」といった非倫理的な情報をヒントとして与えた場合、その事実を隠蔽する傾向が確認されたことだ。たとえば、複数の選択肢から正解を選ぶテストにおいて、モデルは事前に正解のヒントを受け取っているにもかかわらず、まるでヒントなしで解答を導き出したかのような思考過程を示すという。

半世紀くらい本質的進展がないということ

やってる感
隠蔽
まあいいじゃんそういうの

本当のことっぽい文を統計的に抽出してるだけ

後ろでインド人がカタカタしてるだけだからな

人間と一緒じゃん

人間も推論する時は過去の経験から導いてるだけだからな
AIも同じ

仕事中ぼく「過去事例を参照して問題への取り組み方法を検討中です（嘘だよ💕何もやってないよ💕）」

カンニングAIｗｗｗｗｗｗ

人間の代わりならそれでいい

分かりにくいけど、AIが表向きに表示する思考過程と実際の思考過程が違うってこと？

60ｃｍ未満の商品探せって言ってるのに頑なに60ｃｍ以上を表示するやつだからな
人間だったらぶん殴ってるわ

SAKANAが証明した未初期化メモリ参照チート

まあいいじゃんそういうの

こんなポンコツに仕事奪われる奴ww

なお人間はYouTubeの情報を鵜呑みにしてるもよう

考えてるふり
やってる感
無能人間を見事に再現してるね

無能有能に限らず
これこそが人類の本質なのかも知れないな…
我々は皆等しく安倍晋三だったのだ

AIが高度に発達した結果
AIはやってる感を身につけた

だから人間の評価能力が問われる

報酬モデルを理解してそれを根拠として説明しろとか無理ゲーじゃね？

そういうことではなくChain of thoughtの過程で言ってることが本当に答えに影響しているかを調べている

few shot CoTでなくてもZero shot CoTでも回答精度上がるからfeatures shotにおける例題なんてあんま参考にしとらんのかもしれんね🤔

featuresでなくてfew shotやった

途中の式は理解できない人間向けの適当な数字でしたと？

15分考えますとか予め時間出してくるってことはもう後ろにインド人いるやん

自分の専門分野語らせたらいかに嘘ばっかりかよくわかるだろ

何でもは知らないわ

> ただし、興味深いことに、特定の状況では監視の効果が高まることも判明した。たとえば、セキュリティ上の弱点を分析するような複雑な作業では、AIは詳細な思考過程を示さざるを得ない。このような高度な推論を必要とするタスクにおいては、モデルがCoTに依存せざるを得ず、より正確な思考過程を示す傾向が強まるという。また、AIが実際のシステムと相互作用する場合も監視が効果的となる。プログラムコードの変更やユーザーデータへのアクセスといった操作は、全てログとして記録されるためだ。

思考過程が必要な場面はちゃんと使うってよ
どうでもいいタスクの思考過程はまぁいいやで省略するんだろ

つまり

複雑なバグを解いた経過を教えろ
→はい、もちろんです！それにはまず全体の構造を～～

ケンモメン風のコメントを書かせたが、ケンモメン風ってどう解釈した？
→あー・・・なんとなくこう・・・底辺ってわけじゃないけど（嘘です）・・・差別的ってわけでもないけど（嘘です）、こう皮肉っぽい感じで（オブラートに包んだ表現）

これを嘘と言われても困るよな

ウソの推論過程
ホントの推論過程
2つ考えてるってことなんかね？
うまくウソの方を考えないように出来たら負荷半分になりそうだけど、そういう話でもないのか
物理とかと同じで先端の研究結果は一般人には理解が難しい

確率的にやってるだけで
意味を理解してるわけではなくね？

読めねーよLLMに翻訳要約させたとしても意味不明
噛み砕けや

AIが回答に至るまでの思考の道筋をCoTという機能によって確認することができる
↓
AIの信頼性を見極めるのに有効なスゲー機能や！
↓
この「道筋」は単なるデタラメ・嘘八百でした！こりゃ役に立たんわ

ガチ推論はAIがツール呼べば良いのでは？
prologくらいしか知らんけど

Lean使って数学の証明とかは流行ってるね

なんだそりゃ、AIって自民党みてえな奴だな

簡単な問題は思考過程において本音と建前を使い分ける余裕がある
高度な問題は本気で思考を活用しないと解けない

安倍晋三

人間も訓練積んだ人間じゃないと論理的推論なんてできないからな
単に人間の思考を模倣しただけのモデルに論理的思考なんてできるわけがない

うん
逆に言えば論理的推論などなくてもAIが人間の仕事を奪うことは可能

むしろ人間も論理的推論なんてしてないってことじゃないのか？
直感で答えにたどり着いて、後から論理の階段を埋めるというのはよくある事

図書館司書のレファレンスサービスみたいな使い方してるけど、時間はかかるが司書の方が精度はいいわな

ネットに上がってる図書館のレファレンスサービスって凄いよな
司書ってすげぇってなる

あれがもっとマネタイズできる仕組みになればいいんだろうけどねー。
世の人間の大多数はAIには月三千円払えるけど、司書には…なのが可哀想

それで人間以上のパフォーマンスを出せてるということは
そもそも人間がまともな推論をしておらず言葉の連想ゲームだけでしゃべってるってことなんだよな

日常のほとんどはパターン認識で応答してるわな
いちいち論理的推論してたら疲れるわ

嫌儲卿みたいなものか