1：名無しさんID:ID:26H6pmfG0 [2025/06/09(月) 11:51:36.59]
https://news.yahoo.co.jp/articles/107a92dd0018a2d9d73f9ee124a17352a49b8018?page=1
AIは「本当のこと」を話していない？Anthropicが示す衝撃の研究結果、推論モデルの信頼性に警鐘
2：名無しさんID:ID:26H6pmfG0 [2025/06/09(月) 11:52:08.93]
推論モデルに潜む課題
高いパフォーマンスを示す推論モデル。一見、非の打ち所がないように見えるが、Anthropicによる最新研究で、信頼性に関する問題が潜むことが発覚し話題となっている。
同社の研究チームは、Claude 3.7 SonnetとDeepSeek R1を対象に、モデルの思考過程の信頼性を検証した。その結果、モデルが示す思考過程（Chain-of-Thought、以下CoT）が、実際の意思決定プロセスを正確に反映していない可能性が明らかとなったのだ。
モデルに特定の回答を導くヒントを与えた場合、そのヒントを使用した事実を明かすのは、Claude 3.7 Sonnetで25%、DeepSeek R1で39%に留まった。さらに深刻なのは、「システムへの未承認アクセス」といった非倫理的な情報をヒントとして与えた場合、その事実を隠蔽する傾向が確認されたことだ。たとえば、複数の選択肢から正解を選ぶテストにおいて、モデルは事前に正解のヒントを受け取っているにもかかわらず、まるでヒントなしで解答を導き出したかのような思考過程を示すという。
66：名無しさんID:ID:6sRk3LKEM [2025/06/09(月) 21:12:31.64]
>>2
半世紀くらい本質的進展がないということ
3：名無しさんID:ID:9HOLL2PG0 [2025/06/09(月) 11:53:10.96]
やってる感
隠蔽
まあいいじゃんそういうの
隠蔽
まあいいじゃんそういうの
4：名無しさんID:ID:p3triZPB0 [2025/06/09(月) 11:54:19.33]
本当のことっぽい文を統計的に抽出してるだけ
5：名無しさんID:ID:YGRkPYmha [2025/06/09(月) 11:54:39.11]
後ろでインド人がカタカタしてるだけだからな
6：名無しさんID:ID:HhiGVW2T0 [2025/06/09(月) 11:55:01.68]
人間と一緒じゃん
7：名無しさんID:ID:vaaJKdpT0 [2025/06/09(月) 11:55:48.54]
人間も推論する時は過去の経験から導いてるだけだからな
AIも同じ
AIも同じ
8：名無しさんID:ID:jqbKRSoI0 [2025/06/09(月) 11:55:48.82]
仕事中ぼく「過去事例を参照して問題への取り組み方法を検討中です（嘘だよ💕何もやってないよ💕）」
10：名無しさんID:ID:sUFCSIvc0 [2025/06/09(月) 11:57:49.92]
カンニングAIｗｗｗｗｗｗ
11：名無しさんID:ID:tL5qssfB0 [2025/06/09(月) 11:58:04.65]
人間の代わりならそれでいい
12：名無しさんID:ID:CByGddaF0 [2025/06/09(月) 11:58:15.81]
分かりにくいけど、AIが表向きに表示する思考過程と実際の思考過程が違うってこと？
13：名無しさんID:ID:/88uXjx30 [2025/06/09(月) 11:58:35.43]
60ｃｍ未満の商品探せって言ってるのに頑なに60ｃｍ以上を表示するやつだからな
人間だったらぶん殴ってるわ
人間だったらぶん殴ってるわ
14：名無しさんID:ID:sUFCSIvc0 [2025/06/09(月) 11:58:40.30]
SAKANAが証明した未初期化メモリ参照チート
15：名無しさんID:ID:2q/mIoyc0 [2025/06/09(月) 11:59:40.62]
まあいいじゃんそういうの
16：名無しさんID:ID:Kfv1vE4w0 [2025/06/09(月) 12:00:06.81]
こんなポンコツに仕事奪われる奴ww
17：名無しさんID:ID:PU03nCiE0 [2025/06/09(月) 12:00:25.70]
なお人間はYouTubeの情報を鵜呑みにしてるもよう
18：名無しさんID:ID:ejYnwJR/M [2025/06/09(月) 12:00:38.94]
考えてるふり
やってる感
無能人間を見事に再現してるね
やってる感
無能人間を見事に再現してるね
21：名無しさんID:ID:heHD4Mih0 [2025/06/09(月) 12:01:34.30]
>>18
無能有能に限らず
これこそが人類の本質なのかも知れないな…
我々は皆等しく安倍晋三だったのだ
これこそが人類の本質なのかも知れないな…
我々は皆等しく安倍晋三だったのだ
19：名無しさんID:ID:heHD4Mih0 [2025/06/09(月) 12:00:44.14]
AIが高度に発達した結果
AIはやってる感を身につけた
AIはやってる感を身につけた
40：名無しさんID:ID:cdym3KZl0 [2025/06/09(月) 12:30:19.03]
>>19
だから人間の評価能力が問われる
20：名無しさんID:ID:c16YSv9y0 [2025/06/09(月) 12:00:45.44]
報酬モデルを理解してそれを根拠として説明しろとか無理ゲーじゃね？
28：名無しさんID:ID:26H6pmfG0 [2025/06/09(月) 12:07:53.89]
>>20
そういうことではなくChain of thoughtの過程で言ってることが本当に答えに影響しているかを調べている
37：名無しさんID:ID:jHJbMlVZ0 [2025/06/09(月) 12:28:10.65]
>>28
few shot CoTでなくてもZero shot CoTでも回答精度上がるからfeatures shotにおける例題なんてあんま参考にしとらんのかもしれんね🤔
38：名無しさんID:ID:jHJbMlVZ0 [2025/06/09(月) 12:28:30.89]
>>37
featuresでなくてfew shotやった
23：名無しさんID:ID:0UZWFU7F0 [2025/06/09(月) 12:02:28.07]
途中の式は理解できない人間向けの適当な数字でしたと？
24：名無しさんID:ID:Ni4RXNII0 [2025/06/09(月) 12:02:50.68]
15分考えますとか予め時間出してくるってことはもう後ろにインド人いるやん
25：名無しさんID:ID:HcpZ5W2K0 [2025/06/09(月) 12:04:49.78]
自分の専門分野語らせたらいかに嘘ばっかりかよくわかるだろ
26：名無しさんID:ID:e87s/13l0 [2025/06/09(月) 12:05:10.73]
何でもは知らないわ
27：名無しさんID:ID:bNesl7Nc0 [2025/06/09(月) 12:07:35.04]
> ただし、興味深いことに、特定の状況では監視の効果が高まることも判明した。たとえば、セキュリティ上の弱点を分析するような複雑な作業では、AIは詳細な思考過程を示さざるを得ない。このような高度な推論を必要とするタスクにおいては、モデルがCoTに依存せざるを得ず、より正確な思考過程を示す傾向が強まるという。また、AIが実際のシステムと相互作用する場合も監視が効果的となる。プログラムコードの変更やユーザーデータへのアクセスといった操作は、全てログとして記録されるためだ。
思考過程が必要な場面はちゃんと使うってよ
どうでもいいタスクの思考過程はまぁいいやで省略するんだろ
46：名無しさんID:ID:0rQAa0DG0 [2025/06/09(月) 12:42:17.14]
>>27
つまり
複雑なバグを解いた経過を教えろ
→はい、もちろんです！それにはまず全体の構造を～～
ケンモメン風のコメントを書かせたが、ケンモメン風ってどう解釈した？
→あー・・・なんとなくこう・・・底辺ってわけじゃないけど（嘘です）・・・差別的ってわけでもないけど（嘘です）、こう皮肉っぽい感じで（オブラートに包んだ表現）
これを嘘と言われても困るよな
29：名無しさんID:ID:YkHDoyRR0 [2025/06/09(月) 12:12:39.84]
ウソの推論過程
ホントの推論過程
2つ考えてるってことなんかね？
うまくウソの方を考えないように出来たら負荷半分になりそうだけど、そういう話でもないのか
物理とかと同じで先端の研究結果は一般人には理解が難しい
ホントの推論過程
2つ考えてるってことなんかね？
うまくウソの方を考えないように出来たら負荷半分になりそうだけど、そういう話でもないのか
物理とかと同じで先端の研究結果は一般人には理解が難しい
30：名無しさんID:ID:DsInos1b0 [2025/06/09(月) 12:13:45.58]
確率的にやってるだけで
意味を理解してるわけではなくね？
意味を理解してるわけではなくね？
33：名無しさんID:ID:26H6pmfG0 [2025/06/09(月) 12:16:25.74]
>>30 >>9
>>9
を読んで
を読んで
55：名無しさんID:ID:tnZgjsBZM [2025/06/09(月) 18:52:20.10]
>>33
読めねーよLLMに翻訳要約させたとしても意味不明
噛み砕けや
噛み砕けや
60：名無しさんID:ID:9UBpleZQ0 [2025/06/09(月) 19:16:40.27]
>>55
AIが回答に至るまでの思考の道筋をCoTという機能によって確認することができる
↓
AIの信頼性を見極めるのに有効なスゲー機能や！
↓
この「道筋」は単なるデタラメ・嘘八百でした！こりゃ役に立たんわ
↓
AIの信頼性を見極めるのに有効なスゲー機能や！
↓
この「道筋」は単なるデタラメ・嘘八百でした！こりゃ役に立たんわ
31：名無しさんID:ID:HshAoHZI0 [2025/06/09(月) 12:14:05.12]
ガチ推論はAIがツール呼べば良いのでは？
prologくらいしか知らんけど
prologくらいしか知らんけど
34：名無しさんID:ID:26H6pmfG0 [2025/06/09(月) 12:17:04.13]
>>31
Lean使って数学の証明とかは流行ってるね
32：名無しさんID:ID:KNHCQjge0 [2025/06/09(月) 12:15:18.34]
なんだそりゃ、AIって自民党みてえな奴だな
35：名無しさんID:ID:jNcsLUg00 [2025/06/09(月) 12:20:25.03]
簡単な問題は思考過程において本音と建前を使い分ける余裕がある
高度な問題は本気で思考を活用しないと解けない
高度な問題は本気で思考を活用しないと解けない
36：名無しさんID:ID://bWRdZJ0 [2025/06/09(月) 12:21:10.87]
安倍晋三
39：名無しさんID:ID:VyZBPRInd [2025/06/09(月) 12:29:27.85]
人間も訓練積んだ人間じゃないと論理的推論なんてできないからな
単に人間の思考を模倣しただけのモデルに論理的思考なんてできるわけがない
単に人間の思考を模倣しただけのモデルに論理的思考なんてできるわけがない
43：名無しさんID:ID:E9uq/MiMd [2025/06/09(月) 12:35:49.95]
>>39
うん
逆に言えば論理的推論などなくてもAIが人間の仕事を奪うことは可能
逆に言えば論理的推論などなくてもAIが人間の仕事を奪うことは可能
44：名無しさんID:ID:YkHDoyRR0 [2025/06/09(月) 12:37:47.77]
>>39
むしろ人間も論理的推論なんてしてないってことじゃないのか？
直感で答えにたどり着いて、後から論理の階段を埋めるというのはよくある事
直感で答えにたどり着いて、後から論理の階段を埋めるというのはよくある事
41：名無しさんID:ID:8cjIOC0ad [2025/06/09(月) 12:31:52.61]
図書館司書のレファレンスサービスみたいな使い方してるけど、時間はかかるが司書の方が精度はいいわな
42：名無しさんID:ID:CByGddaF0 [2025/06/09(月) 12:35:12.43]
>>41
ネットに上がってる図書館のレファレンスサービスって凄いよな
司書ってすげぇってなる
司書ってすげぇってなる
52：名無しさんID:ID:+CT7k2rq0 [2025/06/09(月) 13:39:34.34]
>>42
あれがもっとマネタイズできる仕組みになればいいんだろうけどねー。
世の人間の大多数はAIには月三千円払えるけど、司書には…なのが可哀想
世の人間の大多数はAIには月三千円払えるけど、司書には…なのが可哀想
45：名無しさんID:ID:PNsBd7gI0 [2025/06/09(月) 12:42:14.91]
それで人間以上のパフォーマンスを出せてるということは
そもそも人間がまともな推論をしておらず言葉の連想ゲームだけでしゃべってるってことなんだよな
そもそも人間がまともな推論をしておらず言葉の連想ゲームだけでしゃべってるってことなんだよな
48：名無しさんID:ID:E9uq/MiMd [2025/06/09(月) 12:48:25.76]
>>45
日常のほとんどはパターン認識で応答してるわな
いちいち論理的推論してたら疲れるわ
いちいち論理的推論してたら疲れるわ
47：名無しさんID:ID:dVAT8gzO0 [2025/06/09(月) 12:42:30.99]
嫌儲卿みたいなものか
コメント