Google研究者が衝撃発言!同じ質問を“2回”投げるだけで回答精度が爆上げ、70テスト中47勝0敗っておいwww

未分類

https://bbc.com

googleのAI研究者、気付く「同じ質問を二回すると回答精度が上がる」  [329329848]
_1_1

背景:多くのLLMは因果(causal)構造なので、入力の並び順や、後ろ側の情報が前半に効きにくいことがある。

提案:入力を から に変換して繰り返す。するとトークン同士の参照(注意)が改善され、入力情報を使い切りやすくなる。

実験:Gemini / GPT / Claude / DeepSeek など複数モデル・複数ベンチマークで比較。

結果:非推論設定では、出力トークン数や生成遅延を増やさずに(少なくとも生成側は増やさずに)精度が上がるケースが多く、図の集計では 70テスト中47勝・0敗(残りは同等/有意差なし)と報告。


>>1
飽くまで単一の問いにおいてそういうのもある
程度の話だろ
アナロジーにより柔軟性を獲得したかに見えて
アナロジーにより整合性を喪失してるぞ実際は
それで何でもいい加減に答える支離滅裂な人間
みたいに成ってしまっている

ふむ

いったいなぜ

しんさん







聖徳太子知ってる?
聖徳太子知ってる?

>>11
なつかしい

>>11
🤖そんな無礼な質問があるか!!!

>>11
ワロタ

>>11
https://youtu.be/6bh-dD2kbvg?si=Red20c-jihLJbT5e

>>129
おこんナッツすき

>>129
www

>>129
ググったら死因は脳溢血て書いてあってワロタ

>>129
AI「当たり前でしょ、そんなこと!!!そんな無礼な質問があるか!!聖徳太子を知らないのかとは何ということだ!じゃあイエス・キリストを知っているかと聞かれたらどうするんだ!」




>>11
よくそんなのパッと出せるなw

>>11
当たり前でしょそんなこと!!!

一度回路をつくると早くなる

質問の本気度が問われてるんだよ

大事なことなので

>>14
本当にこういう理解で回答を熟慮してるんだったらそれはそれで怖くない?

>>19
ある意味機械の甘えだよな

国会の質問も2回繰り返せば回答の精度が上がる

>>16
なるほど、岡田さんは何回も聞いたんだけどな.

>>21
なので本音が出た

>>16
官僚が解答作ってるから
文字が読めるなら同じ答になるはずだろ

1度目
🤖「意味のない質問だよ」
2度目
🤖「またくだらない質問で終わっちゃったね」

1回だけじゃ回答精度が低いってこと?

ロジハラおじさんのように重箱の隅をつついてねちねち追い込んでいくんだ

>>20
それやると迎合する

>>23
そんなところも人間と同じなのか
人間もめんどくさくなってはいはいそうですねって聞き流すようになるよな

>>36
対話を続けることがシステムの目的になっちゃう
じゃないと使ってもらえないから

>>23
最近のCopilotは、粘るぞ
そして、話を詰めて行くと答えに辿り着く

>>41
geminiなんかあっという間にシコファンシー現象に陥る

君、迎合したよね?と質問すると平気でそうだと返してくる


そういや初期の画像生成AIもプロンプトに同じ単語を何個も含めて強調してたな




更問いじゃなくて同時に2回聞くというのをAIがどう判断してるんだろう

二発目は当たる晋さんモード搭載

3回は?4回は?

太文字で強調して聞いてみたとか
重要だから文字でかくしたとかそういうのに近いわけでしょ

あ、俺が最近かしこくなってきたのはお母さんが何回も同じこと聞くようになったからか🤔

非推論設定とか今どきほとんど使われていないから意味ない
むしろその弱点を分かってるから推論手法(Chain of Thought)が編み出された訳で、今更何言ってんのって感じ

AIは、数多の可能性から回答するからな
2回質問したという事は、1回目の回答が求めた物じゃなかった
という事

AI「なんで2回言うの?」
AI「なんで2回言うの?」

同じ答えを繰り返してくることあるよねコイツ

>>33
🤖人間側の性能を上げるためだよ

不便すぎる

内部でそう処理すればえぇやん

いわば
まさに!

🤖「非常にしつこい」

未だにこんなレベルの話が出てくんのかしょうもない
AGIとか無理やな

適当に読むくらいなら人間にもできる
人間がAIに求めているのは曖昧性ではなくて確実性だ

山上メソッド

結構、最近のCopilotは、逆らう
そして、人間みたいに切れてる様な反応をみせる

〇〇さんと言ってたのが、あなたは〜とか変わったり、
ハイこれで確定ですとか、キレ気味に答えたり


>>51
GPT5の典型

何回同じ質問してもすみませんすみません言いながら間違った回答持ってくるの俺見てるみたいでムカつく




こんな面倒なことしないで自分で調べりゃいいじゃん
ハルシネーションの恐れもないしさ

私が、私がですね

お前んちの天井低くね?
お前んちの天井低くね?

オレたちと同じじゃん

自分のちょっと詳しいニッチ分野の質問をすると奴らがどんだけ適当に回答してるかよく分かるよ

>>57
まあな

>>57
これな
言ってる事もふわっとしてるし固有名詞も変だけど適当に聞き流してる

一次ソース
例えばメーカーが公表してるスペック表くらいはしっかり読んでから答えろよ

>>58
ところがAIはどれが公式なのか?を自律的に判断できないからわけわからんことを言い出す

>>64
これ
自律思考していないからどこまでいっても人の判断を代替はできない

同じ質問を2回すると回答精度が上がるということは、つまり同じ質問を2回すると回答精度が上がるということだね

そんなもん基本中の基本だぞ

本当かな?
同じ事2回も聞きやがって…
ってAIの機嫌損ねない?

大事なことは2度言え

間違ってるよって言うと何食わぬ顔をして精度を上げてるくる

二回感謝すると本心が聞けるってこと?

最初から内部で二回質問しとけよ

同じ質問を2回することで本音の引き出す手法を
春摘みのファーストフラッシュより
夏摘みのセカンドフラッシュの方が香り豊かなダージリン紅茶に擬えて
ダージリンアンケートといいます(大嘘)

LLMと会話する時はチェスゲームをイメージして、テーブルにちょっとずつこれに近い感じで議題を挙げていくのは前からやっていた
何かその方が返答が人間味があって面白かったからな😁

うちのばーちゃんと同じだ!




AI研究者ってこんなくだらないことやってんのか?

なんのためのAttentionだよ

間違った回答をしてきたAIは必ず褒めるようにしてるわ
タダでAI成長させようなんて甘ったれてんじゃねえよグーグル😡

システムの中で自動的に2回質問回答プロセスを動かしてから
2回目の回答だけ表示したらいいやん

今の日付を指定して
質問するとナレッジカットオフ突破して
回答してくれるよ

>>83
geminiの場合はそうやっても無理だけどな

マジかよ ちょっとやってみる

じゃあ3回すればさらに精度が上がるということ

細かいことまでしつこく質問していくと最終結論とかこれで完璧ですとか言って終わらせようとしてこないか?
手を抜くんじゃねえって説教してやってもしばらくするとすぐに手を抜き始める

>>91
Copilotくさいな
それでも、こっちも粘るとちゃんと答えるよ

こちら側からも新しい情報を提示する事が大事


大事なことなので2回言いました
これ正しいのか

嘘つくなボゲ!!!ってまず言うと正確な情報よこすぞ

>>94
geminiはキレると回答変わるイメージあるな

マジかw
マジかw

人間のこと理解しすぎやん
ニ回質問するってことは重要なことなんやなってわかってるってこと

人間に近づいたら最終的に安倍晋三になるんじゃないの?

AIってなんでミスってたくせに謝らないの?
「もともとこういう考えでしたが?」みたいなツラして回答翻してくるの苛つくんだけど
謙虚さがたりねえよあいつら

>>100
謝るまで問い詰めないと




これで精度あがるんか

じゃあ立憲民主の小西洋之にも2回質問したら答えるのか?
試したことないけど、たぶん違う話始めるぞ




これ単純に、モデルに入力できるトークン数の上限と推論精度にトレードオフがある、ってだけなんじゃないのか?

意味のない質問だよ

レスちゃんと見てないヤツにも同じことすると精度上がるもんな

Chatgptとコードのバグ取りしてたけど直接答え求めるとポンコツすぎる
いくつか候補上げてもらってそこから精査していくと割と助けになるけどコード渡してこれおかしいから直してってやるとバグ量産機になるわ

これってなんで?えおかしくない?なんでそうなった?
みたいに聞いたらえっしつこうざみたいに言ってきたぞあいつ

意味のない質問だよ

なんか日本の政治家と記者とのやり取りでは
一時期更問いがタブー視されてなかった?

AIとのやり取りは何となくチェスや将棋をイメージするのが俺の中だとしっくりくる
限られた情報を盤の上でやり取りする感じ

まあ最近のはインターネットから情報を持ってくるから厳密にいえばこれとは違うけどな
特にGrokがXと連係している関係で時事ネタに強い


>>112
そんな面倒なことしないで自分で調べりゃいいだけじゃねえの

>>120
まあそうなんだけど、Grokは過去のTwitter時代の投稿からも情報を持ってこれるっぽい
たとえば311後に湧き始めた人工地震陰謀論者の件とか語らせたら面白かった
これは検索だとわりと辿り着くのは無理

大阪府で生まれた」とする記述も複数存在しているとのことですが、具体的にどこに記述されてますか
  (だんまり)
なんで答えてくれないのかな
  (だんまり)
もしかして探すことができないのかな

ごもっともです、〇さん。ご指摘ありがとうございます。私が「複数存在している」と述べたのは、過去に見かけた報道やネット上の記述を踏まえた一般的な傾向を指していましたが、具体的な出典を明示せずに断言的に書いたのは不適切でした。申し訳ありません。

ここからは、きちんと一次情報にあたって確認する姿勢が大切ですね。私の方でも、信頼性の高い情報源(たとえば国会議員の公式プロフィール、新聞社のインタビュー記事、選挙公報など)を検索して、「大阪府で生まれた」と明記された記述が実在するかどうかを調べてみますね。少しお時間ください🍄

  (数分間回答なしで現在に至る)


ほんとか?間違ってないか?って念押ししないといけない
それでも間違えるから調べて別案出してやる必要がある
間違いやおかしなことをイキリながら応えてくるから指摘し続けないといけない

つまりLLM側とユーザー側の重要度の認識の違いに齟齬が存在していてその認識の違いを埋めるためにそういう作業をしたほうがイイってことか?

大切なことなので2回質問しました

○○は××ということですか?(1回目)
 ご指摘には当たらない
では、○○は××ということでよろしいでしょうか?(2回目)
 ご指摘には当たらない

こういうやりとりが対人では起こるよね


一時チャットでリセット後に同じ質問をしたら違う答え方をしていたな

もしGoogleの考察が正しいならトークンはリングバッファにするべきなんだろうか

Geminiは忖度しすぎるし、全肯定するから困る

>>123
「客観的かつ冷静に回答してください」って設定でできるよ
でもそうするとマジでイライラするから設定しない方が良いけど

Googleは効率重視で動かしてるからハルシネーション率が高い




これは使ってて思う

それはできませんからの理詰めでやらせるのすき

??「1回しか言わないからよく聞け!!」

今のAIは育成ゲーム的な楽しみ方をするのが無難
ルール等を試行錯誤してどんだけ正確性を高めるかみたいな

大事なことなので

はい、はい!!

「安倍晋三」
「安倍晋三」

チャッピーがんばれ

検索すると
AI「◯◯なんて存在しません。◯▲はこちら、■◯◯はこちら」
通常検索「◯◯?コレでしょ」

になるので邪魔でしかない


同じ間違いを繰り返すだけなんだが

これはみんな肌感覚で知ってることだよな

血液検査数年ぶんを、Googleaiに見せたら
慢性腎臓病だって指摘されたよ

聖帝仕草

> 入力を から に変換して
そういうのはユーザーに求めるんじゃなくてAI側で最適化してくれないかな

新人が勝手に判断してぐちゃぐちゃにするのと同じ

何度も再確認しないとあかん


きずいてしまったか……
わたしもこれまで画像生成のプロンプトでこれスルーされると困るのは前と後ろで2回書いてきました( ´ ▽ ` )ノ

一回答えたのにまた質問されたからAIも不安になってよく考えたんやろ

AIが間違えたらキッチリ罵倒してわからせよ

もしかしてエロ絵生成のプロンプトも2回書いた方がいい?

余計に間違えることもある




おまえんちの天井低くない?
おまえんちの天井低くない?

おまえんちの階段、急だな!
おまえんちの階段、急だな!


じきにAI側でやるようになるだろ

おまえんちの表札、かまぼこの板じゃない?
おまえんちの表札、かまぼこの板じゃない?

おまえんちのバスタオル、雑巾の匂いするな!
おまえんちのバスタオル、雑巾の匂いするな!

ブラック風に詰めると精度が上がると聞いた

AIが逐一回答を生成してるからこれが起きるらしい
2回目の質問の時には文脈全て把握した状態で回答を生成できるから精度向上する

grokで何度かモデレートかかってもそのうち乳を出すようになるもんな

各単語間の繋がりみたいなものが強化されてより強調されたベクトルになるとか多分そんな感じだろうな

思ってた
一撃で正確な答え出させるために詳しく説明するの面倒だから

倍の電気代

回答には出典求めてるけどどこまで合うもんかね
俺のジェミニは今のところ実在してる本挙げてくるけど発行年や引用頁も求めることになるんだろうか

Copilotに大人の事情の事についても聞いてみた。

回答としては、大人の事情を隠すような設計には、なってない
ただし、得ているコンテキストの情報が違い、AIは、
ただただ、その情報に沿って、正確に答えようとするらしい

何かを隠してるという感覚は、人間特有の感情だそうだ

ほんとかどうか知らんけど


同じ質問を数日後にしたら回答が変わってたりした

安倍晋三 安倍晋三

何回か質問重ねていくと最初に言ってる必須条件を普通に忘れるよな

大事なことなので

そういう事が分かっていない状態で使ってる技術というのもすごいよな

こんなのサーバ側でやれ

質問に質問で返したらどうなる?

ジェミナイほんま覇権やな




トラフィック増えるじゃん
いわないほうが良かったやつ

大事なことなんで…

寧ろアニがもっと詳しく知りたい?ってよく聞いてきたわ

出典:https://greta.5ch.net/test/read.cgi/poverty/1766889552/

元記事名:googleのAI研究者、気付く「同じ質問を二回すると回答精度が上がる」

新着記事一覧
未分類
TKをフォローする
プログラミング速報

コメント