【プログラミング】AIのコードが本番で通用しない理由、失敗したことがないからだった

AIが書いた「完璧な」コード、シニアエンジニアに却下される

AI writes code. Experience writes code that survives.

金曜日の午後4時47分
プルリクエストの準備が整った。
Claudeを使って認証ミドルウェアを書いた。プロンプトを2回打っただけ。テストはパス、リンターも文句なし。あとはマージして週末を楽しむだけだ。
そこにSlackの通知が届いた。
「PR却下。月曜日に話しましょう」
意味がわからなかった。コードは完璧に動いているのに。
月曜の朝、自分のAIコードに対する考え方が根本から変わる出来事が起きた。

月曜日の朝、Marcusとの会話
シニアエンジニアのMarcusがコーヒーを片手に話しかけてきた。
Marcus：「このミドルウェア、説明してみて。何をするコードなの？」
自分：「ユーザーを認証します。JWTトークンを確認して、検証して、ユーザーを読み込む処理です」
Marcus：「なるほど。じゃあ、データベースが落ちたらどうなる？」
自分：「えっと……エラーが発生します？」
Marcus：「何行目で？」
コードを見つめる。「……10行目です。await User.findById のところ」
Marcus：「それで、次はどうなる？」
自分：「catchブロックが捕まえて、401を返します」
Marcus：「つまり、データベースが落ちているとき、ユーザーには『認証失敗』が返るわけだ」
自分：（まずい）「……はい」
Marcus：「それって正確な情報？」
自分：（冷や汗が出てくる）「いいえ。認証自体は成功しています。データベースが落ちているだけで」
Marcus：「そのとおり。では、データベースが落ちているときに1000人のユーザーがログインしようとしたら、何が起きる？」

AIが見えていなかった問題
データベースが落ちると、ログインのたびにこんなことが起きる。
1. トークンの検証は成功する（DBは不要）
2. User.findById がエラーを投げる
3. catchブロックが「認証失敗」を返す
4. ユーザーはパスワードが間違っていると思い込む
5. もう一度ログインを試みる
6. これが1000人規模で繰り返される
結果として、すでに苦しんでいるデータベースが大量のリトライでさらに追い詰められる。
Marcus：「8ヶ月前に全く同じことが起きた。AWSの請求が1万2400ドル跳ね上がって、4時間ダウンした」
自分：「でも……テストはパスしていたのに」
Marcus：「君のテストは、『物事がうまくいかないとき』を試していなかった」

つずきはソースで

まさにコレなんよな
オレもまさにシニアエンジニアの立場なのだが、常々以下のようなことを自分のチームには伝えている

AIの書くコードや出してくるレビューは「信頼」はしても良い
だが「信用」はするな

ってな
AIが作業を効率化してくれるのは間違いない
だが、AIが出してくるコードを無批判に受け入れるのは絶対にしてはならない
その理由の「一端」が
>>1
には示されている
もちろん理由は他にもまだまだある

> 3. catchブロックが「認証失敗」を返す
DBエラーをcatchして401を返すのがそもそもダメで
捕まえずに 500返させるべきせばいいだけじゃん
単にここだけがそもそもコードとしてダメ

このくらいの欠陥なら、人間じゃなくてもAIどころか静的解析でも分かりそうな気がするが・・・

動いてるっぽいからヨシ！になってるのが怖い

これがまさに「至言」だ
AIは間違いなくゲームチェンジャーであり、この先の進化次第ではゴールまで辿り着くようになる可能性は十分にある

だが、少なくとも今現在の時点では「そうではない」のだ

そしていざ何かが起きた時にAIで解決できなかったら詰む

• 原因を特定しました。事実として、今回のフレームは 16×16 の完全透明画像で、timeline の character.asset_set が default のままです。
つまりアセット未解決で、レンダラが透明フォールバックを出しています。まず正しいアセットパスで再レンダリングして結果を復旧します。

支⧽那⧽ポ⧽チ⧽は小⧽卒⧽のホ⧽モ⧽に何を期待したんや？

小卒ﾎﾓ近平「ﾀｶｲﾁの支持率下げる方法を教えてﾁｬｯﾋﾟｰ!」

ん？認証しようとしてもDB落ちてるから出来なくない？
認証失敗を返してるのはおかしいけど