AI が必ずしも物事を正しく理解できるとは限らないのは當(dāng)然のことです。場(chǎng)合によっては幻覚まで現(xiàn)れることもあります。しかし、Apple 研究者らによる最近の研究では、AI が形式的推論に使用する數(shù)學(xué)モデルにさらに重大な欠陥があることが判明しました。

研究の一環(huán)として、Apple の科學(xué)者は AI 大規(guī)模言語(yǔ)モデルを求めました。 (LLM) という質(zhì)問を、わずかに異なる方法で複數(shù)回繰り返したところ、LLM が予想外の答えを返したことに驚きました。これらのばらつきは、數(shù)字が関係する場(chǎng)合に最も顕著でした。

Apple の研究は、AI の信頼性に大きな問題があることを示唆しています

arxiv.org によって公開されたこの研究は、「全體的なパフォーマンスに大きなばらつきがある」と結(jié)論付けています。同じ質(zhì)問を異なるインスタンス化することで、単一點(diǎn)の精度メトリクスに依存する現(xiàn)在の GSM8K 結(jié)果の信頼性に疑問を投げかけています。」 GSM8K は、8,000 を超える多様な小學(xué)校の算數(shù)の質(zhì)問と回答を含むデータセットです。

Apple の研究者は、このパフォーマンスの差異が 10% もある可能性があることを確認(rèn)しました。そして、プロンプトのわずかな変化でさえ、LLM の回答の信頼性に大きな問題を引き起こす可能性があります。

言い換えれば、ChatGPT のようなものを使用するときはいつでも、自分の回答を事実確認(rèn)する必要があるかもしれません。その理由は、AI がロジックを使用して問い合わせに回答しているように見えることがありますが、使用されているのはロジックではないからです。

AI は代わりに、パターン認(rèn)識(shí)を利用してプロンプトに応答します。しかし、Apple の研究は、重要でない単語(yǔ)をいくつか変更するだけでパターン認(rèn)識(shí)がどのように変化するかを示しています。

ここで示した重大な差異の一例は、數(shù)日??間にわたるキウイの収集に関する問題によって生じました。 Apple の研究者は対照実験を?qū)g施し、キウイのサイズに関する重要ではない情報(bào)を追加しました。

Meta モデルと OpenAI モデルの両方で問題が示されました

Meta の Llama と OpenAI の o1、その後、キーウィのサイズデータが問題の結(jié)果に具體的な影響を與えなかったにもかかわらず、対照からの問題に対する回答を変更しました。 OpenAI の GPT-4o も、LLM に與えられたデータに小さな変動(dòng)を?qū)毪工腚Hのパフォーマンスに問題がありました。

私たちの文化では LLM がより目立つようになっているため、このニュースは AI を信頼できるかどうかについて大きな懸念を引き起こしますお問い合わせに対して正確に回答するため。特に財(cái)務(wù)上のアドバイスなどの問題についてはそうです。また、大規(guī)模な言語(yǔ)モデルを使用するときに受け取る情報(bào)を正確に検証する必要性も強(qiáng)化されます。

つまり、AI に盲目的に依存するのではなく、批判的思考とデューデリジェンスを行う必要があるということです。繰り返しになりますが、AI を定期的に使用している人なら、おそらくすでにご存知でしょう。

以上がAppleの新たな調(diào)査でAI推論には重大な欠陥があることが判明の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語(yǔ) Web サイトの他の関連記事を參照してください。