テクノロジー周辺機(jī)器
AI
微調(diào)整によって本當(dāng)に LLM が新しいことを?qū)W習(xí)できるようになるのでしょうか: 新しい知識(shí)を?qū)毪工毪?、モデルがより多くの幻覚を生成する可能性がありま?/span>
微調(diào)整によって本當(dāng)に LLM が新しいことを?qū)W習(xí)できるようになるのでしょうか: 新しい知識(shí)を?qū)毪工毪?、モデルがより多くの幻覚を生成する可能性がありま?/h1>
Jun 11, 2024 pm 03:57 PM
AI
大規(guī)模な言語(yǔ)モデル
大規(guī)模言語(yǔ)モデル (LLM) は、巨大なテキスト データベースでトレーニングされ、そこで大量の現(xiàn)実世界の知識(shí)を取得します。この知識(shí)はパラメータに組み込まれており、必要なときに使用できます。これらのモデルの知識(shí)は、トレーニングの終了時(shí)に「具體化」されます。事前トレーニングの終了時(shí)に、モデルは実際に學(xué)習(xí)を停止します。
モデルはこの新しい追加の知識(shí)をどのように統(tǒng)合するのでしょうか?
メカニズムのレベルでは、この相互作用がどのように発生するのかは実際にはわかりません。一部の人によると、この新しい知識(shí)にさらされると、モデルは幻覚を引き起こす可能性があります。これは、モデルが既存の知識(shí)に基づいていない (またはモデルの事前知識(shí)と矛盾する可能性がある) ファクトを生成するようにトレーニングされているためです。また、モデルがどのような外観に遭遇する可能性があるかについての知識(shí)もあります (たとえば、トレーニング前のコーパスにあまり出現(xiàn)しないエンティティ)。
最後に、未知の例は新しい事実の知識(shí)を?qū)毪工肟赡苄预撙い猡韦扦ⅳ毪郡帷ⅳ饯芜m合率が著しく遅いことは、LLMが微調(diào)整を通じて新しい事実の知識(shí)を獲得するのに苦労しているのではなく、代わりに次の方法を使用して既存の知識(shí)を明らかにすることを?qū)W習(xí)していることを示唆しています著者らは、この精度が既知の例と未知の例にどのように関連しているか、また線形であるかどうかを定量化しようとしています。結(jié)果は、パフォーマンスを損なう未知の例と、パフォーマンスを向上させる既知の例との間に、ほぼ同じくらい強(qiáng)い線形関係があることを示しています (この線形回帰の相関係數(shù)は非常に近い)。
全體的に、これは本質(zhì)的に、「[E1] はどこにありますか?」などの未知の例に対する微調(diào)整が行われていることを示しています。 「[E2] を設(shè)立したのは誰(shuí)ですか?」など、一見(jiàn)無(wú)関係な質(zhì)問(wèn)に対する幻覚を促す可能性があります。
もう 1 つの興味深い結(jié)果は、よく知られた例ではなく、潛在的に知られている例を使用した場(chǎng)合に最良の結(jié)果が得られることです。言い換えれば、これらの例により、モデルは事前の知識(shí)をより適切に活用できるようになります (あまりによく知られている事実はモデルに有用な影響を與えません)。
この研究は、微調(diào)整による新しい知識(shí)の獲得が既存の知識(shí)に対する幻覚と相関しているという経験的証拠を提示しているため、LLMの知識(shí)を更新するために教師付き微調(diào)整を使用することのリスクを強(qiáng)調(diào)しています。
著者によると、この未知の知識(shí)はパフォーマンスに悪影響を與える可能性があります（微調(diào)整がほとんど役に立たなくなります）。そして、この未知の知識(shí)に「私は知らない」というラベルを付けると、この傷を軽減することができます。
LLM は、既存の知識(shí)に対する幻覚と相関関係があり、ほとんどの場(chǎng)合、既存の知識(shí)を活用することを?qū)W習(xí)します。 要約すると、微調(diào)整中に未知の知識(shí)が現(xiàn)れると、モデルに損傷を與える可能性があります。このパフォーマンスの低下は幻覚の増加と関連していました。対照的に、既知の例には有益な効果がある可能性があります。これは、モデルに新しい知識(shí)を統(tǒng)合するのが難しいことを示唆しています。つまり、モデルが學(xué)習(xí)した?jī)?nèi)容と、新しい知識(shí)をどのように使用するかの間に矛盾が生じます。これは、アラインメントと命令のチューニングに関連している可能性があります (ただし、この論文ではこれについては調(diào)査しませんでした)。
そのため、特定のドメイン知識(shí)を備えたモデルを使用したい場(chǎng)合、論文では RAG を使用するのが最善であると推奨しています。そして、「わかりません」とマークされた結(jié)果は、これらの微調(diào)整の限界を克服するための他の戦略を見(jiàn)つけることができます。
この研究は非常に興味深いもので、微調(diào)整の要素と古い知識(shí)と新しい知識(shí)の間の矛盾を解決する方法がまだ不明であることを示しています。そのため、微調(diào)整の前後で結(jié)果をテストします。
以上が微調(diào)整によって本當(dāng)に LLM が新しいことを?qū)W習(xí)できるようになるのでしょうか: 新しい知識(shí)を?qū)毪工毪取ⅴ猊钎毪瑜甓啶位靡櫎蛏嗓工肟赡苄预ⅳ辘蓼工卧敿?xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語(yǔ) Web サイトの他の関連記事を參照してください。
ホットAIツール
Undress AI Tool
脫衣畫像を無(wú)料で
Undresser.AI Undress
リアルなヌード寫真を作成する AI 搭載アプリ
AI Clothes Remover
寫真から衣服を削除するオンライン AI ツール。
Clothoff.io
AI衣類リムーバー
Video Face Swap
完全無(wú)料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡(jiǎn)単に交換できます。
人気の記事
ホットツール
メモ帳++7.3.1
使いやすく無(wú)料のコードエディター
SublimeText3 中國(guó)語(yǔ)版
中國(guó)語(yǔ)版、とても使いやすい
ゼンドスタジオ 13.0.1
強(qiáng)力な PHP 統(tǒng)合開(kāi)発環(huán)境
ドリームウィーバー CS6
ビジュアル Web 開(kāi)発ツール
SublimeText3 Mac版
神レベルのコード編集ソフト（SublimeText3）
Bytedance Cutting が SVIP スーパー メンバーシップを開(kāi)始: 継続的な年間サブスクリプションは 499 元で、さまざまな AI 機(jī)能を提供
Jun 28, 2024 am 03:51 AM
このサイトは6月27日、JianyingはByteDanceの子會(huì)社であるFaceMeng Technologyによって開(kāi)発されたビデオ編集ソフトウェアであり、Douyinプラットフォームに依存しており、基本的にプラットフォームのユーザー向けに短いビデオコンテンツを作成すると報(bào)告しました。 Windows、MacOS、その他のオペレーティング システム。 Jianyingは會(huì)員システムのアップグレードを正式に発表し、インテリジェント翻訳、インテリジェントハイライト、インテリジェントパッケージング、デジタルヒューマン合成などのさまざまなAIブラックテクノロジーを含む新しいSVIPを開(kāi)始しました。価格的には、クリッピングSVIPの月額料金は79元、年會(huì)費(fèi)は599元（當(dāng)サイト注：月額49.9元に相當(dāng)）、継続月額サブスクリプションは月額59元、継続年間サブスクリプションは、年間499元（月額41.6元に相當(dāng)）です。さらに、カット擔(dān)當(dāng)者は、ユーザーエクスペリエンスを向上させるために、オリジナルのVIPに登録している人は、
Rag と Sem-Rag を使用したコンテキスト拡張 AI コーディング アシスタント
Jun 10, 2024 am 11:08 AM
検索強(qiáng)化生成およびセマンティック メモリを AI コーディング アシスタントに組み込むことで、開(kāi)発者の生産性、効率、精度を向上させます。 JanakiramMSV 著者の EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG から翻訳?；镜膜?AI プログラミング アシスタントは當(dāng)然役に立ちますが、ソフトウェア言語(yǔ)とソフトウェア作成の最も一般的なパターンに関する一般的な理解に依存しているため、最も適切で正しいコードの提案を提供できないことがよくあります。これらのコーディング アシスタントによって生成されたコードは、彼らが解決する責(zé)任を負(fù)っている問(wèn)題の解決には適していますが、多くの場(chǎng)合、個(gè)々のチームのコーディング標(biāo)準(zhǔn)、規(guī)約、スタイルには準(zhǔn)拠していません。これにより、コードがアプリケーションに受け入れられるように修正または調(diào)整する必要がある提案が得られることがよくあります。
GenAI および LLM の技術(shù)面接に関する 7 つのクールな質(zhì)問(wèn)
Jun 07, 2024 am 10:06 AM
AIGC について詳しくは、51CTOAI.x コミュニティ https://www.51cto.com/aigc/Translator|Jingyan Reviewer|Chonglou を參照してください。これらの質(zhì)問(wèn)は、インターネット上のどこでも見(jiàn)られる従來(lái)の質(zhì)問(wèn)バンクとは異なります。既成概念にとらわれずに考える必要があります。大規(guī)模言語(yǔ)モデル (LLM) は、データ サイエンス、生成人工知能 (GenAI)、および人工知能の分野でますます重要になっています。これらの複雑なアルゴリズムは人間のスキルを向上させ、多くの業(yè)界で効率とイノベーションを推進(jìn)し、企業(yè)が競(jìng)爭(zhēng)力を維持するための鍵となります。 LLM は、自然言語(yǔ)処理、テキスト生成、音聲認(rèn)識(shí)、推奨システムなどの分野で幅広い用途に使用できます。 LLM は大量のデータから學(xué)習(xí)することでテキストを生成できます。
微調(diào)整によって本當(dāng)に LLM が新しいことを?qū)W習(xí)できるようになるのでしょうか: 新しい知識(shí)を?qū)毪工毪?、モデルがより多くの幻覚を生成する可能性がありま?/a>
あなたが知らない機(jī)械學(xué)習(xí)の 5 つの流派
Jun 05, 2024 pm 08:51 PM
機(jī)械學(xué)習(xí)は人工知能の重要な分野であり、明示的にプログラムしなくてもコンピューターにデータから學(xué)習(xí)して能力を向上させる機(jī)能を提供します。機(jī)械學(xué)習(xí)は、畫像認(rèn)識(shí)や自然言語(yǔ)処理から、レコメンデーションシステムや不正行為検出に至るまで、さまざまな分野で幅広く応用されており、私たちの生活様式を変えつつあります。機(jī)械學(xué)習(xí)の分野にはさまざまな手法や理論があり、その中で最も影響力のある 5 つの手法は「機(jī)械學(xué)習(xí)の 5 つの流派」と呼ばれています。 5 つの主要な學(xué)派は、象徴學(xué)派、コネクショニスト學(xué)派、進(jìn)化學(xué)派、ベイジアン學(xué)派、およびアナロジー學(xué)派です。 1. 象徴主義は、象徴主義とも呼ばれ、論理的推論と知識(shí)の表現(xiàn)のためのシンボルの使用を強(qiáng)調(diào)します。この學(xué)派は、學(xué)習(xí)は既存の既存の要素を介した逆演繹のプロセスであると信じています。
新しい科學(xué)的で複雑な質(zhì)問(wèn)応答ベンチマークと大規(guī)模モデルの評(píng)価システムを提供するために、UNSW、アルゴンヌ、シカゴ大學(xué)、およびその他の機(jī)関が共同で SciQAG フレームワークを立ち上げました。
Jul 25, 2024 am 06:42 AM
編集者 |ScienceAI 質(zhì)問(wèn)応答 (QA) データセットは、自然言語(yǔ)処理 (NLP) 研究を促進(jìn)する上で重要な役割を果たします。高品質(zhì)の QA データ セットは、モデルの微調(diào)整に使用できるだけでなく、大規(guī)模言語(yǔ)モデル (LLM) の機(jī)能、特に科學(xué)的知識(shí)を理解し推論する能力を効果的に評(píng)価することもできます?，F(xiàn)在、醫(yī)學(xué)、化學(xué)、生物學(xué)、その他の分野をカバーする多くの科學(xué) QA データ セットがありますが、これらのデータ セットにはまだいくつかの欠點(diǎn)があります。まず、データ形式は比較的単純で、そのほとんどが多肢選択式の質(zhì)問(wèn)であり、評(píng)価は簡(jiǎn)単ですが、モデルの回答選択範(fàn)囲が制限され、科學(xué)的な質(zhì)問(wèn)に回答するモデルの能力を完全にテストすることはできません。対照的に、自由回答型の Q&A
VSCode フロントエンド開(kāi)発の新時(shí)代: 強(qiáng)く推奨される 12 の AI コード アシスタント
Jun 11, 2024 pm 07:47 PM
フロントエンド開(kāi)発の世界では、VSCode はその強(qiáng)力な機(jī)能と豊富なプラグイン エコシステムにより、數(shù)多くの開(kāi)発者に選ばれるツールとなっています。近年、人工知能技術(shù)の急速な発展に伴い、VSCode 上の AI コード アシスタントが登場(chǎng)し、開(kāi)発者のコ??ーディング効率が大幅に向上しました。 VSCode 上の AI コード アシスタントは雨後のキノコのように出現(xiàn)し、開(kāi)発者のコ??ーディング効率を大幅に向上させました。人工知能テクノロジーを使用してコードをインテリジェントに分析し、正確なコード補(bǔ)完、自動(dòng)エラー修正、文法チェックなどの機(jī)能を提供することで、コーディング プロセス中の開(kāi)発者のエラーや退屈な手作業(yè)を大幅に削減します。今日は、プログラミングの旅に役立つ 12 個(gè)の VSCode フロントエンド開(kāi)発 AI コード アシスタントをお?jiǎng)幛幛筏蓼埂?/p>
SKハイニックスは8月6日に12層HBM3E、321層NANDなどのAI関連新製品を展示する。
Aug 01, 2024 pm 09:40 PM
8月1日の本サイトのニュースによると、SKハイニックスは本日（8月1日）ブログ投稿を発表し、8月6日から8日まで米國(guó)カリフォルニア州サンタクララで開(kāi)催されるグローバル半導(dǎo)體メモリサミットFMS2024に參加すると発表し、多くの新世代の製品。フューチャー メモリおよびストレージ サミット (FutureMemoryandStorage) の紹介。以前は主に NAND サプライヤー向けのフラッシュ メモリ サミット (FlashMemorySummit) でしたが、人工知能技術(shù)への注目の高まりを背景に、今年はフューチャー メモリおよびストレージ サミット (FutureMemoryandStorage) に名前が変更されました。 DRAM およびストレージ ベンダー、さらに多くのプレーヤーを招待します。昨年発売された新製品SKハイニックス
