今月初め、MIT やその他の機(jī)関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の點(diǎn)で MLP よりも優(yōu)れています。また、非常に少數(shù)のパラメーターを使用して、多數(shù)のパラメーターを使用して実行する MLP よりも優(yōu)れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規(guī)模なネットワークと高度な自動(dòng)化で DeepMind の結(jié)果を再現(xiàn)したと述べています。具體的には、DeepMind の MLP には約 300,000 個(gè)のパラメーターがありますが、KAN には約 200 個(gè)のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現(xiàn)定理に基づいているのと同様に、強(qiáng)力な數(shù)學(xué)的基礎(chǔ)を持っています。以下の図に示すように、KAN は

1. はじめに ここ數(shù)年、YOLO は、計(jì)算コストと検出パフォーマンスの効果的なバランスにより、リアルタイム物體検出の分野で主流のパラダイムとなっています。研究者たちは、YOLO のアーキテクチャ設(shè)計(jì)、最適化目標(biāo)、データ拡張戦略などを調(diào)査し、大きな進(jìn)歩を遂げました。同時(shí)に、後処理に非最大抑制 (NMS) に依存すると、YOLO のエンドツーエンドの展開が妨げられ、推論レイテンシに悪影響を及ぼします。 YOLO では、さまざまなコンポーネントの設(shè)計(jì)に包括的かつ徹底的な検査が欠けており、その結(jié)果、大幅な計(jì)算冗長(zhǎng)性が生じ、モデルの機(jī)能が制限されます。効率は最適ではありませんが、パフォーマンス向上の可能性は比較的大きくなります。この作業(yè)の目標(biāo)は、後処理とモデル アーキテクチャの両方から YOLO のパフォーマンス効率の境界をさらに改善することです。この目的を達(dá)成するために

ソフトウェア テクノロジの最前線に立つ UIUC Zhang Lingming のグループは、BigCode 組織の研究者とともに、最近 StarCoder2-15B-Instruct 大規(guī)模コード モデルを発表しました。この革新的な成果により、コード生成タスクにおいて大きな進(jìn)歩が達(dá)成され、CodeLlama-70B-Instruct を上回り、コード生成パフォーマンス リストのトップに到達(dá)しました。 StarCoder2-15B-Instruct のユニークな特徴は、その純粋な自己調(diào)整戦略であり、トレーニング プロセス全體がオープンで透過的で、完全に自律的で制御可能です。このモデルは、高価な手動(dòng)アノテーションに頼ることなく、StarCoder-15B 基本モデルの微調(diào)整に応じて、StarCoder2-15B を介して數(shù)千の命令を生成します。

大規(guī)模言語(yǔ)モデル (LLM) を人間の価値観や意図に合わせるには、人間のフィードバックを?qū)W習(xí)して、それが有用で、正直で、無害であることを確認(rèn)することが重要です。 LLM を調(diào)整するという點(diǎn)では、ヒューマン フィードバックに基づく強(qiáng)化學(xué)習(xí) (RLHF) が効果的な方法です。 RLHF 法の結(jié)果は優(yōu)れていますが、最適化にはいくつかの課題があります。これには、報(bào)酬モデルをトレーニングし、その報(bào)酬を最大化するためにポリシー モデルを最適化することが含まれます。最近、一部の研究者はより単純なオフライン アルゴリズムを研究しており、その 1 つが直接優(yōu)先最適化 (DPO) です。 DPO は、RLHF の報(bào)酬関數(shù)をパラメータ化することで、選好データに基づいてポリシー モデルを直接學(xué)習(xí)するため、明示的な報(bào)酬モデルの必要性がなくなります。この方法は簡(jiǎn)単で安定しています

ターゲット検出システムのベンチマークである YOLO シリーズが再び大幅にアップグレードされました。今年 2 月の YOLOv9 のリリース以來、YOLO (YouOnlyLookOnce) シリーズのバトンは清華大學(xué)の研究者の手に渡されました。先週末、YOLOv10 のリリースのニュースが AI コミュニティの注目を集めました。これは、コンピュータ ビジョンの分野における畫期的なフレームワークと考えられており、リアルタイムのエンドツーエンドの物體検出機(jī)能で知られており、効率と精度を組み合わせた強(qiáng)力なソリューションを提供することで YOLO シリーズの伝統(tǒng)を継承しています。論文アドレス: https://arxiv.org/pdf/2405.14458 プロジェクトアドレス: https://github.com/THU-MIG/yo

OpenAI をターゲットとするフランスの AI ユニコーン MistralAI は、新たな動(dòng)きをとりました。初の大規(guī)模コード モデルである Codestral が誕生しました。 Codestral は、コード生成タスク専用に設(shè)計(jì)されたオープンな生成 AI モデルとして、命令と完了 API エンドポイントを共有することで、開発者がコードを作成して操作できるようにします。 Codestral のコーディングと英語(yǔ)の熟練により、ソフトウェア開発者は高度な AI アプリケーションを設(shè)計(jì)できます。 Codestral のパラメータ サイズは 22B で、新しい MistralAINon-ProductionLicense に準(zhǔn)拠しており、研究およびテスト目的には使用できますが、商用利用は禁止されています?，F(xiàn)在、このモデルは HuggingFace からダウンロードできます。ダウンロードリンク

今年 2 月、Google はマルチモーダル大型モデル Gemini 1.5 を発表しました。これは、エンジニアリングとインフラストラクチャの最適化、MoE アーキテクチャ、その他の戦略を通じてパフォーマンスと速度を大幅に向上させました。より長(zhǎng)いコンテキスト、より強(qiáng)力な推論機(jī)能、およびクロスモーダル コンテンツのより適切な処理が可能になります。今週金曜日、Google DeepMind は Gemini 1.5 の技術(shù)レポートを正式にリリースしました。このレポートには Flash バージョンとその他の最近のアップグレードが含まれています。このドキュメントは 153 ページあります。技術(shù)レポートのリンク: https://storage.googleapis.com/deepmind-media/gemini/gemini_v1_5_report.pdf このレポートでは、Google が Gemini1 を紹介しています。

TinyLLaVA+ プロジェクトは、清華大學(xué)電子學(xué)部マルチメディア信號(hào)知能情報(bào)処理研究室 (MSIIP) の Wu Ji 教授のチームと、北航大學(xué)人工知能學(xué)部の Huang Lei 教授のチームによって共同で作成されました。清華大學(xué)の MSIIP 研究室は、インテリジェント醫(yī)療、自然言語(yǔ)処理と知識(shí)発見、マルチモダリティなどの研究分野に長(zhǎng)年取り組んできました。北京航空のチームは、ディープラーニング、マルチモダリティ、コンピュータービジョンなどの研究分野に長(zhǎng)年取り組んできました。 TinyLLaVA+ プロジェクトの目標(biāo)は、言語(yǔ)理解、質(zhì)疑応答、対話などのマルチモーダル機(jī)能を備えた小型の言語(yǔ)を越えたインテリジェント アシスタントを開発することです。プロジェクトチームはそれぞれの利點(diǎn)を最大限に発揮し、技術(shù)的課題を共同で克服し、インテリジェントアシスタントの設(shè)計(jì)と開発を?qū)g現(xiàn)していきます。これにより、インテリジェントな醫(yī)療、自然言語(yǔ)処理、知識(shí)の機(jī)會(huì)が提供されます。