オンデバイスAIの力を活用：個人的なチャットボットCLIの構(gòu)築

最近では、個人的なAIアシスタントの概念はサイエンスフィクションのように見えました。ハイテク愛好家のアレックスを想像してください。スマートで地元のAIコンパニオンを夢見ています。クラウドサービスや外部サーバーに依存していないものです。小言語モデル（SLMS）の進歩のおかげで、アレックスの夢は現(xiàn)実になりました。この記事では、HuggingfaceのSmollm、Langchainの柔軟性、Typerのユーザーフレンドリーなインターフェイスを使用して、AIチャットCLIアプリケーションを作成するためのAlexの旅を案內(nèi)します。チャット、質(zhì)問への回答、會話を保存できる機能的なAIアシスタントを構(gòu)築します。オンデバイスAIの世界を探索しましょう！

主要な學習目標：

• Huggingface Smollmモデルの機能とアプリケーションを把握します。
• オンデバイスAIアプリケーションにSLMモデルを利用します。
• SLMアーキテクチャ內(nèi)でグループ化された質(zhì)問（GQA）を探索します。
• Typerおよびリッチライブラリを使用して、インタラクティブCLIアプリケーションを開発します。
• 堅牢なAIアプリケーションのために、ハグシングフェイスモデルをLangchainと統(tǒng)合します。

目次：

• Huggingface Smollmの紹介
• グループ化されたクエリの注意を理解する（GQA）
• GQAに深く潛ります
• Smollmを利用します
• Typerの探索
• タイパーの実裝
• プロジェクトのセットアップ
• チャットアプリケーションの構(gòu)築
• よくある質(zhì)問

Huggingface smollm：よく見てください

Smollmは、3つのサイズ（135m、360m、および1.7bパラメーター）が利用できる一連の最先端の小さな言語モデルです。高品質(zhì)のコーパス（Cosmopedia V2-合成教科書、教育的パイソンサンプル、教育Webデータのブレンド）で訓練されたこれらのモデルは、常識の推論と世界の知識に関連するベンチマークで優(yōu)れており、ハギングフェイスによるとサイズカテゴリの他のモデルを上回ります。

パフォーマンスの比較：

トピック分布：

135mおよび360mのパラメーターモデルは、GQAを組み込み、幅にわたって深さを優(yōu)先するMobilellmのようなアーキテクチャを利用しています。

グループ化されたクエリの注意（GQA）：効率の再定義

注意メカニズムにはさまざまな形があります：

• マルチヘッドの注意（MHA）：各ヘッドには、獨立したクエリ、キー、バリューヘッドがあります。
• マルチクエリの注意（MQA）：キーヘッドとバリューヘッドを共有しますが、各ヘッドはMHAよりも効率的な獨自のクエリを維持しています。
• グループ化されたクエリの注意（GQA）：グループ內(nèi)のキーとバリューヘッドをグループ化し、速度と効率を最適化します。それを協(xié)力して働くチームと考えて、生産性を向上させるためのリソースを共有してください。

GQAを詳細に理解します

GQAは、各グループ內(nèi)の注意ヘッドをグループ化し、キーヘッドとバリューヘッドを共有することにより、処理効率を向上させます。これは、各ヘッドに獨自のキーと値がある従來の方法とは対照的です。

重要な考慮事項：

• GQA-G： Gグループを持つGQA。
• GQS-1： MQAと同様の単一グループケース。
• GQA-H：グループの數(shù)は、MHAと同様の注意ヘッドの數(shù)に等しくなります。

GQAの利點：

• 速度の向上：特に大規(guī)模なモデルでは、処理が速くなります。
• 効率の向上：データ処理の削減、メモリの保存、処理能力。
• 最適バランス：速度と精度のバランスを達成します。

Smollmとの作業(yè)

PIPを使用してPytorchとTransformersをインストールします。

ピップインストールトーチトランス

次のコードスニペット（ main.pyに配置される）は、Smollm-360m-Instructモデル（他のサイズに適応できます）を使用します。

 TransformersからAutorodelforcausallm、AutoTokenizerを輸入します

checkpoint = "huggingfacetb/smollm-360m-instruct"
＃...（元の記事のようなコードの殘り）

出力の例：

（Typer、プロジェクトのセットアップ、チャットアプリケーションの実裝、FAQの殘りのセクションを続行します。元の記事の構(gòu)造とコンテンツをフォローし、元の意味を維持しながら、フローと透明度を改善するために言葉遣いと文の構(gòu)造を適応させます。）

以上がHuggingface smollmであなたの個人的なAIアシスタントを構(gòu)築する方法の詳細內(nèi)容です。詳細については、PHP 中國語 Web サイトの他の関連記事を參照してください。