Openaiの最新の言語(yǔ)モデルであるGPT-3.5 Turboは、大規(guī)模な言語(yǔ)モデル機(jī)能における大きな飛躍を表しています。 GPT-3ファミリーのモデルに基づいて構(gòu)築されたGPT-3.5ターボは、以前のバージョンよりも手頃でアクセスしやすい一方で、非常に人間のようなテキストを生成できます。ただし、GPT-3.5ターボの真の力は、微調(diào)整と呼ばれるプロセスを通じてカスタマイズされる能力にあります。

微調(diào)整により、開発者は獨(dú)自のデータを持ち込み、モデルを特定のユースケースに適応させ、特殊なタスクのパフォーマンスを大幅に向上させることができます。微調(diào)整により、GPT-3.5ターボは、特定の狹いアプリケーションでGPT-4を一致または超えています。 この新しいレベルのカスタマイズは、企業(yè)や開発者がGPT-3.5ターボを展開して、テーラードで高性能なAIアプリケーションを作成する可能性を解き放ちます。 GPT-3.5ターボとさらに強(qiáng)力なGPT-4が今年後半に微調(diào)整できるようになると、私たちは応用AIの新しい時(shí)代のカスプに立っています。

なぜ言語(yǔ)モデルを微調(diào)整するのですか？

微調(diào)整は、GPT-3.5ターボのような大規(guī)模な言語(yǔ)モデルを最大限に活用するための重要なテクニックになりました。たとえば、微調(diào)整GPT-3に関する個(gè)別のガイドがあります。

事前に訓(xùn)練されたモデルは、箱から出して非常に人間のようなテキストを生成できますが、それらの真の機(jī)能は微調(diào)整によりロック解除されます。このプロセスにより、開発者はモデルをドメイン固有のデータでトレーニングしてモデルをカスタマイズし、汎用トレーニングが達(dá)成できるものを超えて専門的なユースケースに適合させることができます。微調(diào)整は、ニッチアプリケーションのモデルの関連性、正確性、パフォーマンスを向上させます。 特定のユースケースのカスタマイズ

微調(diào)整により、開発者はモデルをカスタマイズして、特定の要件とドメインに対応し、ユニークで差別化されたエクスペリエンスを作成できます。ドメイン固有のデータでモデルをトレーニングすることにより、そのニッチのより関連性の高い正確な出力を生成できます。このレベルのカスタマイズにより、企業(yè)はカスタマイズされたAIアプリケーションを構(gòu)築できます。

操縦性と信頼性が向上しました

微調(diào)整は、命令に従い、信頼できる一貫した出力フォーマットを生成するモデルの能力を向上させます。フォーマットされたデータに関するトレーニングを通じて、モデルは望ましい構(gòu)造とスタイルを?qū)W習(xí)し、操縦性を向上させます。これにより、より予測(cè)可能で制御可能な出力が得られます

パフォーマンスの強(qiáng)化

微調(diào)整は、モデルのパフォーマンスを大幅に向上させることができ、微調(diào)整されたGPT-3.5ターボが特定の特殊なタスクでGPT-4機(jī)能に合わせたり、それを超えることもできます。狹いドメインのモデルを最適化することにより、ジェネラリストモデルと比較して、そのニッチ問(wèn)題空間で優(yōu)れた結(jié)果を達(dá)成します。微調(diào)整からのパフォーマンスリフトはかなりのものです。

12 GPT-4オープンソースの代替案に関するガイドをチェックしてください。これは、同様のパフォーマンスを提供し、実行するために必要な計(jì)算リソースが少ないツールの一部を調(diào)査します。

微調(diào)整GPT 3.5ターボ

の影響 Openaiが実施したベータテストでは、モデルを微調(diào)整した顧客は、さまざまな標(biāo)準(zhǔn)アプリケーションのパフォーマンスで顕著な機(jī)能強(qiáng)化を経験したことを観察しました。ここにいくつかの重要なテイクアウトがあります：

1。向上性の向上

微調(diào)整を通じて、企業(yè)は特定のガイドラインを順守するようにモデルをよりよく導(dǎo)くことができます。たとえば、企業(yè)が簡(jiǎn)潔な応答を望んでいるか、特定の言語(yǔ)で常に返信するためにモデルが必要な場(chǎng)合、微調(diào)整はそれを達(dá)成するのに役立ちます。典型的な例は、開発者がモデルを調(diào)整して、要求されるたびにドイツ語(yǔ)で一貫して返信できることです。

2。一貫した応答構(gòu)造化

微調(diào)整の傑出した利點(diǎn)の1つは、モデルの出力をより均一にする能力です。これは、コード提案やAPI相互作用の生成など、特定の応答構(gòu)造を必要とするタスクにとって特に価値があります。たとえば、微調(diào)整により、開発者はモデルを信頼して、ユーザークエリをシステムと互換性のある高品質(zhì)のJSON形式に変換できます。

3。パーソナライズされたトーン

微調(diào)整を使用して、モデルの応答を企業(yè)のユニークな音聲やスタイルとより密接に合わせることができます。明確なブランドの聲を持つ企業(yè)は、この機(jī)能を活用して、モデルのトーンがブランドの本質(zhì)に一致するようにすることができます。 微調(diào)整の前提條件

微調(diào)整により、獨(dú)自のデータでトレーニングプロセスを継続することにより、GPT-3.5ターボなどの事前に訓(xùn)練された言語(yǔ)モデルをカスタマイズできます。これにより、モデルが特定のユースケースに適応し、パフォーマンスが大幅に向上します。

微調(diào)整を開始するには、最初にOpenAI APIにアクセスする必要があります。 OpenAI Webサイトでサインアップした後、APIとモデルと対話できるAPIキーを取得できます。

次に、微調(diào)整のためにデータセットを準(zhǔn)備する必要があります。これには、テキストプロンプトの例と望ましいモデル応答の例をキュレーションすることが含まれます。データは、アプリケーションがモデルを使用する形式と一致する必要があります。データを必要なJSONL構(gòu)造にクリーニングしてフォーマットすることも重要です。

Openai CLIは、トレーニングデータを検証および前処理するための便利なツールを提供します。

検証されたら、データをOpenaiサーバーにアップロードできます。

最後に、APIを介して微調(diào)整されたジョブを開始し、ベースGPT-3.5

を選択します

ターボモデルとトレーニングデータファイルの渡し。データサイズに応じて、微調(diào)整プロセスには數(shù)時(shí)間または數(shù)日かかる場(chǎng)合があります。 APIを介してトレーニングの進(jìn)捗狀況を監(jiān)視できます

Openai GPT 3.5ターボモデルを微調(diào)整する方法：ステップバイステップガイド

Openaiは最近、微調(diào)整言語(yǔ)モデル向けのUIインターフェイスをリリースしました。このチュートリアルでは、OpenAI UIを使用して微調(diào)整されたGPTモデルを作成します。この部分に沿って従うには、Openaiアカウントとキーが必要です。

1。 platform.openai.comにログイン

2。データを準(zhǔn)備

デモンストレーションのために、質(zhì)問(wèn)の回答の小さなデータセットをキュレーションしました?，F(xiàn)在、Pandas DataFrameとして保存されています。

私がやったことを示すために、私は50の機(jī)械學(xué)習(xí)の質(zhì)問(wèn)と彼らの答えをシェークスピアスタイルで作成しました。この微調(diào)整の仕事を通して、私はGPT3.5ターボモデルのスタイルとトーンをパーソナライズしています。

それは非常に実用的なユースケースではありませんが、プロンプトに「シェークスピアスタイルの回答」を追加するだけなので、GPT3.5はシェークスピアを確かに認(rèn)識(shí)しており、必要なトーンで答えを生成します。 Openaiの場(chǎng)合、データはJSONL形式でなければなりません。 JSONLは、各行がNewlinesで區(qū)切られた有効なJSONオブジェクトである形式です。 pd.dataframeをjsonlに変換する簡(jiǎn)単なコードを書きました。

これは私のjsonlファイルがどのように見えるかです：

import json
import pandas as pd

DEFAULT_SYSTEM_PROMPT = 'You are a teaching assistant for Machine Learning. You should help the user to answer his question.'

def create_dataset(question, answer):
    return {
        "messages": [
            {"role": "system", "content": DEFAULT_SYSTEM_PROMPT},
            {"role": "user", "content": question},
            {"role": "assistant", "content": answer},
        ]
    }

if __name__ == "__main__":
    df = pd.read_csv("path/to/file.csv", encoding='cp1252')
    with open("train.jsonl", "w") as f:
        for _, row in df.iterrows():
            example_str = json.dumps(create_dataset(row["Question"], row["Answer"]))
            f.write(example_str + "\n")

3。微調(diào)整ジョブを作成します

Platform.openai.comに向かい、トップメニューの微調(diào)整に移動(dòng)し、[新しい]をクリックします。

ベースモデルを選択します?，F(xiàn)在のところ、微調(diào)整に利用できるモデルは3つだけです（Babbage-002、Davinci-002、GPT-3.5-Turbo-0613）。

次に、JSONLファイルをアップロードして、ジョブの名前を付けて、[作成]をクリックします。

データセットのサイズに応じて、チューニングジョブには數(shù)時(shí)間または數(shù)日かかる場(chǎng)合があります。私の例では、データセットには5,500トークンしかありませんでしたが、微調(diào)整には6時(shí)間以上かかりました。このジョブのコストは取るに足らないものでした（＆lt; $ 1 = 5,500/1000 x $ 0.08）。

このチュートリアルは、UIを使用してGPTモデルを微調(diào)整する方法を示しています。 APIを使用して同じことを達(dá)成する方法を?qū)Wびたい場(chǎng)合は、DatacampでZoumana KeitaによるOpenAI APIおよびPythonチュートリアルを使用してGPT-3を微調(diào)整してください。 4。微調(diào)整されたモデルを使用

チューニングジョブが完了したら、APIを介して微調(diào)整されたモデルを使用するか、Platform.openai.comで利用可能な遊び場(chǎng)を使用できるようになりました。

モデルのドロップダウンでは、選択できる個(gè)人的な3.5ターボがあります。試してみましょう。

応答のトーンとスタイルに注意してください。

Openai Pythonパッケージで作業(yè)する方法を?qū)Wびたい場(chǎng)合は、プログラムでChatGPTと會(huì)話をします。DatacampのPythonブログのOpenai APIを介してGPT-3.5とGPT-4を使用してチェックしてください。

安全性とプライバシー

OpenAIは安全性を真剣に受け止め、テスト、専門家のフィードバック、モデルの動(dòng)作、監(jiān)視システムを改善するための技術(shù)などの新しいモデルをリリースする前に、厳密なプロセスを持っています。彼らは強(qiáng)力なAIシステムを有益にし、予見可能なリスクを最小限に抑えることを目指しています。

微調(diào)整により、重要な安全機(jī)能を維持しながら、GPT-3.5ターボなどのモデルをカスタマイズできます。 OpenAIは、リスクを軽減し、モデルを調(diào)整するために、測(cè)定、モデルの変更、ポリシー、監(jiān)視 - 複數(shù)のレベルで介入を適用します。

Openaiは、実現(xiàn)可能なトレーニングデータから個(gè)人情報(bào)を削除し、個(gè)人の情報(bào)でコンテンツを生成することに対してポリシーを持っています。これにより、プライバシーのリスクが最小限に抑えられます

機(jī)密データのない一般的なユースケースの場(chǎng)合、OpenAIモデルを安全に活用できます。しかし、獨(dú)自のデータまたは規(guī)制されたデータの場(chǎng)合、データの難読化、プライベートAIプロセッサ、または社內(nèi)モデルなどのオプションが望ましい場(chǎng)合があります。

微調(diào)整GPT 3.5-Turbo

のコスト

微調(diào)整と微調(diào)整されたGPT 3.5ターボモデルの使用に関連する3つのコストがあります。

データの準(zhǔn)備のトレーニング。

これには、特定のユースケースに合わせたテキストプロンプトと望ましい応答のデータセットをキュレーションすることが含まれます。コストは、データの調(diào)達(dá)とフォーマットに必要な時(shí)間と労力に依存します。

初期トレーニングコスト。
1. これは、トレーニングデータのトークンごとに請(qǐng)求されます。 1,000トークンあたり0.008ドルで、100,000トークンのトレーニングセットは、最初の微調(diào)整に800ドルかかります。 継続的な使用コスト。
これらは、入力プロンプトとモデル出力の両方に対してトークンごとに充電されます。入力トークン1,000あたり0.012ドル、出力トークン1,000あたり0.016ドルで、アプリケーションの使用量に応じてコストが迅速に増加する可能性があります。
2. 使用コストシナリオの例を見てみましょう：
4,000トークンのプロンプト/応答、1日あたり1,000個(gè)の相互作用を備えたチャットボット：
3. （4,000/1000）入力トークンx $ 0.012 x 1,000インタラクション= 1日あたり48ドル（4,000/1000）
2,000トークン入力を備えたテキスト要約API、1日あたり500リクエスト：

（2,000/1000）入力トークンx $ 0.012 x 500リクエスト= 1日あたり12ドル

（2,000/1000）トークンx $ 0.016 x 500リクエスト= 1日あたり16ドル

注：トークンは、1Kトークンごとにopenai価格設(shè)定が引用されているため、1000で割った。
• 実際のエンドツーエンドデータサイエンスプロジェクトでChatGPTを使用する方法を?qū)Wびます。データサイエンスプロジェクトにChatGptを使用するためのガイドをご覧ください。プロジェクト計(jì)畫、データ分析、データの前処理、モデル選択、ハイパーパラメーターチューニング、Webアプリの開発、スペースに展開するためにChatGPTを使用する方法を?qū)W習(xí)します。

  結(jié)論

  大規(guī)模な言語(yǔ)モデル機(jī)能のフロンティアを掘り下げると、GPT-3.5ターボは、その人間のようなテキスト生成だけでなく、微調(diào)整によってロックされている変革の可能性についても際立っています。このカスタマイズプロセスにより、開発者はニッチなアプリケーションに合わせてモデルの腕前を磨くことができます。

  直接性、応答構(gòu)造、およびトーンパーソナライズの強(qiáng)化は、異なる要件に合わせて微調(diào)整されたアプリケーションで明らかです。しかし、大きな力には大きな責(zé)任があります。生成AIおよび言語(yǔ)モデルを?qū)g裝する際には、関連するコストを理解し、安全性とプライバシーの考慮事項(xiàng)に留意することが重要です。

  データサイエンスのChatGPTチートシートを使用して、データサイエンスタスクの60のChatGPTプロンプトへのアクセスを取得します。

以上がGPT 3.5を微調(diào)整する方法：AI＆＃x27;の最大のロックを解除するの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語(yǔ) Web サイトの他の関連記事を參照してください。