人工智能如今無處不在，而語言模型是其中的重要組成部分。當(dāng) ChatGPT 推出時，您可能想知道人工智能如何預(yù)測句子中的下一個單詞，甚至寫出整個段落。在本教程中，我們將構(gòu)建一個超級簡單的語言模型，而不依賴于 TensorFlow 或 PyTorch 等花哨的框架 - 只需簡單的 Python 和 NumPy。

在開始教程之前，讓我解釋一下什么是大語言模型（LLM）。

• LLM 是經(jīng)過大量文本數(shù)據(jù)訓(xùn)練來理解和生成人類語言的人工智能模型。
• 這些法學(xué)碩士能夠完成回答問題、撰寫論文甚至進(jìn)行對話等任務(wù)。本質(zhì)上，法學(xué)碩士根據(jù)前面出現(xiàn)的單詞來預(yù)測序列中的下一個單詞。

在本教程中，我們將創(chuàng)建一個更簡單的版本 - 二元模型 -

聽起來很酷嗎？讓我們開始吧??？

我們正在建設(shè)什么：

我們將創(chuàng)建一個二元模型，它將讓您了解語言模型如何工作的基本概念。它根據(jù)當(dāng)前單詞預(yù)測句子中的下一個單詞。我們將保持簡單易懂，這樣您就可以了解事情是如何運(yùn)作的，而不會陷入太多細(xì)節(jié)。??

---

第 1 步：設(shè)置

在開始之前，讓我們確保您已準(zhǔn)備好 Python 和 NumPy。如果您尚未安裝 NumPy，請使用以下命令快速安裝：

pip install numpy

第 2 步：了解基礎(chǔ)知識

語言模型預(yù)測句子中的下一個單詞。我們將讓事情變得簡單并構(gòu)建一個二元模型。這僅意味著我們的模型將僅使用當(dāng)前單詞來預(yù)測下一個單詞。

我們將從一段簡短的文本開始來訓(xùn)練模型。這是我們將使用的一個小樣本：

import numpy as np

# Sample dataset: A small text corpus
corpus = """Artificial Intelligence is the new electricity.
Machine learning is the future of AI.
AI is transforming industries and shaping the future."""

第三步：準(zhǔn)備文本

首先，我們需要將此文本分解為單獨的單詞并創(chuàng)建一個詞匯表（基本上是所有獨特單詞的列表）。這給了我們一些可以利用的東西。

# Tokenize the corpus into words
words = corpus.lower().split()

# Create a vocabulary of unique words
vocab = list(set(words))
vocab_size = len(vocab)

print(f"Vocabulary: {vocab}")
print(f"Vocabulary size: {vocab_size}")

在這里，我們將文本轉(zhuǎn)換為小寫并將其拆分為單詞。之后，我們創(chuàng)建一個獨特單詞列表作為我們的詞匯表。

第 4 步：將單詞映射到數(shù)字

計算機(jī)處理的是數(shù)字，而不是文字。因此，我們將每個單詞映射到一個索引，并創(chuàng)建一個反向映射（這將有助于我們稍后將它們轉(zhuǎn)換回單詞）。

word_to_idx = {word: idx for idx, word in enumerate(vocab)}
idx_to_word = {idx: word for word, idx in word_to_idx.items()}

# Convert the words in the corpus to indices
corpus_indices = [word_to_idx[word] for word in words]

基本上，我們只是將單詞轉(zhuǎn)換為我們的模型可以理解的數(shù)字。每個單詞都有自己的編號，比如“AI”可能會變成 0，“l(fā)earning”可能會變成 1，具體取決于順序。

第 5 步：構(gòu)建模型

現(xiàn)在，讓我們進(jìn)入核心：構(gòu)建二元模型。我們想要計算出一個單詞出現(xiàn)在另一個單詞之后的概率。為此，我們將計算每個單詞對（二元組）在數(shù)據(jù)集中出現(xiàn)的頻率。

pip install numpy

這是發(fā)生的事情：

我們正在計算每個單詞跟隨另一個單詞的頻率（即二元組）。
然后，我們通過標(biāo)準(zhǔn)化將這些計數(shù)轉(zhuǎn)化為概率。
簡單來說，這意味著如果“AI”后面經(jīng)常跟“is”，那么該對的概率會更高。

第 6 步：預(yù)測下一個單詞

現(xiàn)在讓我們測試我們的模型，讓它根據(jù)任何給定的單詞預(yù)測下一個單詞。我們通過從下一個單詞的概率分布中采樣來做到這一點。

import numpy as np

# Sample dataset: A small text corpus
corpus = """Artificial Intelligence is the new electricity.
Machine learning is the future of AI.
AI is transforming industries and shaping the future."""

該函數(shù)接受一個單詞，查找其概率，并根據(jù)這些概率隨機(jī)選擇下一個單詞。如果您傳入“AI”，模型可能會預(yù)測類似“is”的內(nèi)容作為下一個單詞。

第 7 步：生成一個句子

最后，讓我們生成一個完整的句子！我們將從一個單詞開始，并不斷預(yù)測下一個單詞幾次。

# Tokenize the corpus into words
words = corpus.lower().split()

# Create a vocabulary of unique words
vocab = list(set(words))
vocab_size = len(vocab)

print(f"Vocabulary: {vocab}")
print(f"Vocabulary size: {vocab_size}")

該函數(shù)采用一個初始單詞并預(yù)測下一個單詞，然后使用該單詞來預(yù)測下一個單詞，依此類推。不知不覺中，你已經(jīng)得到了一個完整的句子！

總結(jié)

現(xiàn)在你已經(jīng)有了它——一個僅使用 Python 和 NumPy 從頭開始??構(gòu)建的簡單二元語言模型。我們沒有使用任何花哨的庫，現(xiàn)在您已經(jīng)對人工智能如何預(yù)測文本有了基本的了解。您可以使用此代碼，為其提供不同的文本，甚至使用更高級的模型來擴(kuò)展它。

嘗試一下，然后告訴我效果如何?？鞓肪幋a！

以上是構(gòu)建您自己的語言模型：Python 和 NumPy 的簡單指南的詳細(xì)內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！