：對(duì)于圖像生成任務(wù)，Janus Pro使用Lamagen令牌以16的下降速率下降速度來生成更詳細(xì)的圖像。

2。統(tǒng)一變壓器體系結(jié)構(gòu)

>共享的變壓器主鏈?zhǔn)莡nderfortext和圖像特征融合。將原始輸入轉(zhuǎn)換為功能的獨(dú)立編碼方法由統(tǒng)一自動(dòng)回歸變壓器處理。

。

3。優(yōu)化的培訓(xùn)策略

在以前的Janus培訓(xùn)中，該模型進(jìn)行了三階段的訓(xùn)練過程。第一階段的重點(diǎn)是訓(xùn)練適配器和圖像頭。第二階段處理的統(tǒng)一預(yù)處理，在此期間，除了理解編碼器和生成編碼器以外的所有組件都具有其參數(shù)更新。第三階段涵蓋了受監(jiān)督的微調(diào)，在第二階段通過進(jìn)一步解鎖培訓(xùn)期間的理解編碼參數(shù)。

在Janus Pro中得到了改進(jìn)：

通過增加I階段I的訓(xùn)練步驟，可以在Imagenet數(shù)據(jù)集上進(jìn)行足夠的培訓(xùn)。
此外，在第二階段，對(duì)于文本到圖像生成培訓(xùn)，將圖像數(shù)據(jù)完全刪除。取而代之的是，正常的文本到圖像數(shù)據(jù)被用來訓(xùn)練模型以基于密集的描述生成圖像。發(fā)現(xiàn)這可以提高訓(xùn)練效率和整體表現(xiàn)。
現(xiàn)在，讓我們使用DeepSeek Janus Pro構(gòu)建多模式抹布： 帶有DeepSeek Janus Pro 1b模型的多模式抹布
• 在以下步驟中，我們將構(gòu)建一個(gè)多模式的抹布系統(tǒng)，以根據(jù)DeepSeek Janus Pro 1b模型查詢圖像。
>步驟1。安裝必要的庫
>步驟2。保存圖像嵌入的模型
Byaldi提供了一個(gè)易于使用的框架，用于設(shè)置多模式抹布系統(tǒng)。從上面的代碼中可以看出，我們加載colqwen2，該模型旨在使用視覺功能進(jìn)行有效的文檔索引。
步驟3。加載圖像PDF

!pip install byaldi ollama pdf2image
!sudo apt-get install -y poppler-utils
!git clone https://github.com/deepseek-ai/Janus.git
!pip install -e ./Janus

>

import os
from pathlib import Path
from byaldi import RAGMultiModalModel
import ollama
# Initialize RAGMultiModalModel
model1 = RAGMultiModalModel.from_pretrained("vidore/colqwen2-v0.1")

根據(jù)查詢，從PDF頁面中的頁面中的相關(guān)頁面被檢索并保存為output_image.png。

步驟5。加載Janus Pro模型

!pip install byaldi ollama pdf2image
!sudo apt-get install -y poppler-utils
!git clone https://github.com/deepseek-ai/Janus.git
!pip install -e ./Janus

• > vlchatprocessor.from_pretrated（“ deepseek-ai/janus-pro-1b”）加載用于處理多模式輸入（圖像和文本）的預(yù)處理的處理器。該處理器將為模型處理并準(zhǔn)備輸入數(shù)據(jù)（例如文本和圖像）。
從vlchatprocessor提取令牌。它將對(duì)文本輸入進(jìn)行示意，將文本轉(zhuǎn)換為適合模型的格式。>
• > automodelforcausallm.from_pretaining（“ deepseek-ai/janus-pro-1b”）
• >加載預(yù)先訓(xùn)練的Janus Pro模型，專門用于因果語言建模。> >也設(shè)置了一個(gè)多模式對(duì)話格式
在用戶輸入文本和圖像的位置。
• 。 > load_pil_images（對(duì)話）是一個(gè)函數(shù)，它可能會(huì)加載對(duì)話對(duì)象中列出的圖像并將它們轉(zhuǎn)換為pil映像格式，該函數(shù)通常用于python中的圖像處理。
>
• 處理器以下是多模式處理器的實(shí)例（來自deepseek janus pro模型的
vlchatprocessor
• ），將文本數(shù)據(jù)和圖像數(shù)據(jù)同時(shí)作為輸入。 preeg_inputs_embeds（inputs）是一種采用處理后的輸入（輸入包含文本和圖像）的方法，并準(zhǔn)備模型生成響應(yīng)所需的嵌入。
步驟6。輸出生成
• >代碼使用準(zhǔn)備好的輸入嵌入（文本和圖像）從DeepSeek Janus Pro 1b模型中生成響應(yīng)。它使用多種配置設(shè)置，例如填充，啟動(dòng)/結(jié)束令牌，最大令牌長(zhǎng)度以及是否使用緩存和采樣。生成響應(yīng)后，它使用令牌器將令牌ID解碼為可讀的文本。解碼的輸出存儲(chǔ)在答案變量中。
>

>

import os
from pathlib import Path
from byaldi import RAGMultiModalModel
import ollama
# Initialize RAGMultiModalModel
model1 = RAGMultiModalModel.from_pretrained("vidore/colqwen2-v0.1")

的輸出

“法國(guó)的收入是多少？

即使Thecolqwen2檢索器檢索了相關(guān)頁面，DeepSeek Janus Pro 1b模型也無法從頁面中產(chǎn)生準(zhǔn)確的答案，

>另一個(gè)查詢的輸出

“”自FY20開始以來的促銷數(shù)量是多少？

結(jié)論

鑰匙要點(diǎn)

帶有雙途徑的多模式AI

：Janus pro 1b使用單獨(dú)的編碼來集成文本和圖像處理，用于圖像理解（Siglip）和圖像生成（Llamagen），增強(qiáng)了特定于任務(wù)的性能。
1. 脫鉤體系結(jié)構(gòu)：
模型將視覺編碼分開為不同的途徑，從而為圖像理解和生成提供了獨(dú)立的優(yōu)化，從而最大程度地減少了處理任務(wù)中的沖突。
2. > >統(tǒng)一變壓器骨干
：共享的變壓器架構(gòu)合并了文本和圖像的功能，簡(jiǎn)化了多模式數(shù)據(jù)融合以提高AI性能。
3. 改進(jìn)的培訓(xùn)策略：>
>開源可訪問性：
4. Janus Pro 1b在MIT許可下可在GitHub上獲得，鼓勵(lì)在各種AI驅(qū)動(dòng)的應(yīng)用程序中廣泛使用和適應(yīng)。
>本文所示的媒體不歸Analytics Vidhya擁有，并由作者的酌情決定使用。
5. 常見問題 > Q1。什么是deepseek janus pro 1b？

ans，什么樣的應(yīng)用程序可以受益。 Janus Pro 1b對(duì)于涉及文本到圖像生成，圖像理解和多模式AI應(yīng)用程序的任務(wù)特別有用，這些應(yīng)用程序需要圖像和文本處理功能

ans）進(jìn)行比較。根據(jù)DeepSeek的說法，Janus-Pro-7b在基準(zhǔn)（例如Geneval和DPG基礎(chǔ)）的基準(zhǔn)中優(yōu)于DALL-E 3。 Janus-Pro將理解/生成分開，縮放數(shù)據(jù)/模型以生成穩(wěn)定的圖像，并保持統(tǒng)一，靈活和具有成本效益的結(jié)構(gòu)。盡管這兩種模型都執(zhí)行文本形象生成，但Janus-Pro還提供圖像字幕，DALL-E 3不。