：對於圖像生成任務(wù)，Janus Pro使用Lamagen令牌以16的下降速率下降速度來生成更詳細的圖像。

2。統(tǒng)一變壓器體系結(jié)構(gòu)

>共享的變壓器主鍊是underfortext和圖像特徵融合。將原始輸入轉(zhuǎn)換為功能的獨立編碼方法由統(tǒng)一自動回歸變壓器處理。

。

3。優(yōu)化的培訓(xùn)策略

在以前的Janus培訓(xùn)中，該模型進行了三階段的訓(xùn)練過程。第一階段的重點是訓(xùn)練適配器和圖像頭。第二階段處理的統(tǒng)一預(yù)處理，在此期間，除了理解編碼器和生成編碼器以外的所有組件都具有其參數(shù)更新。第三階段涵蓋了受監(jiān)督的微調(diào)，在第二階段通過進一步解鎖培訓(xùn)期間的理解編碼參數(shù)。

在Janus Pro中得到了改進：

通過增加I階段I的訓(xùn)練步驟，可以在Imagenet數(shù)據(jù)集上進行足夠的培訓(xùn)。
此外，在第二階段，對於文本到圖像生成培訓(xùn)，將圖像數(shù)據(jù)完全刪除。取而代之的是，正常的文本到圖像數(shù)據(jù)被用來訓(xùn)練模型以基於密集的描述生成圖像。發(fā)現(xiàn)這可以提高訓(xùn)練效率和整體表現(xiàn)。
現(xiàn)在，讓我們使用DeepSeek Janus Pro構(gòu)建多模式抹布： 帶有DeepSeek Janus Pro 1b模型的多模式抹布
• 在以下步驟中，我們將構(gòu)建一個多模式的抹布系統(tǒng)，以根據(jù)DeepSeek Janus Pro 1b模型查詢圖像。
>步驟1。安裝必要的庫
>步驟2。保存圖像嵌入的模型
Byaldi提供了一個易於使用的框架，用於設(shè)置多模式抹布系統(tǒng)。從上面的代碼中可以看出，我們加載colqwen2，該模型旨在使用視覺功能進行有效的文檔索引。
步驟3。加載圖像PDF

!pip install byaldi ollama pdf2image
!sudo apt-get install -y poppler-utils
!git clone https://github.com/deepseek-ai/Janus.git
!pip install -e ./Janus

>

import os
from pathlib import Path
from byaldi import RAGMultiModalModel
import ollama
# Initialize RAGMultiModalModel
model1 = RAGMultiModalModel.from_pretrained("vidore/colqwen2-v0.1")

根據(jù)查詢，從PDF頁面中的頁面中的相關(guān)頁面被檢索並保存為output_image.png。

步驟5。加載Janus Pro模型

!pip install byaldi ollama pdf2image
!sudo apt-get install -y poppler-utils
!git clone https://github.com/deepseek-ai/Janus.git
!pip install -e ./Janus

• > vlchatprocessor.from_pretrated（“ deepseek-ai/janus-pro-1b”）加載用於處理多模式輸入（圖像和文本）的預(yù)處理的處理器。該處理器將為模型處理並準備輸入數(shù)據(jù)（例如文本和圖像）。
從vlchatprocessor提取令牌。它將對文本輸入進行示意，將文本轉(zhuǎn)換為適合模型的格式。 >
• > automodelforcausallm.from_pretaining（“ deepseek-ai/janus-pro-1b”）
• >加載預(yù)先訓(xùn)練的Janus Pro模型，專門用於因果語言建模。 > >也設(shè)置了一個多模式對話格式
在用戶輸入文本和圖像的位置。
• 。 > load_pil_images（對話）是一個函數(shù)，它可能會加載對話對像中列出的圖像並將它們轉(zhuǎn)換為pil映像格式，該函數(shù)通常用於python中的圖像處理。
>
• 處理器以下是多模式處理器的實例（來自deepseek janus pro模型的
vlchatprocessor
• ），將文本數(shù)據(jù)和圖像數(shù)據(jù)同時作為輸入。 preeg_inputs_embeds（inputs）是一種採用處理後的輸入（輸入包含文本和圖像）的方法，並準備模型生成響應(yīng)所需的嵌入。
步驟6。輸出生成
• >代碼使用準備好的輸入嵌入（文本和圖像）從DeepSeek Janus Pro 1b模型中生成響應(yīng)。它使用多種配置設(shè)置，例如填充，啟動/結(jié)束令牌，最大令牌長度以及是否使用緩存和採樣。生成響應(yīng)後，它使用令牌器將令牌ID解碼為可讀的文本。解碼的輸出存儲在答案變量中。
>

>

import os
from pathlib import Path
from byaldi import RAGMultiModalModel
import ollama
# Initialize RAGMultiModalModel
model1 = RAGMultiModalModel.from_pretrained("vidore/colqwen2-v0.1")

的輸出

“法國的收入是多少？

即使Thecolqwen2檢索器檢索了相關(guān)頁面，DeepSeek Janus Pro 1b模型也無法從頁面中產(chǎn)生準確的答案，

>另一個查詢的輸出

“”自FY20開始以來的促銷數(shù)量是多少？

結(jié)論

鑰匙要點

帶有雙途徑的多模式AI

：Janus pro 1b使用單獨的編碼來集成文本和圖像處理，用於圖像理解（Siglip）和圖像生成（Llamagen），增強了特定於任務(wù)的性能。
1. 脫鉤體系結(jié)構(gòu)：
模型將視覺編碼分開為不同的途徑，從而為圖像理解和生成提供了獨立的優(yōu)化，從而最大程度地減少了處理任務(wù)中的衝突。
2. > >統(tǒng)一變壓器骨幹
：共享的變壓器架構(gòu)合併了文本和圖像的功能，簡化了多模式數(shù)據(jù)融合以提高AI性能。
3. 改進的培訓(xùn)策略：>
>開源可訪問性：
4. Janus Pro 1b在MIT許可下可在GitHub上獲得，鼓勵在各種AI驅(qū)動的應(yīng)用程序中廣泛使用和適應(yīng)。
>本文所示的媒體不歸Analytics Vidhya擁有，並由作者的酌情決定使用。
5. 常見問題 > Q1。什麼是deepseek janus pro 1b？

ans，什麼樣的應(yīng)用程序可以受益。 Janus Pro 1b對於涉及文本到圖像生成，圖像理解和多模式AI應(yīng)用程序的任務(wù)特別有用，這些應(yīng)用程序需要圖像和文本處理功能

ans）進行比較。根據(jù)DeepSeek的說法，Janus-Pro-7b在基準（例如Geneval和DPG基礎(chǔ)）的基準中優(yōu)於DALL-E 3。 Janus-Pro將理解/生成分開，縮放數(shù)據(jù)/模型以生成穩(wěn)定的圖像，並保持統(tǒng)一，靈活和具有成本效益的結(jié)構(gòu)。儘管這兩種模型都執(zhí)行文本形像生成，但Janus-Pro還提供圖像字幕，DALL-E 3不。