簡(jiǎn)介

提示VLMS
零射擊提示
幾次提示
思想鏈提示
>對(duì)象檢測(cè)引導(dǎo)提示
結(jié)論
參考
8. 介紹：

VLM在LLM上構(gòu)建，將視覺(jué)處理作為額外的模式。 訓(xùn)練通常涉及在共享矢量空間內(nèi)對(duì)齊圖像和文本表示，通常使用交叉注意機(jī)制[1，2，3，4]。這允許方便基於文本的互動(dòng)和圖像查詢。 VLM在彌合文本數(shù)據(jù)和視覺(jué)數(shù)據(jù)之間的差距，處理超出文本模型範(fàn)圍之外的任務(wù)之間的差距。 要更深入地了解VLM架構(gòu)，請(qǐng)參閱Sebastian Raschka關(guān)於多模式LLM的文章。

提示VLMS：

，VLMS利用各種提示技術(shù)，通過(guò)包含圖像來(lái)增強(qiáng)。這篇文章涵蓋了零射，很少射擊和經(jīng)過(guò)思考的提示，以及對(duì)象檢測(cè)集成。 實(shí)驗(yàn)使用OpenAI的GPT-4O-Mini VLM。

所使用的數(shù)據(jù)：

>使用了五個(gè)允許的許可圖像來(lái)自Unsplash [省略的鏈接]，並帶有從圖像URL派生的字幕。

零射擊提示：

零射擊提示涉及僅提供任務(wù)描述和圖像。 VLM僅依靠此描述來(lái)生成輸出。 這代表了最小的信息方法。 好處是，精心製作的提示可以在沒(méi)有大量培訓(xùn)數(shù)據(jù)的情況下產(chǎn)生體面的結(jié)果，這與需要大量圖像分類或字幕的大型數(shù)據(jù)集不同。 > OpenAI支持基本64編碼的圖像URL [2]。請(qǐng)求結(jié)構(gòu)類似於llm提示，但包括一個(gè)base64編碼圖像：

{
  "role": "system",
  "content": "You are a helpful assistant that can analyze images and provide captions."
},
{
  "role": "user",
  "content": [
    {
      "type": "text",
      "text": "Please analyze the following image:"
    },
    {
      "type": "image_url",
      "image_url": {
        "url": "data:image/jpeg;base64,{base64_image}",
        "detail": "detail"
      }
    }
  ]
}