Tutorial Komuniti DataCamp ini, disunting untuk kejelasan dan ketepatan, meneroka model asas teks imej, yang memberi tumpuan kepada model Captioner Contressve Inovatif (COCA). Coca secara unik menggabungkan objektif pembelajaran yang kontras dan generatif, mengintegrasikan kekuatan model seperti klip dan simvlm menjadi seni bina tunggal.

Model Yayasan: menyelam dalam

Model asas, yang terlatih pada dataset besar-besaran, boleh disesuaikan untuk pelbagai tugas hiliran. Walaupun NLP telah melihat lonjakan model asas (GPT, Bert), model penglihatan dan penglihatan masih berkembang. Penyelidikan telah meneroka tiga pendekatan utama: model penyenaraian tunggal, dwi-pengoder teks imej dengan kehilangan kontras, dan model pengekodkan pengekod dengan objektif generatif. Setiap pendekatan mempunyai batasan.

Istilah utama:

• Model Yayasan: Model pra-terlatih yang boleh disesuaikan untuk pelbagai aplikasi.
• kehilangan kontras: fungsi kerugian membandingkan pasangan input yang serupa dan berbeza.
• Interaksi Cross-Modal: Interaksi antara jenis data yang berbeza (mis., Imej dan teks).
• arsitektur pengekod-decoder: input pemprosesan rangkaian saraf dan menghasilkan output.
• pembelajaran sifar-shot: meramalkan pada kelas data yang tidak kelihatan.
• klip: model pra-training bahasa yang kontras.
• simvlm: model bahasa visual yang mudah. ??

perbandingan model:

• Model encoder tunggal: Excel pada tugas-tugas penglihatan tetapi berjuang dengan tugas-tugas bahasa penglihatan kerana pergantungan pada anotasi manusia.
• model dual-encoder-teks imej (klip, menyelaraskan): sangat baik untuk klasifikasi sifar-tembakan dan pengambilan imej, tetapi terhad dalam tugas yang memerlukan perwakilan teks imej yang bersatu (mis., Jawab soalan visual).
Model Generatif (SIMVLM):
• Gunakan interaksi silang modal untuk perwakilan teks imej bersama, sesuai untuk vqa dan imej imej.

coca: merapatkan jurang

Coca bertujuan menyatukan kekuatan pendekatan yang kontras dan generatif. Ia menggunakan kerugian yang kontras untuk menyelaraskan imej dan perwakilan teks dan objektif generatif (kehilangan keterangan) untuk mewujudkan perwakilan bersama.

COCA Architecture:

Coca menggunakan struktur pengekodan pengekod standard. Inovasinya terletak pada decoder

decoupled

:

• Decoder yang lebih rendah: menghasilkan perwakilan teks yang tidak sama untuk pembelajaran kontras (menggunakan token [cls]).
• Decoder atas: Menjana perwakilan teks imej multimodal untuk pembelajaran generatif. Kedua -dua decoder menggunakan masking kausal.

Objektif Kontrasif: Belajar untuk pasangan pasangan imej yang berkaitan dengan kluster dan yang berasingan yang tidak berkaitan dalam ruang vektor bersama. Satu embedding imej yang dikumpulkan digunakan.

Objektif Generatif: Menggunakan perwakilan imej halus (urutan 256 dimensi) dan perhatian silang modal untuk meramalkan teks secara autoregresif.

Kesimpulan:

Coca mewakili kemajuan yang ketara dalam model asas teks imej. Pendekatan gabungannya meningkatkan prestasi dalam pelbagai tugas, menawarkan alat serba boleh untuk aplikasi hiliran. Untuk meneruskan pemahaman anda tentang konsep pembelajaran yang maju, pertimbangkan pembelajaran mendalam DataCamp dengan kursus Keras.

Bacaan Lanjut:

1. Model visual yang boleh dipindahkan dari pengawasan bahasa semulajadi
2. pra-latihan teks imej dengan kapsyen kontrasif

Atas ialah kandungan terperinci COCA: Kapsyen kontras adalah model asas teks imej yang dijelaskan secara visual. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!