Transformer telah mengubah kecerdasan buatan, menawarkan prestasi yang tiada tandingan dalam NLP, penglihatan komputer dan penyepaduan data berbilang modal. Model ini cemerlang dalam mengenal pasti corak dalam data melalui mekanisme perhatian mereka, menjadikannya ideal untuk tugas yang kompleks. Walau bagaimanapun, penskalaan pantas model pengubah perlu dipertingkatkan kerana kos pengiraan yang tinggi yang dikaitkan dengan struktur tradisionalnya.

Transformer telah merevolusikan kecerdasan buatan, menawarkan prestasi yang tiada tandingan dalam pemprosesan bahasa semula jadi (NLP), penglihatan komputer dan penyepaduan data berbilang mod. Model ini cemerlang dalam mengenal pasti corak dalam data melalui mekanisme perhatian mereka, menjadikannya ideal untuk tugas yang kompleks. Walau bagaimanapun, penskalaan pantas model pengubah perlu diperbaiki kerana kos pengiraan yang tinggi yang dikaitkan dengan struktur tradisionalnya. Apabila model ini berkembang, mereka menuntut sumber perkakasan dan masa latihan yang ketara, yang meningkat secara eksponen dengan saiz model.

Halangan utama dalam penskalaan transformer terletak pada parameter tetap dalam lapisan unjuran linear mereka. Struktur statik ini mengehadkan keupayaan model untuk berkembang tanpa dilatih semula sepenuhnya, yang menjadi lebih mahal secara eksponen apabila saiz model meningkat. Model tradisional ini biasanya menuntut latihan semula yang komprehensif apabila pengubahsuaian seni bina berlaku, seperti meningkatkan dimensi saluran.

Oleh itu, kos pengiraan untuk pengembangan ini meningkat secara tidak praktikal, dan pendekatannya tidak mempunyai fleksibiliti. Ketidakupayaan untuk menambah parameter baharu secara dinamik menyekat pertumbuhan, menjadikan model ini kurang boleh disesuaikan dengan aplikasi AI yang berkembang dan lebih mahal dari segi masa dan sumber.

Secara sejarah, pendekatan untuk mengurus skalabiliti model termasuk pendua pemberat atau penstrukturan semula model menggunakan kaedah seperti Net2Net, di mana neuron pendua mengembangkan lapisan. Walau bagaimanapun, pendekatan ini sering mengganggu keseimbangan model pra-latihan, mengakibatkan kadar penumpuan yang lebih perlahan dan kerumitan latihan tambahan.

Walaupun kaedah ini telah mencapai kemajuan yang meningkat, kaedah ini masih menghadapi had dalam mengekalkan integriti model semasa penskalaan. Transformer sangat bergantung pada unjuran linear statik, menjadikan pengembangan parameter mahal dan tidak fleksibel. Model tradisional seperti GPT dan transformer besar yang lain sering melatih semula dari awal, menanggung kos pengiraan yang tinggi dengan setiap peringkat penskalaan baharu.

Kini, penyelidik di Institut Max Planck, Google dan Universiti Peking telah membangunkan seni bina baharu yang dipanggil Tokenformer yang secara asasnya membayangkan semula transformer dengan menganggap parameter model sebagai token, membolehkan interaksi dinamik antara token dan parameter.

Dalam rangka kerja ini, Tokenformer memperkenalkan komponen baru yang dipanggil lapisan perhatian parameter token (Pattention), yang memudahkan penskalaan tambahan. Model ini boleh menambah token parameter baharu tanpa latihan semula, mengurangkan kos latihan secara drastik.

Dengan mewakili token input dan parameter dalam rangka kerja yang sama, Tokenformer membenarkan penskalaan yang fleksibel, menyediakan penyelidik dengan seni bina model yang lebih cekap dan mementingkan sumber yang mengekalkan kebolehskalaan dan prestasi tinggi.

Lapisan Tokenformer's Pattention menggunakan token input sebagai pertanyaan, manakala parameter model berfungsi sebagai kunci dan nilai, yang berbeza daripada pendekatan transformer standard, bergantung semata-mata pada unjuran linear.

Penskalaan model dicapai dengan menambahkan pasangan parameter nilai kunci baharu, mengekalkan dimensi input dan output malar serta mengelakkan latihan semula penuh. Seni bina Tokenformer direka bentuk untuk menjadi modular, membolehkan penyelidik mengembangkan model dengan lancar dengan memasukkan token tambahan.

Keupayaan penskalaan tambahan ini menyokong penggunaan semula pemberat pra-latihan yang cekap sambil mendayakan penyesuaian pantas untuk set data baharu atau saiz model yang lebih besar tanpa mengganggu maklumat yang dipelajari.

Faedah prestasi Tokenformer adalah ketara, kerana model ini mengurangkan kos pengiraan dengan ketara sambil mengekalkan ketepatan. Sebagai contoh, Tokenformer menskalakan daripada 124 juta kepada 1.4 bilion parameter dengan hanya separuh kos latihan biasa yang diperlukan oleh transformer tradisional.

Dalam satu percubaan, model itu mencapai kebingungan ujian sebanyak 11.77 untuk konfigurasi parameter 1.4 bilion, hampir sepadan dengan kebingungan 11.63 pengubah bersaiz serupa yang dilatih dari awal.

Kecekapan ini bermakna Tokenformer boleh mencapai prestasi tinggi merentas berbilang domain, termasuk tugas bahasa dan pemodelan visual, pada sebahagian kecil daripada perbelanjaan sumber model tradisional.

Tokenformer membentangkan banyak perkara penting untuk memajukan penyelidikan AI dan menambah baik model berasaskan transformer. Ini termasuk:

Merawat parameter sebagai token membolehkan penskalaan model tambahan tanpa latihan semula.

Lapisan perhatian parameter token memudahkan pengembangan parameter yang cekap.

Seni bina modular menyokong pertumbuhan model yang lancar dengan memasukkan token tambahan.

Model ini mencapai prestasi tinggi merentas domain yang pelbagai dengan perbelanjaan sumber yang minimum.

Kesimpulannya, Tokenformer menawarkan pendekatan transformatif untuk menskalakan model berasaskan transformer. Seni bina model ini mencapai kebolehskalaan dan kecekapan sumber dengan menganggap parameter sebagai token, mengurangkan kos dan mengekalkan prestasi model merentas tugas.

Fleksibiliti ini mewakili satu kejayaan dalam reka bentuk transformer, menyediakan model yang boleh menyesuaikan diri dengan permintaan memajukan aplikasi AI tanpa latihan semula. Seni bina Tokenformer memegang janji untuk penyelidikan AI masa hadapan, menawarkan laluan untuk membangunkan model berskala besar secara mampan dan cekap.

Lihat Kertas, Halaman GitHub dan Model pada HuggingFace.

Semua kredit untuk penyelidikan ini diberikan kepada penyelidik projek ini. Juga, jangan lupa untuk mengikuti kami di Twitter dan sertai Saluran Telegram dan Kumpulan LinkedIn kami. Jika anda menyukai kerja kami, anda akan menyukai surat berita kami. Jangan Lupa sertai 55k ML SubReddit kami.

[Peluang Penajaan bersama kami] Promosikan Penyelidikan/Produk/Webinar Anda dengan 1Juta Pembaca Bulanan dan 500k Ahli Komuniti

Atas ialah kandungan terperinci Tokenformer: Memikirkan Semula Transformers dengan Merawat Parameter sebagai Token. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!