


Padanan Semantik Pengecam Teks Menggunakan Pembenaman LASER dalam Python
Nov 25, 2024 am 05:33 AMApabila menggunakan OCR untuk mendigitalkan laporan kewangan, anda mungkin menghadapi pelbagai pendekatan untuk mengesan kategori tertentu dalam laporan tersebut. Contohnya, kaedah tradisional seperti algoritma Levenshtein boleh digunakan untuk pemadanan rentetan berdasarkan jarak edit, menjadikannya berkesan untuk mengendalikan padanan hampir, seperti membetulkan kesilapan menaip atau variasi kecil dalam teks.
Walau bagaimanapun, cabaran menjadi lebih kompleks apabila anda perlu mengesan berbilang kategori dalam satu baris laporan, terutamanya apabila kategori tersebut mungkin tidak muncul tepat seperti yang dijangkakan atau boleh bertindih secara semantik.
Dalam siaran ini, kami menganalisis pendekatan pemadanan semantik menggunakan pembenaman LASER (Language-Agnostic Sentence Representations) Facebook, menunjukkan cara ia boleh mengendalikan tugas ini dengan berkesan.
Masalah
Objektifnya adalah untuk mengenal pasti istilah kewangan tertentu (kategori) dalam baris teks tertentu. Katakan kita mempunyai set tetap kategori yang dipratentukan yang mewakili semua kemungkinan syarat kepentingan, seperti:
["hasil", "perbelanjaan operasi", "keuntungan operasi", "susut nilai", "faedah", "keuntungan bersih", "cukai", "keuntungan selepas cukai", "metrik 1"]
Diberikan baris input seperti:
"untung operasi, untung bersih dan untung selepas cukai"
Kami menyasarkan untuk mengesan pengecam mana yang muncul dalam baris ini.
Padanan Semantik dengan LASER
Daripada bergantung pada padanan teks tepat atau kabur, kami menggunakan persamaan semantik. Pendekatan ini memanfaatkan pembenaman LASER untuk menangkap makna semantik teks dan membandingkannya menggunakan persamaan kosinus.
Perlaksanaan
Pramemproses Teks
Sebelum membenamkan, teks dipraproses dengan menukarkannya kepada huruf kecil dan mengalih keluar ruang tambahan. Ini memastikan keseragaman.
def preprocess(text): return text.lower().strip()
Membenamkan Pengecam dan Talian Input
Pengekod LASER menjana pembenaman biasa untuk kedua-dua senarai pengecam dan baris input/OCR.
identifier_embeddings = encoder.encode_sentences(identifiers, normalize_embeddings=True) ocr_line_embedding = encoder.encode_sentences([ocr_line], normalize_embeddings=True)[0]
Pengecam Kedudukan mengikut Kekhususan
Pengecam yang lebih panjang diutamakan dengan mengisihnya berdasarkan bilangan perkataan. Ini membantu mengendalikan padanan bersarang, di mana pengecam yang lebih panjang mungkin mengambil yang lebih pendek (mis., "keuntungan selepas cukai" menggantikan "keuntungan").
ranked_identifiers = sorted(identifiers, key=lambda x: len(x.split()), reverse=True) ranked_embeddings = encoder.encode_sentences(ranked_identifiers, normalize_embeddings=True)
Mengira Persamaan
Menggunakan kesamaan kosinus, kami mengukur kesamaan semantik setiap pengecam dengan baris input. Pengecam dengan persamaan di atas ambang yang ditentukan dianggap padanan.
matches = [] threshold = 0.6 for idx, identifier_embedding in enumerate(ranked_embeddings): similarity = cosine_similarity([identifier_embedding], [ocr_line_embedding])[0][0] if similarity >= threshold: matches.append((ranked_identifiers[idx], similarity))
Menyelesaikan Padanan Bersarang
Untuk mengendalikan pengecam yang bertindih, padanan yang lebih panjang diutamakan, memastikan padanan yang lebih pendek di dalamnya dikecualikan.
def preprocess(text): return text.lower().strip()
Keputusan
Apabila kod dilaksanakan, output menyediakan senarai padanan yang dikesan bersama dengan skor persamaannya. Untuk input contoh:
identifier_embeddings = encoder.encode_sentences(identifiers, normalize_embeddings=True) ocr_line_embedding = encoder.encode_sentences([ocr_line], normalize_embeddings=True)[0]
Pertimbangan untuk Input Yang Lebih Lama dan Kompleks
Kaedah ini berfungsi dengan baik dalam laporan kewangan berstruktur dengan berbilang kategori pada satu baris, dengan syarat tidak terdapat terlalu banyak kategori atau banyak teks yang tidak berkaitan. Walau bagaimanapun, ketepatan boleh merosot dengan input yang lebih panjang dan kompleks atau teks yang dijana pengguna tidak berstruktur, kerana pembenaman mungkin sukar untuk memfokus pada kategori yang berkaitan. Ia kurang dipercayai untuk input yang bising atau tidak dapat diramalkan.
Kesimpulan
Siaran ini menunjukkan cara pembenaman LASER boleh menjadi alat yang berguna untuk mengesan berbilang kategori dalam teks. Adakah ia pilihan terbaik? Mungkin tidak, tetapi ia sememangnya salah satu pilihan yang patut dipertimbangkan, terutamanya apabila berhadapan dengan senario yang rumit di mana teknik padanan tradisional mungkin gagal.
Kod penuh
ranked_identifiers = sorted(identifiers, key=lambda x: len(x.split()), reverse=True) ranked_embeddings = encoder.encode_sentences(ranked_identifiers, normalize_embeddings=True)
Atas ialah kandungan terperinci Padanan Semantik Pengecam Teks Menggunakan Pembenaman LASER dalam Python. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undress AI Tool
Gambar buka pakaian secara percuma

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Clothoff.io
Penyingkiran pakaian AI

Video Face Swap
Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas











Polimorfisme adalah konsep teras dalam pengaturcaraan berorientasikan objek Python, merujuk kepada "satu antara muka, pelbagai pelaksanaan", yang membolehkan pemprosesan bersatu pelbagai jenis objek. 1. Polimorfisme dilaksanakan melalui penulisan semula kaedah. Subkelas boleh mentakrifkan semula kaedah kelas induk. Sebagai contoh, kaedah bercakap () kelas haiwan mempunyai pelaksanaan yang berbeza dalam subkelas anjing dan kucing. 2. Penggunaan praktikal polimorfisme termasuk memudahkan struktur kod dan meningkatkan skalabilitas, seperti memanggil kaedah cabutan () secara seragam dalam program lukisan grafik, atau mengendalikan tingkah laku umum watak -watak yang berbeza dalam pembangunan permainan. 3. Polimorfisme pelaksanaan Python perlu memenuhi: Kelas induk mentakrifkan kaedah, dan kelas kanak -kanak mengatasi kaedah, tetapi tidak memerlukan warisan kelas induk yang sama. Selagi objek melaksanakan kaedah yang sama, ini dipanggil "jenis itik". 4. Perkara yang perlu diperhatikan termasuk penyelenggaraan

Kaedah kelas adalah kaedah yang ditakrifkan dalam python melalui penghias @classmethod. Parameter pertamanya adalah kelas itu sendiri (CLS), yang digunakan untuk mengakses atau mengubah keadaan kelas. Ia boleh dipanggil melalui kelas atau contoh, yang mempengaruhi seluruh kelas dan bukannya contoh tertentu; Sebagai contoh, dalam kelas orang, kaedah show_count () mengira bilangan objek yang dibuat; Apabila menentukan kaedah kelas, anda perlu menggunakan penghias @classmethod dan namakan parameter pertama CLS, seperti kaedah change_var (new_value) untuk mengubah suai pembolehubah kelas; Kaedah kelas adalah berbeza daripada kaedah contoh (parameter diri) dan kaedah statik (tiada parameter automatik), dan sesuai untuk kaedah kilang, pembina alternatif, dan pengurusan pembolehubah kelas. Kegunaan biasa termasuk:

Parameter adalah ruang letak apabila menentukan fungsi, sementara argumen adalah nilai khusus yang diluluskan ketika memanggil. 1. Parameter kedudukan perlu diluluskan, dan perintah yang salah akan membawa kepada kesilapan dalam hasilnya; 2. Parameter kata kunci ditentukan oleh nama parameter, yang boleh mengubah pesanan dan meningkatkan kebolehbacaan; 3. Nilai parameter lalai diberikan apabila ditakrifkan untuk mengelakkan kod pendua, tetapi objek berubah harus dielakkan sebagai nilai lalai; 4 Args dan *kwargs boleh mengendalikan bilangan parameter yang tidak pasti dan sesuai untuk antara muka umum atau penghias, tetapi harus digunakan dengan berhati -hati untuk mengekalkan kebolehbacaan.

Listslicinginpythonextractsaportionofalistusingindices.1.itusesthesyntaxlist [start: end: step], wherestartislusive, endisexclusive, andstepdefinestheinterval.2.ifstartorendareomitt

Iterator adalah objek yang melaksanakan kaedah __iter __ () dan __Next __ (). Penjana adalah versi Iterator yang dipermudahkan, yang secara automatik melaksanakan kaedah ini melalui kata kunci hasil. 1. Iterator mengembalikan elemen setiap kali dia memanggil seterusnya () dan melemparkan pengecualian berhenti apabila tidak ada lagi elemen. 2. Penjana menggunakan definisi fungsi untuk menghasilkan data atas permintaan, menjimatkan memori dan menyokong urutan tak terhingga. 3. Menggunakan Iterator apabila memproses set sedia ada, gunakan penjana apabila menghasilkan data besar secara dinamik atau penilaian malas, seperti garis pemuatan mengikut baris apabila membaca fail besar. NOTA: Objek yang boleh diperolehi seperti senarai bukanlah pengaliran. Mereka perlu dicipta semula selepas pemalar itu sampai ke penghujungnya, dan penjana hanya boleh melintasi sekali.

Terdapat banyak cara untuk menggabungkan dua senarai, dan memilih cara yang betul dapat meningkatkan kecekapan. 1. Gunakan nombor splicing untuk menghasilkan senarai baru, seperti List1 List2; 2. Penggunaan = untuk mengubah suai senarai asal, seperti list1 = list2; 3. Gunakan kaedah untuk beroperasi pada senarai asal, seperti list1.extend (list2); 4. Gunakan nombor untuk membongkar dan menggabungkan (python3.5), seperti [list1,*list2], yang menyokong kombinasi fleksibel dari pelbagai senarai atau menambah elemen. Kaedah yang berbeza sesuai untuk senario yang berbeza, dan anda perlu memilih berdasarkan sama ada untuk mengubah suai senarai asal dan versi Python.

Kunci untuk menangani pengesahan API adalah untuk memahami dan menggunakan kaedah pengesahan dengan betul. 1. Apikey adalah kaedah pengesahan yang paling mudah, biasanya diletakkan dalam tajuk permintaan atau parameter URL; 2. BasicAuth menggunakan nama pengguna dan kata laluan untuk penghantaran pengekodan Base64, yang sesuai untuk sistem dalaman; 3. OAuth2 perlu mendapatkan token terlebih dahulu melalui client_id dan client_secret, dan kemudian bawa bearertoken dalam header permintaan; 4. Untuk menangani tamat tempoh token, kelas pengurusan token boleh dikemas dan secara automatik menyegarkan token; Singkatnya, memilih kaedah yang sesuai mengikut dokumen dan menyimpan maklumat utama adalah kunci.

MagicMethods Python (atau kaedah dunder) adalah kaedah khas yang digunakan untuk menentukan tingkah laku objek, yang bermula dan berakhir dengan garis bawah dua. 1. Mereka membolehkan objek bertindak balas terhadap operasi terbina dalam, seperti tambahan, perbandingan, perwakilan rentetan, dan sebagainya; 2. Kes penggunaan biasa termasuk inisialisasi objek dan perwakilan (__init__, __repr__, __str__), operasi aritmetik (__add__, __sub__, __mul__) dan operasi perbandingan (__eq__, ___lt__); 3. Apabila menggunakannya, pastikan tingkah laku mereka memenuhi jangkaan. Sebagai contoh, __repr__ harus mengembalikan ungkapan objek refortable, dan kaedah aritmetik harus mengembalikan contoh baru; 4. Perkara yang berlebihan atau mengelirukan harus dielakkan.
