Minggu lalu, saya mengambil panggung di salah satu persidangan AI utama negara - SSON Pintar Automasi Minggu 2025 untuk menyampaikan beberapa kebenaran yang tidak selesa mengenai Rag Enterprise. Apa yang saya kongsi mengenai kenaikan 42% dalam kadar kegagalan yang ditangkap walaupun pengamal berpengalaman.

Inilah yang saya katakan kepada mereka, dan mengapa penting bagi setiap syarikat yang membina AI:

Walaupun semua orang bergegas untuk membangunkan chatgpt seterusnya untuk syarikat mereka, 42% daripada projek AI gagal pada tahun 2025 , kenaikan 2.5x dari 2024.

Itulah $ 13.8 bilion dalam perusahaan AI perbelanjaan berisiko!

Dan inilah kicker: 51% pelaksanaan AI perusahaan menggunakan seni bina RAG . Maksudnya jika anda membina AI untuk syarikat anda, anda mungkin membina kain.

Tetapi inilah yang tiada siapa yang bercakap mengenai persidangan AI: 80% projek RAG perusahaan akan mengalami kegagalan kritikal . Hanya 20% mencapai kejayaan yang berterusan.

Berdasarkan pengalaman saya dengan penyebaran perusahaan AI di seluruh perkhidmatan kewangan, saya telah melihat banyak video YouTube yang tidak dilakukan seperti yang diharapkan apabila digunakan pada skala perusahaan.

Demo kain "mudah" yang berfungsi dengan indah dalam tutorial YouTube selama 30 minit menjadi bencana berjuta-juta dolar apabila mereka menghadapi kekangan perusahaan dunia nyata.

Hari ini, anda akan belajar mengapa kebanyakan projek RAG gagal dan, lebih penting lagi, bagaimana untuk menyertai 20% yang berjaya.

Jadual Kandungan

• Pemeriksaan realiti kain
• 5 zon bahaya kritikal yang membawa kepada kegagalan rag perusahaan
  • Bahaya Zon 1: Kegagalan Strategi
  • Bahaya Zon 2: Krisis Kualiti Data
  • Bahaya Zon 3: Bencana kejuruteraan segera
  • Bahaya Zon 4: Penilaian Titik Buta
  • Bahaya Zon 5: Bencana Tadbir Urus
• Kesimpulan

Pemeriksaan realiti kain

Biar saya mulakan dengan cerita yang akan terdengar biasa.

Pasukan kejuruteraan anda membina prototaip RAG pada hujung minggu. Ia mengindeks dokumen syarikat anda, embeddings berfungsi hebat, dan LLM memberikan jawapan pintar dengan sumber. Kepimpinan terkesan. Belanjawan yang diluluskan. Set garis masa.

Enam bulan kemudian, AI "pintar" anda dengan yakin memberitahu pengguna bahawa dasar percutian syarikat anda membolehkan hari -hari sakit tanpa had (tidak), memetik dokumen dari tahun 2010 yang digantikan tiga kali.

Bunyi biasa?

Inilah sebabnya kegagalan rag perusahaan berlaku, dan mengapa tutorial kain mudah terlepas tanda sepenuhnya.

5 zon bahaya kritikal yang membawa kepada kegagalan rag perusahaan

Saya telah melihat pasukan kejuruteraan bekerja malam dan hujung minggu, hanya untuk menonton pengguna mengabaikan penciptaan mereka dalam beberapa minggu.

Selepas membaca dan mendengar berpuluh -puluh cerita mengenai penggunaan perusahaan yang gagal dari persidangan dan podcast, serta kejayaan yang jarang berlaku, saya telah membuat kesimpulan bahawa setiap bencana mengikuti corak yang boleh diramal. Ia jatuh ke dalam salah satu daripada lima zon bahaya kritikal ini.

Biarkan saya membimbing anda melalui setiap zon bahaya dengan contoh sebenar, jadi anda dapat mengenali tanda -tanda amaran sebelum projek anda menjadi satu lagi statistik mangsa.

Bahaya Zon 1: Kegagalan Strategi

Apa yang berlaku: "Mari kita indeks semua dokumen kami dan lihat apa yang AI mendapati!" - Saya pernah mendengar beberapa kali ini apabila POC berfungsi dengan sebilangan kecil dokumen

Kenapa ia membunuh projek: Bayangkan sebuah syarikat Fortune 500 menghabiskan 18 bulan dan $ 3.2 juta membina sistem RAG yang boleh "menjawab sebarang soalan mengenai mana -mana dokumen". Hasilnya? Sistem yang begitu generik sehingga ia tidak berguna untuk segala -galanya.

Gejala kegagalan sebenar:

• Skop tanpa tujuan ("AI harus menyelesaikan segala -galanya!")
• Tiada sasaran ROI yang boleh diukur
• Pasukan perniagaan, IT, dan pematuhan benar -benar tidak salah
• Adopsi sifar kerana jawapan tidak relevan

Penawar:

1. Mulailah kecil.
2. Pilih satu soalan yang membebankan syarikat anda 100 jam setiap bulan.
3. Bina asas pengetahuan yang difokuskan dengan hanya 50 halaman.
4. Digunakan dalam 72 jam.
5. Mengukur penggunaan sebelum berkembang.

Bahaya Zon 2: Krisis Kualiti Data

Apa yang Berlaku: Sistem RAG anda mengambil versi yang salah dari dokumen dasar dan membentangkan maklumat pematuhan yang sudah lapuk dengan keyakinan.

Kenapa ia bencana: Dalam industri yang dikawal selia, ini bukan hanya memalukan, ia adalah pelanggaran peraturan yang menunggu untuk berlaku.

Mata Kegagalan Kritikal:

• Hilang metadata (tiada pemilik, tarikh, atau penjejakan versi).
• Dokumen ketinggalan zaman bercampur dengan yang terkini.
• Struktur meja pecah yang menjadikan LLMS halusinasi.
• Maklumat pendua di seluruh fail yang berbeza boleh mengelirukan pengguna.

Pembaikan:

1. Melaksanakan pengawal metadata yang menyekat dokumen yang hilang tag kritikal.
2. Auto-retire apa-apa yang lebih tua daripada 12 bulan kecuali ditandakan "Evergreen."
3. Gunakan semantik-menyedari yang memelihara struktur meja.

Berikut adalah coretan kod contoh yang boleh anda gunakan untuk menyemak kewarasan medan metadata.

Kod:

 # Contoh Sanity Cek untuk medan metadata

def document_health_check (doc_metadata):
    red_flags = []
    
    jika 'pemilik' tidak di doc_metadata:
        red_flags.append ("Tidak ada yang memiliki dokumen ini")
    
    jika 'penciptaan_date' tidak dalam doc_metadata:
        red_flags.append ("Tidak ada idea apabila ini dicipta")
    
    jika 'status' tidak dalam doc_metadata atau doc_metadata ['status']! = 'aktif':
        red_flags.append ("Dokumen mungkin ketinggalan zaman")
    
    kembali len (red_flags) == 0, red_flags

# Uji dokumen anda
is_good, masalah = document_health_check ({
    'nama fail': 'some_policy.pdf',
    'pemilik': '[dilindungi e -mel]',
    'penciptaan_date': '2024-01-15',
    'Status': 'Aktif'
}) 

Bahaya Zon 3: Bencana kejuruteraan segera

Apa yang berlaku: Pertama, jurutera tidak dimaksudkan untuk meminta. Mereka menyalin dan menyisipkan tutorial dari tutorial chatgpt dan kemudian tertanya -tanya mengapa pakar mata pelajaran menolak setiap jawapan yang mereka berikan.

Putuskan sambungan: Generik yang dioptimumkan untuk chatbots pengguna gagal secara spektakuler dalam konteks perniagaan khusus.

Contoh Bencana: Sistem RAG Kewangan Menggunakan Generik Memerlukasikan "Risiko" sebagai konsep umum, apabila ia bermakna yang berikut:

Risiko = risiko pasaran/risiko kredit/risiko operasi

Penyelesaiannya:

1. CO-SHEATE MEMBUAT DENGAN PKS ANDA.
2. Menyebarkan arahan khusus peranan (penganalisis mendapat petunjuk yang berbeza daripada pegawai pematuhan).
3. Uji dengan senario adversarial yang direka untuk mendorong kegagalan.
4. Kemas kini suku tahunan berdasarkan data penggunaan sebenar.

Berikut adalah contoh contoh berdasarkan peranan yang berbeza.

Kod :

 def create_domain_prompt (user_role, business_context):
    jika user_role == "financial_analyst":
        kembali f "" "
Anda membantu penganalisis kewangan dengan {Business_Context}.

Semasa membincangkan risiko, selalu nyatakan:
- Jenis: pasaran/kredit/operasi/pengawalseliaan
- Kesan kuantitatif jika ada
- Peraturan yang berkaitan (Basel III, Dodd-Frank, dll.)
- Dokumentasi yang diperlukan

Format: [Jawapan] | [Keyakinan: Tinggi/Sederhana/Rendah] | [Sumber: Doc, Page]
"" "
    
    elif user_role == "compliance_officer":
        kembali f "" "
Anda membantu pegawai pematuhan dengan {Business_Context}.

Sentiasa bendera:
- Tarikh akhir pengawalseliaan
- Pelaporan yang diperlukan
- Pelanggaran yang berpotensi
- Bila akan meningkat menjadi undang -undang

Sekiranya anda tidak 100% pasti, katakan "memerlukan semakan undang -undang"
"" "

    kembali "Generik Generik Prompt"


analisis_prompt = create_domain_prompt ("financial_analyst", "polisi insurans FDIC")
cetak (analisis_prompt) 

Bahaya Zon 4: Penilaian Titik Buta

Apa yang Berlaku: Anda menggunakan RAG ke pengeluaran tanpa rangka kerja penilaian yang betul, kemudian menemui kegagalan kritikal hanya apabila pengguna mengadu.

Gejala:

• Tiada kutipan sumber (pengguna tidak dapat mengesahkan jawapan)
• Tiada dataset emas untuk ujian
• Maklum balas pengguna diabaikan
• Model pengeluaran berbeza dari model yang diuji

Pemeriksaan Realiti: Jika anda tidak dapat mengesan bagaimana AI anda membuat kesimpulan, anda mungkin tidak bersedia untuk penggunaan perusahaan.

Rangka Kerja:

1. Bina dataset emas sebanyak 50 pasangan QA yang dikaji semula oleh PKS.
2. Jalankan ujian regresi malam.
3. Menguatkuasakan ketepatan penanda aras 85% -90%.
4. Tambah petikan ke setiap output dengan ID Dokumen, halaman, dan skor keyakinan.

Bahaya Zon 5: Bencana Tadbir Urus

Apa yang Berlaku: Sistem RAG anda secara tidak sengaja mendedahkan PII (Maklumat Pengenalan Peribadi) dalam Respons (SSN/Nombor Telefon/MRN) atau dengan yakin memberikan nasihat yang salah yang merosakkan hubungan pelanggan.

Senario terburuk:

• Data pelanggan yang tidak disediakan dalam respons AI
• Tiada jejak audit ketika pengawal selia datang mengetuk
• Dokumen sensitif dapat dilihat oleh pengguna yang salah
• Nasihat yang dipersembahkan dengan keyakinan tinggi

Keperluan perusahaan: Firma yang dikawal selia memerlukan lebih daripada jawapan yang betul-laluan audit, kawalan privasi, ujian pasukan merah, dan keputusan yang boleh dijelaskan.

Bagaimanakah anda dapat memperbaikinya?: Melaksanakan redaksi berlapis, log semua interaksi dalam penyimpanan yang tidak berubah, menguji dengan pasukan merah meminta bulanan, dan mengekalkan papan pematuhan pematuhan.

Berikut adalah coretan kod yang menunjukkan bidang asas yang akan ditangkap untuk tujuan pengauditan.

Kod

 # Pembalakan audit minimum
def log_rag_interaction (user_id, soalan, jawapan, keyakinan, sumber):
    Import Hashlib
    dari DateTime import datetime
    
    # Jangan menyimpan soalan/jawapan sebenar (privasi)
    # Simpan hash dan metadata untuk pengauditan
    log_entry = {
        'timestamp': datetime.now (). isoformat (),
        'user_id': user_id,
        'Soalan_Hash': hashlib.sha256 (soalan.encode ()). hexdigest (),,
        'answer_hash': hashlib.sha256 (answer.encode ()). hexdigest (),,
        'Keyakinan': Keyakinan,
        'Sumber': Sumber,
        'bendera_for_review': Keyakinan <p><img src="/static/imghw/default1.png" data-src="https://img.php.cn/upload/article/000/000/000/175159125530494.jpg" class="lazy" alt="Kegagalan Rag Enterprise: Rangka 5 bahagian untuk mengelakkan 80%"></p><h2> Kesimpulan</h2><p> Analisis kegagalan rag perusahaan ini akan membantu anda mengelakkan perangkap yang menyebabkan 80% daripada penggunaan gagal.</p><p> Tutorial ini bukan sahaja menunjukkan kepada anda lima zon bahaya kritikal tetapi juga menyediakan contoh kod praktikal dan strategi pelaksanaan untuk membina sistem RAG yang siap pengeluaran.</p><p> RAG perusahaan menjadi keupayaan yang semakin kritikal bagi organisasi yang berurusan dengan repositori dokumen yang besar. Sebabnya ialah ia mengubah bagaimana pasukan mengakses pengetahuan institusi, mengurangkan masa penyelidikan, dan skala pandangan pakar di seluruh organisasi.</p><p></p>

Atas ialah kandungan terperinci Kegagalan Rag Enterprise: Rangka 5 bahagian untuk mengelakkan 80%. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!