


Membina Sistem Pengambilan Dokumen & Soal Jawab dengan OpenAI dan Streamlit
Nov 07, 2024 pm 03:50 PMHelo, Komuniti Dev! ?
Hari ini, saya teruja untuk membimbing anda melalui projek saya: EzioDevIo RAG (Retrieval-Augmented Generation). Sistem ini membolehkan pengguna memuat naik dokumen PDF, bertanya soalan berdasarkan kandungan mereka dan menerima jawapan masa nyata yang dijana oleh model OpenAI GPT-3.5 Turbo. Ini amat berguna untuk menavigasi dokumen besar atau mengekstrak maklumat yang berkaitan dengan cepat. ??
Anda boleh mendapatkan kod lengkap pada GitHub saya: Projek RAG EzioDevIo. Mari selami projek dan pecahkan setiap langkah!
? Selami pangkalan kod penuh dan arahan persediaan dalam Repositori GitHub Projek RAG EzioDevIo!
Gambaran Keseluruhan Projek
Apa yang Anda Akan Pelajari
- Cara untuk menyepadukan model bahasa OpenAI dengan pengambilan dokumen PDF.
- Cara mencipta antara muka mesra pengguna menggunakan Streamlit.
- Cara memuatkan aplikasi dengan Docker untuk penggunaan mudah. Ciri Projek
- Muat naik PDF dan dapatkan maklumat daripadanya.
- Tanya soalan berdasarkan kandungan PDF yang dimuat naik.
- Respons masa nyata yang dijana oleh model gpt-3.5-turbo OpenAI.
- Pengaturan mudah dengan Docker untuk kebolehskalaan.
*Berikut ialah struktur akhir direktori projek kami: *
RAG-project/ ├── .env # Environment variables (API key) ├── app.py # Streamlit app for the RAG system ├── document_loader.py # Code for loading and processing PDF documents ├── retriever.py # Code for indexing and retrieving documents ├── main.py # Main script for RAG pipeline ├── requirements.txt # List of required libraries ├── Dockerfile # Dockerfile for containerizing the app ├── .gitignore # Ignore sensitive and unnecessary files ├── data/ │ └── uploaded_pdfs/ # Folder to store uploaded PDFs └── images/ └── openai_api_setup.png # Example image for OpenAI API setup instructions
Langkah 1: Menyediakan Projek
Prasyarat
Pastikan anda mempunyai perkara berikut:
- Python 3.8 : Untuk menjalankan aplikasi secara setempat.
- Kunci API OpenAI: Anda memerlukan ini untuk mengakses model OpenAI. Daftar di OpenAI API untuk mendapatkan kunci anda.
- Docker: Pilihan, tetapi disyorkan untuk menyimpan aplikasi untuk penempatan.
Langkah 2: Klon Repositori dan Sediakan Persekitaran Maya
2.1. Klon Repositori
Mulakan dengan mengklonkan repositori projek daripada GitHub dan menavigasi ke dalam direktori projek.
git clone https://github.com/EzioDEVio/RAG-project.git cd RAG-project
2.2. Sediakan Persekitaran Maya
Untuk mengasingkan kebergantungan projek, cipta dan aktifkan persekitaran maya. Ini membantu mengelakkan konflik dengan pakej projek lain.
python -m venv venv source venv/bin/activate # On Windows, use `venv\Scripts\activate`
2.3. Pasang Ketergantungan
Pasang perpustakaan Python yang diperlukan yang disenaraikan dalam requirements.txt. Ini termasuk OpenAI untuk model bahasa, Streamlit untuk UI, PyMuPDF untuk pengendalian PDF dan FAISS untuk carian persamaan yang cekap.
pip install -r requirements.txt
2.4. Konfigurasikan Kunci API OpenAI Anda
Cipta fail .env dalam direktori akar projek. Fail ini akan menyimpan kunci API OpenAI anda dengan selamat. Tambahkan baris berikut pada fail, menggantikan your_openai_api_key_here dengan kunci API sebenar anda:
RAG-project/ ├── .env # Environment variables (API key) ├── app.py # Streamlit app for the RAG system ├── document_loader.py # Code for loading and processing PDF documents ├── retriever.py # Code for indexing and retrieving documents ├── main.py # Main script for RAG pipeline ├── requirements.txt # List of required libraries ├── Dockerfile # Dockerfile for containerizing the app ├── .gitignore # Ignore sensitive and unnecessary files ├── data/ │ └── uploaded_pdfs/ # Folder to store uploaded PDFs └── images/ └── openai_api_setup.png # Example image for OpenAI API setup instructions
? Petua: Pastikan .env ditambahkan pada fail .gitignore anda untuk mengelak daripada mendedahkan kunci API anda jika anda menolak projek anda ke repositori awam.
Langkah 3: Memahami Struktur Projek
Berikut ialah gambaran keseluruhan ringkas struktur direktori untuk membantu anda menavigasi kod:
Berikut ialah gambaran keseluruhan ringkas struktur direktori untuk membantu anda menavigasi kod:
git clone https://github.com/EzioDEVio/RAG-project.git cd RAG-project
Setiap fail mempunyai peranan tertentu:
- app.py: Mengurus antara muka Streamlit, membenarkan pengguna memuat naik fail dan bertanya soalan.
- document_loader.py: Mengendalikan pemuatan dan pemprosesan PDF menggunakan PyMuPDF.
- retriever.py: Menggunakan FAISS untuk mengindeks teks dokumen dan mendapatkan semula bahagian yang berkaitan berdasarkan pertanyaan pengguna.
- main.py: Menghubungkan segala-galanya, termasuk memanggil API OpenAI untuk menjana respons.
Langkah 4: Membina Kod Teras
Sekarang, mari kita selami komponen utama projek.
4.1. Memuatkan Dokumen (document_loader.py)
Fail document_loader.py bertanggungjawab untuk mengekstrak teks daripada PDF. Di sini, kami menggunakan pustaka PyMuPDF untuk memproses setiap halaman dalam PDF dan menyimpan teks.
python -m venv venv source venv/bin/activate # On Windows, use `venv\Scripts\activate`
Penjelasan: Fungsi ini membaca semua fail PDF dalam folder tertentu, mengekstrak teks daripada setiap halaman dan menambah teks pada senarai kamus. Setiap kamus mewakili dokumen dengan teks dan nama failnya.
4.2. Pengindeksan dan Pengambilan Dokumen (retriever.py)
FAISS (Facebook AI Similarity Search) membantu kami melakukan carian persamaan. Kami menggunakannya untuk membuat indeks pembenaman dokumen, yang membolehkan kami mendapatkan semula bahagian yang berkaitan apabila pengguna bertanya soalan.
pip install -r requirements.txt
Penjelasan:
create_index: Menukar teks dokumen kepada pembenaman menggunakan OpenAIEmbeddings dan mencipta indeks dengan FAISS.
retrieve_documents: Mencari bahagian dokumen yang berkaitan berdasarkan pertanyaan pengguna.
4.3. Menjana Respons (main.py)
Modul ini memproses pertanyaan pengguna, mendapatkan semula dokumen yang berkaitan dan menjana jawapan menggunakan model bahasa OpenAI.
OPENAI_API_KEY=your_openai_api_key_here
Penjelasan:
generate_response: Mencipta gesaan dengan konteks daripada dokumen yang diambil dan pertanyaan pengguna, kemudian menghantarnya ke API OpenAI. Jawapan kemudiannya dikembalikan sebagai jawapan.
Langkah 5: Mencipta Antara Muka Streamlit (app.py)
Streamlit menyediakan bahagian hadapan interaktif, memudahkan pengguna memuat naik fail dan bertanya soalan.
RAG-project/ ├── .env # Environment variables (API key) ├── app.py # Streamlit app for the RAG system ├── document_loader.py # Code for loading and processing PDF documents ├── retriever.py # Code for indexing and retrieving documents ├── main.py # Main script for RAG pipeline ├── requirements.txt # List of required libraries ├── Dockerfile # Dockerfile for containerizing the app ├── .gitignore # Ignore sensitive and unnecessary files ├── data/ │ └── uploaded_pdfs/ # Folder to store uploaded PDFs └── images/ └── openai_api_setup.png # Example image for OpenAI API setup instructions
Penjelasan:
- Kod ini mencipta UI ringkas dengan Streamlit, membolehkan pengguna memuat naik PDF dan menaip soalan.
- Apabila pengguna mengklik "Dapatkan Jawapan", apl itu mendapatkan semula dokumen yang berkaitan dan menjana jawapan.
Langkah 6: Melabuhkan Aplikasi
Docker membenarkan anda membungkus apl ke dalam bekas, menjadikannya mudah untuk digunakan.
Fail Docker
RAG-project/ ├── .env # Environment variables (API key) ├── app.py # Streamlit app for the RAG system ├── document_loader.py # Code for loading and processing PDF documents ├── retriever.py # Code for indexing and retrieving documents ├── main.py # Main script for RAG pipeline ├── requirements.txt # List of required libraries ├── Dockerfile # Dockerfile for containerizing the app ├── .gitignore # Ignore sensitive and unnecessary files ├── data/ │ └── uploaded_pdfs/ # Folder to store uploaded PDFs └── images/ └── openai_api_setup.png # Example image for OpenAI API setup instructions
Penjelasan:
Kami menggunakan binaan berbilang peringkat untuk memastikan imej akhir ramping.
Aplikasi ini berjalan sebagai pengguna bukan root untuk keselamatan.
Menjalankan Kontena Docker
- Bina Imej Docker:
git clone https://github.com/EzioDEVio/RAG-project.git cd RAG-project
- Jalankan Bekas:
python -m venv venv source venv/bin/activate # On Windows, use `venv\Scripts\activate`
Langkah 7: Menyediakan CI/CD dengan GitHub Actions
Untuk kesediaan pengeluaran, tambah saluran paip CI/CD untuk membina, menguji dan mengimbas imej Docker. Anda boleh menemui fail .github/workflows dalam repositori untuk persediaan ini.
Pemikiran Akhir
Projek ini menggabungkan keupayaan model bahasa OpenAI dengan pengambilan dokumen untuk mencipta alat yang berfungsi dan interaktif. Jika anda menikmati projek ini, sila bintangkan repositori GitHub dan ikuti saya di sini di Komuniti Dev. Mari kita bina lebih banyak projek yang menakjubkan bersama-sama! ?
? Lihat Repositori GitHub ? Repositori GitHub Projek EzioDevIo RAG!
Atas ialah kandungan terperinci Membina Sistem Pengambilan Dokumen & Soal Jawab dengan OpenAI dan Streamlit. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undress AI Tool
Gambar buka pakaian secara percuma

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Clothoff.io
Penyingkiran pakaian AI

Video Face Swap
Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Kunci untuk menangani pengesahan API adalah untuk memahami dan menggunakan kaedah pengesahan dengan betul. 1. Apikey adalah kaedah pengesahan yang paling mudah, biasanya diletakkan dalam tajuk permintaan atau parameter URL; 2. BasicAuth menggunakan nama pengguna dan kata laluan untuk penghantaran pengekodan Base64, yang sesuai untuk sistem dalaman; 3. OAuth2 perlu mendapatkan token terlebih dahulu melalui client_id dan client_secret, dan kemudian bawa bearertoken dalam header permintaan; 4. Untuk menangani tamat tempoh token, kelas pengurusan token boleh dikemas dan secara automatik menyegarkan token; Singkatnya, memilih kaedah yang sesuai mengikut dokumen dan menyimpan maklumat utama adalah kunci.

Menegaskan adalah alat pernyataan yang digunakan dalam Python untuk menyahpepijat, dan melemparkan pernyataan apabila keadaan tidak dipenuhi. Sintaksnya adalah menegaskan keadaan ditambah maklumat ralat pilihan, yang sesuai untuk pengesahan logik dalaman seperti pemeriksaan parameter, pengesahan status, dan lain -lain, tetapi tidak boleh digunakan untuk pemeriksaan input keselamatan atau pengguna, dan harus digunakan bersamaan dengan maklumat yang jelas. Ia hanya tersedia untuk debugging tambahan dalam peringkat pembangunan dan bukannya menggantikan pengendalian pengecualian.

Kaedah yang sama untuk melintasi dua senarai secara serentak dalam Python adalah menggunakan fungsi zip (), yang akan memasangkan beberapa senarai dalam rangka dan menjadi yang paling singkat; Jika panjang senarai tidak konsisten, anda boleh menggunakan itertools.zip_longest () untuk menjadi yang paling lama dan mengisi nilai yang hilang; Digabungkan dengan penghitungan (), anda boleh mendapatkan indeks pada masa yang sama. 1.Zip () adalah ringkas dan praktikal, sesuai untuk lelaran data berpasangan; 2.zip_longest () boleh mengisi nilai lalai apabila berurusan dengan panjang yang tidak konsisten; 3.enumerate (zip ()) boleh mendapatkan indeks semasa traversal, memenuhi keperluan pelbagai senario kompleks.

TypehintsinpythonsolvetheproblemofambiguityandpotentialbugsindynamiciallytypodeByallowingDeveloperStospecifyExpectedTypes.theyenhancereadability, enablearlybugdetection, andimprovetoLiaSareAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeSareadDeSareadDeSareadDeSareadDeSaread

Inpython, iteratorsareObjectsThatallowLoopingthroughCollectionsByImplementing__iter __ () dan__Next __ ()

Untuk mewujudkan API moden dan cekap menggunakan Python, FastAPI disyorkan; Ia berdasarkan kepada jenis python standard yang diminta dan secara automatik dapat menghasilkan dokumen, dengan prestasi yang sangat baik. Selepas memasang FastAPI dan Asgi Server UVicorn, anda boleh menulis kod antara muka. Dengan menentukan laluan, menulis fungsi pemprosesan, dan data yang kembali, API boleh dibina dengan cepat. FastAPI menyokong pelbagai kaedah HTTP dan menyediakan sistem dokumentasi Swaggersui dan Redoc yang dihasilkan secara automatik. Parameter URL boleh ditangkap melalui definisi laluan, manakala parameter pertanyaan boleh dilaksanakan dengan menetapkan nilai lalai untuk parameter fungsi. Penggunaan rasional model Pydantic dapat membantu meningkatkan kecekapan dan ketepatan pembangunan.

Untuk menguji API, anda perlu menggunakan Perpustakaan Permintaan Python. Langkah -langkahnya adalah untuk memasang perpustakaan, menghantar permintaan, mengesahkan respons, menetapkan masa dan cuba semula. Pertama, pasang perpustakaan melalui PipinstallRequests; kemudian gunakan permintaan.get () atau requests.post () dan kaedah lain untuk menghantar permintaan GET atau pos; Kemudian semak respons.status_code dan response.json () untuk memastikan hasil pulangan mematuhi jangkaan; Akhirnya, tambah parameter tamat masa untuk menetapkan masa tamat, dan menggabungkan perpustakaan semula untuk mencapai percubaan automatik untuk meningkatkan kestabilan.

Dalam Python, pembolehubah yang ditakrifkan di dalam fungsi adalah pembolehubah tempatan dan hanya sah dalam fungsi; Ditakrifkan secara luaran adalah pembolehubah global yang boleh dibaca di mana sahaja. 1. Pembolehubah tempatan dimusnahkan kerana fungsi dilaksanakan; 2. Fungsi ini boleh mengakses pembolehubah global tetapi tidak dapat diubahsuai secara langsung, jadi kata kunci global diperlukan; 3. Jika anda ingin mengubah suai pembolehubah fungsi luar dalam fungsi bersarang, anda perlu menggunakan kata kunci nonlocal; 4. Pembolehubah dengan nama yang sama tidak mempengaruhi satu sama lain dalam skop yang berbeza; 5. Global mesti diisytiharkan apabila mengubah suai pembolehubah global, jika tidak, kesilapan unboundlocalerror akan dibangkitkan. Memahami peraturan ini membantu mengelakkan pepijat dan menulis lebih banyak fungsi yang boleh dipercayai.
