国产av日韩一区二区三区精品,成人性爱视频在线观看,国产,欧美,日韩,一区,www.成色av久久成人,2222eeee成人天堂

Rumah pembangunan bahagian belakang Tutorial Python Membina Sistem Pengambilan Dokumen & Soal Jawab dengan OpenAI dan Streamlit

Membina Sistem Pengambilan Dokumen & Soal Jawab dengan OpenAI dan Streamlit

Nov 07, 2024 pm 03:50 PM

Helo, Komuniti Dev! ?

Hari ini, saya teruja untuk membimbing anda melalui projek saya: EzioDevIo RAG (Retrieval-Augmented Generation). Sistem ini membolehkan pengguna memuat naik dokumen PDF, bertanya soalan berdasarkan kandungan mereka dan menerima jawapan masa nyata yang dijana oleh model OpenAI GPT-3.5 Turbo. Ini amat berguna untuk menavigasi dokumen besar atau mengekstrak maklumat yang berkaitan dengan cepat. ??

Building a Document Retrieval & Q&A System with OpenAI and Streamlit

Anda boleh mendapatkan kod lengkap pada GitHub saya: Projek RAG EzioDevIo. Mari selami projek dan pecahkan setiap langkah!

? Selami pangkalan kod penuh dan arahan persediaan dalam Repositori GitHub Projek RAG EzioDevIo!

Gambaran Keseluruhan Projek

Apa yang Anda Akan Pelajari

  1. Cara untuk menyepadukan model bahasa OpenAI dengan pengambilan dokumen PDF.
  2. Cara mencipta antara muka mesra pengguna menggunakan Streamlit.
  3. Cara memuatkan aplikasi dengan Docker untuk penggunaan mudah. Ciri Projek
  • Muat naik PDF dan dapatkan maklumat daripadanya.
  • Tanya soalan berdasarkan kandungan PDF yang dimuat naik.
  • Respons masa nyata yang dijana oleh model gpt-3.5-turbo OpenAI.
  • Pengaturan mudah dengan Docker untuk kebolehskalaan.

*Berikut ialah struktur akhir direktori projek kami: *

RAG-project/
├── .env                       # Environment variables (API key)
├── app.py                     # Streamlit app for the RAG system
├── document_loader.py         # Code for loading and processing PDF documents
├── retriever.py               # Code for indexing and retrieving documents
├── main.py                    # Main script for RAG pipeline
├── requirements.txt           # List of required libraries
├── Dockerfile                 # Dockerfile for containerizing the app
├── .gitignore                 # Ignore sensitive and unnecessary files
├── data/
│   └── uploaded_pdfs/         # Folder to store uploaded PDFs
└── images/
    └── openai_api_setup.png   # Example image for OpenAI API setup instructions

Langkah 1: Menyediakan Projek

Prasyarat

Pastikan anda mempunyai perkara berikut:

  • Python 3.8 : Untuk menjalankan aplikasi secara setempat.
  • Kunci API OpenAI: Anda memerlukan ini untuk mengakses model OpenAI. Daftar di OpenAI API untuk mendapatkan kunci anda.
  • Docker: Pilihan, tetapi disyorkan untuk menyimpan aplikasi untuk penempatan.

Langkah 2: Klon Repositori dan Sediakan Persekitaran Maya

2.1. Klon Repositori
Mulakan dengan mengklonkan repositori projek daripada GitHub dan menavigasi ke dalam direktori projek.

git clone https://github.com/EzioDEVio/RAG-project.git
cd RAG-project

2.2. Sediakan Persekitaran Maya
Untuk mengasingkan kebergantungan projek, cipta dan aktifkan persekitaran maya. Ini membantu mengelakkan konflik dengan pakej projek lain.

python -m venv venv
source venv/bin/activate  # On Windows, use `venv\Scripts\activate`

2.3. Pasang Ketergantungan
Pasang perpustakaan Python yang diperlukan yang disenaraikan dalam requirements.txt. Ini termasuk OpenAI untuk model bahasa, Streamlit untuk UI, PyMuPDF untuk pengendalian PDF dan FAISS untuk carian persamaan yang cekap.

pip install -r requirements.txt

2.4. Konfigurasikan Kunci API OpenAI Anda
Cipta fail .env dalam direktori akar projek. Fail ini akan menyimpan kunci API OpenAI anda dengan selamat. Tambahkan baris berikut pada fail, menggantikan your_openai_api_key_here dengan kunci API sebenar anda:

RAG-project/
├── .env                       # Environment variables (API key)
├── app.py                     # Streamlit app for the RAG system
├── document_loader.py         # Code for loading and processing PDF documents
├── retriever.py               # Code for indexing and retrieving documents
├── main.py                    # Main script for RAG pipeline
├── requirements.txt           # List of required libraries
├── Dockerfile                 # Dockerfile for containerizing the app
├── .gitignore                 # Ignore sensitive and unnecessary files
├── data/
│   └── uploaded_pdfs/         # Folder to store uploaded PDFs
└── images/
    └── openai_api_setup.png   # Example image for OpenAI API setup instructions

? Petua: Pastikan .env ditambahkan pada fail .gitignore anda untuk mengelak daripada mendedahkan kunci API anda jika anda menolak projek anda ke repositori awam.

Langkah 3: Memahami Struktur Projek
Berikut ialah gambaran keseluruhan ringkas struktur direktori untuk membantu anda menavigasi kod:
Berikut ialah gambaran keseluruhan ringkas struktur direktori untuk membantu anda menavigasi kod:

git clone https://github.com/EzioDEVio/RAG-project.git
cd RAG-project

Setiap fail mempunyai peranan tertentu:

  • app.py: Mengurus antara muka Streamlit, membenarkan pengguna memuat naik fail dan bertanya soalan.
  • document_loader.py: Mengendalikan pemuatan dan pemprosesan PDF menggunakan PyMuPDF.
  • retriever.py: Menggunakan FAISS untuk mengindeks teks dokumen dan mendapatkan semula bahagian yang berkaitan berdasarkan pertanyaan pengguna.
  • main.py: Menghubungkan segala-galanya, termasuk memanggil API OpenAI untuk menjana respons.

Langkah 4: Membina Kod Teras
Sekarang, mari kita selami komponen utama projek.

4.1. Memuatkan Dokumen (document_loader.py)
Fail document_loader.py bertanggungjawab untuk mengekstrak teks daripada PDF. Di sini, kami menggunakan pustaka PyMuPDF untuk memproses setiap halaman dalam PDF dan menyimpan teks.

python -m venv venv
source venv/bin/activate  # On Windows, use `venv\Scripts\activate`

Penjelasan: Fungsi ini membaca semua fail PDF dalam folder tertentu, mengekstrak teks daripada setiap halaman dan menambah teks pada senarai kamus. Setiap kamus mewakili dokumen dengan teks dan nama failnya.

4.2. Pengindeksan dan Pengambilan Dokumen (retriever.py)
FAISS (Facebook AI Similarity Search) membantu kami melakukan carian persamaan. Kami menggunakannya untuk membuat indeks pembenaman dokumen, yang membolehkan kami mendapatkan semula bahagian yang berkaitan apabila pengguna bertanya soalan.

pip install -r requirements.txt

Penjelasan:

create_index: Menukar teks dokumen kepada pembenaman menggunakan OpenAIEmbeddings dan mencipta indeks dengan FAISS.
retrieve_documents: Mencari bahagian dokumen yang berkaitan berdasarkan pertanyaan pengguna.

4.3. Menjana Respons (main.py)
Modul ini memproses pertanyaan pengguna, mendapatkan semula dokumen yang berkaitan dan menjana jawapan menggunakan model bahasa OpenAI.

OPENAI_API_KEY=your_openai_api_key_here

Penjelasan:

generate_response: Mencipta gesaan dengan konteks daripada dokumen yang diambil dan pertanyaan pengguna, kemudian menghantarnya ke API OpenAI. Jawapan kemudiannya dikembalikan sebagai jawapan.

Langkah 5: Mencipta Antara Muka Streamlit (app.py)
Streamlit menyediakan bahagian hadapan interaktif, memudahkan pengguna memuat naik fail dan bertanya soalan.

RAG-project/
├── .env                       # Environment variables (API key)
├── app.py                     # Streamlit app for the RAG system
├── document_loader.py         # Code for loading and processing PDF documents
├── retriever.py               # Code for indexing and retrieving documents
├── main.py                    # Main script for RAG pipeline
├── requirements.txt           # List of required libraries
├── Dockerfile                 # Dockerfile for containerizing the app
├── .gitignore                 # Ignore sensitive and unnecessary files
├── data/
│   └── uploaded_pdfs/         # Folder to store uploaded PDFs
└── images/
    └── openai_api_setup.png   # Example image for OpenAI API setup instructions

Penjelasan:

  • Kod ini mencipta UI ringkas dengan Streamlit, membolehkan pengguna memuat naik PDF dan menaip soalan.
  • Apabila pengguna mengklik "Dapatkan Jawapan", apl itu mendapatkan semula dokumen yang berkaitan dan menjana jawapan.

Langkah 6: Melabuhkan Aplikasi
Docker membenarkan anda membungkus apl ke dalam bekas, menjadikannya mudah untuk digunakan.

Fail Docker

RAG-project/
├── .env                       # Environment variables (API key)
├── app.py                     # Streamlit app for the RAG system
├── document_loader.py         # Code for loading and processing PDF documents
├── retriever.py               # Code for indexing and retrieving documents
├── main.py                    # Main script for RAG pipeline
├── requirements.txt           # List of required libraries
├── Dockerfile                 # Dockerfile for containerizing the app
├── .gitignore                 # Ignore sensitive and unnecessary files
├── data/
│   └── uploaded_pdfs/         # Folder to store uploaded PDFs
└── images/
    └── openai_api_setup.png   # Example image for OpenAI API setup instructions

Penjelasan:

Kami menggunakan binaan berbilang peringkat untuk memastikan imej akhir ramping.
Aplikasi ini berjalan sebagai pengguna bukan root untuk keselamatan.

Menjalankan Kontena Docker

  1. Bina Imej Docker:
git clone https://github.com/EzioDEVio/RAG-project.git
cd RAG-project

  1. Jalankan Bekas:
python -m venv venv
source venv/bin/activate  # On Windows, use `venv\Scripts\activate`

Langkah 7: Menyediakan CI/CD dengan GitHub Actions
Untuk kesediaan pengeluaran, tambah saluran paip CI/CD untuk membina, menguji dan mengimbas imej Docker. Anda boleh menemui fail .github/workflows dalam repositori untuk persediaan ini.

Pemikiran Akhir
Projek ini menggabungkan keupayaan model bahasa OpenAI dengan pengambilan dokumen untuk mencipta alat yang berfungsi dan interaktif. Jika anda menikmati projek ini, sila bintangkan repositori GitHub dan ikuti saya di sini di Komuniti Dev. Mari kita bina lebih banyak projek yang menakjubkan bersama-sama! ?

? Lihat Repositori GitHub ? Repositori GitHub Projek EzioDevIo RAG!

Atas ialah kandungan terperinci Membina Sistem Pengambilan Dokumen & Soal Jawab dengan OpenAI dan Streamlit. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

Video Face Swap

Video Face Swap

Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas

Tutorial PHP
1502
276
Cara Mengendalikan Pengesahan API di Python Cara Mengendalikan Pengesahan API di Python Jul 13, 2025 am 02:22 AM

Kunci untuk menangani pengesahan API adalah untuk memahami dan menggunakan kaedah pengesahan dengan betul. 1. Apikey adalah kaedah pengesahan yang paling mudah, biasanya diletakkan dalam tajuk permintaan atau parameter URL; 2. BasicAuth menggunakan nama pengguna dan kata laluan untuk penghantaran pengekodan Base64, yang sesuai untuk sistem dalaman; 3. OAuth2 perlu mendapatkan token terlebih dahulu melalui client_id dan client_secret, dan kemudian bawa bearertoken dalam header permintaan; 4. Untuk menangani tamat tempoh token, kelas pengurusan token boleh dikemas dan secara automatik menyegarkan token; Singkatnya, memilih kaedah yang sesuai mengikut dokumen dan menyimpan maklumat utama adalah kunci.

Terangkan pernyataan Python. Terangkan pernyataan Python. Jul 07, 2025 am 12:14 AM

Menegaskan adalah alat pernyataan yang digunakan dalam Python untuk menyahpepijat, dan melemparkan pernyataan apabila keadaan tidak dipenuhi. Sintaksnya adalah menegaskan keadaan ditambah maklumat ralat pilihan, yang sesuai untuk pengesahan logik dalaman seperti pemeriksaan parameter, pengesahan status, dan lain -lain, tetapi tidak boleh digunakan untuk pemeriksaan input keselamatan atau pengguna, dan harus digunakan bersamaan dengan maklumat yang jelas. Ia hanya tersedia untuk debugging tambahan dalam peringkat pembangunan dan bukannya menggantikan pengendalian pengecualian.

Cara Menghidupkan Dua Senarai Sekali Python Cara Menghidupkan Dua Senarai Sekali Python Jul 09, 2025 am 01:13 AM

Kaedah yang sama untuk melintasi dua senarai secara serentak dalam Python adalah menggunakan fungsi zip (), yang akan memasangkan beberapa senarai dalam rangka dan menjadi yang paling singkat; Jika panjang senarai tidak konsisten, anda boleh menggunakan itertools.zip_longest () untuk menjadi yang paling lama dan mengisi nilai yang hilang; Digabungkan dengan penghitungan (), anda boleh mendapatkan indeks pada masa yang sama. 1.Zip () adalah ringkas dan praktikal, sesuai untuk lelaran data berpasangan; 2.zip_longest () boleh mengisi nilai lalai apabila berurusan dengan panjang yang tidak konsisten; 3.enumerate (zip ()) boleh mendapatkan indeks semasa traversal, memenuhi keperluan pelbagai senario kompleks.

Apakah petunjuk jenis python? Apakah petunjuk jenis python? Jul 07, 2025 am 02:55 AM

TypehintsinpythonsolvetheproblemofambiguityandpotentialbugsindynamiciallytypodeByallowingDeveloperStospecifyExpectedTypes.theyenhancereadability, enablearlybugdetection, andimprovetoLiaSareAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeAdeSareadDeSareadDeSareadDeSareadDeSaread

Apakah Iterator Python? Apakah Iterator Python? Jul 08, 2025 am 02:56 AM

Inpython, iteratorsareObjectsThatallowLoopingthroughCollectionsByImplementing__iter __ () dan__Next __ ()

Tutorial Python Fastapi Tutorial Python Fastapi Jul 12, 2025 am 02:42 AM

Untuk mewujudkan API moden dan cekap menggunakan Python, FastAPI disyorkan; Ia berdasarkan kepada jenis python standard yang diminta dan secara automatik dapat menghasilkan dokumen, dengan prestasi yang sangat baik. Selepas memasang FastAPI dan Asgi Server UVicorn, anda boleh menulis kod antara muka. Dengan menentukan laluan, menulis fungsi pemprosesan, dan data yang kembali, API boleh dibina dengan cepat. FastAPI menyokong pelbagai kaedah HTTP dan menyediakan sistem dokumentasi Swaggersui dan Redoc yang dihasilkan secara automatik. Parameter URL boleh ditangkap melalui definisi laluan, manakala parameter pertanyaan boleh dilaksanakan dengan menetapkan nilai lalai untuk parameter fungsi. Penggunaan rasional model Pydantic dapat membantu meningkatkan kecekapan dan ketepatan pembangunan.

Cara Menguji API dengan Python Cara Menguji API dengan Python Jul 12, 2025 am 02:47 AM

Untuk menguji API, anda perlu menggunakan Perpustakaan Permintaan Python. Langkah -langkahnya adalah untuk memasang perpustakaan, menghantar permintaan, mengesahkan respons, menetapkan masa dan cuba semula. Pertama, pasang perpustakaan melalui PipinstallRequests; kemudian gunakan permintaan.get () atau requests.post () dan kaedah lain untuk menghantar permintaan GET atau pos; Kemudian semak respons.status_code dan response.json () untuk memastikan hasil pulangan mematuhi jangkaan; Akhirnya, tambah parameter tamat masa untuk menetapkan masa tamat, dan menggabungkan perpustakaan semula untuk mencapai percubaan automatik untuk meningkatkan kestabilan.

Skop pembolehubah python dalam fungsi Skop pembolehubah python dalam fungsi Jul 12, 2025 am 02:49 AM

Dalam Python, pembolehubah yang ditakrifkan di dalam fungsi adalah pembolehubah tempatan dan hanya sah dalam fungsi; Ditakrifkan secara luaran adalah pembolehubah global yang boleh dibaca di mana sahaja. 1. Pembolehubah tempatan dimusnahkan kerana fungsi dilaksanakan; 2. Fungsi ini boleh mengakses pembolehubah global tetapi tidak dapat diubahsuai secara langsung, jadi kata kunci global diperlukan; 3. Jika anda ingin mengubah suai pembolehubah fungsi luar dalam fungsi bersarang, anda perlu menggunakan kata kunci nonlocal; 4. Pembolehubah dengan nama yang sama tidak mempengaruhi satu sama lain dalam skop yang berbeza; 5. Global mesti diisytiharkan apabila mengubah suai pembolehubah global, jika tidak, kesilapan unboundlocalerror akan dibangkitkan. Memahami peraturan ini membantu mengelakkan pepijat dan menulis lebih banyak fungsi yang boleh dipercayai.

See all articles