Mesin gratis
RAG di browser
Pahami pemotongan teks dan pencarian vektor dengan Python, lalu jalankan pipeline RAG penuh di browser: PDF, potongan, embedding, pencarian, jawaban dengan kutipan.
0 dari 3 langkah lulus
Konsep
Memotong teks
Model tidak bisa membaca seluruh dokumen panjang sekaligus, dan jawaban lebih tepat jika model hanya diberi bagian yang relevan. Karena itu RAG (*retrieval-augmented generation*) dimulai dengan memotong dokumen.
Dokumen→potong→embedding→indeks→ambil yang mirip→jawab + kutipan
Dua pengaturan utama:
- Ukuran: panjang tiap potongan. Terlalu kecil, konteks hilang. Terlalu besar, potongan berisi banyak topik.
- Tumpang (*overlap*): bagian yang diulang di awal potongan berikutnya, agar kalimat di batas potongan tidak hilang.
Di unit ini ukuran dihitung dalam karakter supaya mudah dicek. Banyak pustaka menghitung dalam token atau memotong di batas kalimat.
Latihan
Langkah 1
Lengkapi `potong(teks, ukuran)` agar memotong teks menjadi bagian sepanjang `ukuran` karakter. Bagian terakhir boleh lebih pendek.
Python
KosongSel kosong. Kode belum dijalankan.