Bagaimana Cara Kerja ChatGPT? Dari Pelatihan hingga Pencarian Web dan Kutipan

Mengetahui cara kerja ChatGPT menjelaskan kekuatan sekaligus kesalahannya, dan memberi tahu apa yang membuat sebuah situs web mungkin dikutip dalam jawabannya. OpenAI meluncurkan ChatGPT pada November 2022; namanya berasal dari GPT, Generative Pre-trained Transformer.

Model apa yang ada di balik ChatGPT?

ChatGPT berjalan di atas model bahasa besar (LLM). LLM adalah model statistik dengan miliaran parameter yang telah mempelajari hubungan antara kata, fakta, dan gaya dari teks. Model ini menyimpan pola yang dipelajari dari teks-teks tersebut dan menggunakannya untuk menghasilkan kelanjutan yang masuk akal dari teks apa pun; halaman-halaman individual tidak disimpan sebagaimana adanya.

Arsitekturnya adalah transformer, yang diperkenalkan oleh peneliti Google dalam makalah Attention Is All You Need pada 2017. Mekanisme intinya, attention, memungkinkan model menimbang setiap kata masukan terhadap setiap kata lainnya, sehingga ia memahami bahwa "itu" dalam sebuah kalimat merujuk pada kata benda tiga baris sebelumnya.

Bagaimana ChatGPT dilatih?

1. Pra-pelatihan

Model membaca korpus teks yang sangat besar (halaman web publik, buku, kode, data berlisensi) dan mempelajari satu tugas: memprediksi token berikutnya. Diulang miliaran kali, tugas sederhana ini memaksanya mempelajari tata bahasa, fakta, pola penalaran, dan banyak bahasa. Hasilnya adalah prediktor teks yang andal yang belum mengikuti instruksi dengan baik.

2. Penyempurnaan terawasi

Manusia menulis contoh jawaban yang baik untuk berbagai prompt, dan model dilatih untuk menirunya. Ia mempelajari format asisten yang membantu: menjawab pertanyaan, menyusun balasan, meminta klarifikasi bila perlu.

3. Pembelajaran penguatan dari umpan balik manusia

Peninjau membandingkan beberapa jawaban untuk prompt yang sama dan memeringkatnya. Sebuah model imbalan mempelajari preferensi tersebut, dan model bahasa kemudian dioptimalkan untuk menghasilkan jawaban yang bernilai tinggi. OpenAI menjelaskan metode ini, yang disebut RLHF, dalam makalah penelitian InstructGPT. Inilah yang membuat ChatGPT sopan, terstruktur, dan lebih berhati-hati dalam menolak permintaan yang berbahaya.

Apa yang terjadi saat Anda mengirim pesan?

Token dan jendela konteks

Token adalah potongan teks: dalam bahasa Inggris, satu token rata-rata sekitar empat karakter, atau tiga perempat kata. Jendela konteks adalah jumlah token yang dapat dipertimbangkan model sekaligus, termasuk percakapan Anda dan dokumen atau halaman web yang dibacanya. Ketika percakapan menjadi terlalu panjang, bagian yang paling lama keluar dari pandangan.

Pembuatan jawaban kata demi kata

Pada setiap langkah, model menghitung probabilitas untuk setiap token berikutnya yang mungkin dan memilih satu, dengan porsi keacakan yang terkontrol. Itulah sebabnya pertanyaan yang sama bisa mendapat jawaban yang sedikit berbeda, dan mengapa ChatGPT menulis dengan lancar bahkan ketika salah: ia mengoptimalkan kelanjutan yang paling mungkin, tanpa memeriksa fakta terhadap sebuah sumber.

Bagaimana ChatGPT mencari di web dan mengutip sumber?

Model hanya mengetahui apa yang ada dalam data pelatihannya, hingga tanggal batas tertentu. Untuk menjawab tentang peristiwa, harga, atau produk terbaru, ChatGPT dapat menjalankan pencarian web. OpenAI mengumumkan fitur ini sebagai ChatGPT search pada Oktober 2024. Asisten menulis ulang pertanyaan Anda menjadi satu atau beberapa kueri, mengambil hasil dari penyedia pencarian dan dari crawler milik OpenAI sendiri, membaca halamannya, dan menulis jawaban dengan tautan ke sumbernya.

Metode ini disebut retrieval-augmented generation (RAG): model menghasilkan teks yang berlandaskan dokumen yang baru saja diambilnya. OpenAI mendokumentasikan crawler-nya di platform pengembang: OAI-SearchBot untuk pencarian, GPTBot untuk pelatihan, dan ChatGPT-User untuk halaman yang dibuka atas nama pengguna. OpenAI menyatakan bahwa situs yang memblokir OAI-SearchBot di robots.txt tidak ditampilkan dalam jawaban pencarian ChatGPT.

Apa batasan ChatGPT?

• Halusinasi: ia dapat menyatakan fakta yang salah, kutipan karangan, atau sumber yang tidak ada dengan penuh percaya diri, karena ia memprediksi teks yang masuk akal.
• Batas pengetahuan: tanpa pencarian web, ia tidak mengetahui apa pun setelah data pelatihannya.
• Batas konteks: dokumen atau percakapan yang sangat panjang melampaui apa yang dapat dipertimbangkannya sekaligus.
• Sensitivitas terhadap pilihan kata: prompt yang sedikit berbeda dapat menghasilkan jawaban yang berbeda, atau daftar merek yang direkomendasikan yang berbeda.
• Pemilihan sumber: saat mencari, ia hanya membaca segelintir halaman, jadi berada di antaranya itu penting.

Apa artinya ini untuk dikutip oleh ChatGPT?

Memahami alurnya memberi daftar periksa yang jelas bagi setiap merek yang ingin muncul dalam jawaban ChatGPT:

1. Izinkan crawler masuk: izinkan OAI-SearchBot di robots.txt, dan sajikan konten dalam HTML yang berfungsi tanpa JavaScript berat.
2. Berperingkat di pencarian klasik: ChatGPT search berangkat dari hasil pencarian, sehingga halaman yang berperingkat baik pada kueri yang mendasarinya lebih mungkin dibaca.
3. Tulis bagian yang mudah diambil: jawaban langsung di bawah setiap subjudul, paragraf pendek yang berdiri sendiri, definisi, tabel, dan angka bersumber.
4. Hadir di tempat ia membaca: ulasan, artikel perbandingan, forum, media, dan Wikipedia membentuk apa yang dikatakan model tentang merek Anda, baik dalam data pelatihan maupun pencarian langsung.
5. Tetap konsisten: nama, deskripsi, dan fakta yang sama di situs Anda dan profil pihak ketiga membantu model mengenali merek Anda sebagai satu entitas.
6. Ukur: ajukan pertanyaan yang diajukan pelanggan Anda dan lihat apakah Anda dikutip. Pemeriksa visibilitas ChatGPT gratis memberi jawaban pertama dalam satu menit.

ChatGPT memprediksi teks dari apa yang dipelajarinya dan, untuk pertanyaan terbaru, dari beberapa halaman web yang dipilihnya untuk dibaca: merek yang dikutipnya adalah yang halamannya mudah ditemukan, mudah diambil, dan dikonfirmasi oleh sumber lain. Untuk memantau kehadiran Anda di ChatGPT, Gemini, dan Claude dari waktu ke waktu dan menerbitkan konten yang dibuat agar dikutip, Sorank melacak prompt Anda dan menulis artikel yang dioptimalkan secara autopilot, dengan uji coba gratis 3 hari.