Apa itu GPT (Generative pre-trained transformer)?

Perusahaan riset AI OpenAI memperkenalkan Model GPT pertama, yang dijuluki GPT-1, pada tahun 2018. Sejak itu, mereka telah merilis beberapa kemajuan dalam lini Model AI GPT. Model GPT terbaru adalah GPT-4, yang dirilis pada awal tahun 2023. Pada bulan Mei 2024, OpenAI mengumumkan GPT-4o¹ multibahasa dan multimodal, yang mampu memproses input audio, visual, dan teks secara real-time.

Sebagai Model dasar, GPT telah mengalami penyempurnaan berturut-turut dan diadaptasi ke berbagai tugas spesifik hilir. Di luar aplikasi berbasis teks, GPT mendukung aplikasi kecerdasan buatan (AI) yang menghasilkan dan menganalisis gambar melalui visi komputer, menulis kode, memproses data, dan banyak lagi. Aplikasi-aplikasi ini terhubung ke GPT melalui antarmuka pemrograman aplikasi (API), yang memungkinkan mereka untuk mengirimkan data bolak-balik.

Model GPT telah mempercepat pengembangan AI generatif berkat arsitektur transformator, sejenis jaringan neural yang diperkenalkan pada tahun 2017 dalam makalah Google Brain Attention Is All You Need². Model transformator termasuk GPT dan BERT telah mendukung banyak perkembangan penting dalam AI generatif sejak saat itu, dengan chatbot ChatGPT dari OpenAI yang menjadi pusat perhatian.

Selain OpenAI, perusahaan lain telah merilis Model AI generatif mereka sendiri, termasuk Claude dari Anthropic, Pi dari Inflection, dan Gemini dari Google, yang sebelumnya dikenal sebagai Bard. Sementara itu, OpenAI mendukung layanan Copilot AI Microsoft.

Fleksibilitas Model transformator seperti GPT menjadikannya cocok untuk berbagai contoh penggunaan. Kemampuan GPT untuk menyediakan pembuatan teks seperti manusia membuatnya menjadi pilihan utama untuk:

• Chatbot dan asisten suara
• Pembuatan konten dan pembuatan teks
• Penerjemahan bahasa
• Pembuatan ringkasan dan konversi konten
• Analisis data
• Pengkodean
• Pelayanan Kesehatan

Chatbot bertenaga GPT dapat terasa lebih manusiawi daripada opsi layanan pelanggan otomatis standar. Melalui API, organisasi dapat menghubungkan GPT dengan aplikasi suara untuk menciptakan asisten suara yang mampu menanggapi pernyataan yang lebih kompleks dan menyediakan layanan tanya jawab percakapan.

Dengan prompt yang efektif, Model GPT dapat menghasilkan konten teks mulai dari teks konten media sosial pendek hingga postingan blog dan email yang lengkap. Selain itu, penulis dapat menggunakan GPT untuk menguraikan atau membuat ide konten yang kemudian mereka tulis sendiri, merampingkan alur kerja pembuatan konten.

Menggunakan GPT untuk menghasilkan konten secara langsung untuk penerbitan dapat menimbulkan masalah pelanggaran kekayaan intelektual—salah satu risiko utama penggunaan GPT.

Aplikasi bertenaga GPT dapat menerjemahkan bahasa secara real-time dari sumber tertulis dan audio. Dalam demo langsung³, GPT-4o menunjukkan kemampuan untuk menerjemahkan secara real-time secara mandiri.

GPT dapat memproses dan meringkas dokumen yang panjang, seperti pernyataan hukum atau laporan bisnis. GPT juga dapat menulis ulang konten dalam gaya yang ditentukan oleh pengguna. Sebagai contoh, pengguna dapat memberikan laporan triwulanan sebagai data masukan, kemudian meminta laporan tersebut diringkas dalam poin-poin yang jenaka.

GPT dapat memproses data dalam volume besar menjadi insight yang mudah dicerna. Melalui API, aplikasi lain dapat menggunakan GPT untuk membuat bagan, grafik, dan jenis visualisasi data lainnya. Organisasi yang memasukkan data internal ke GPT dapat mengekspos diri mereka terhadap pelanggaran cybersecurity atau melanggar peraturan perlindungan data.

Model GPT dapat mempelajari bahasa pemrograman dan menghasilkan potongan kode. Pengguna biasanya memperoleh hasil yang lebih baik saat memperlakukan GPT sebagai asisten pengkodean daripada memintanya membangun aplikasi lengkap dari awal. Semua konten yang dihasilkan GPT, termasuk kode, harus ditinjau sebelum digunakan untuk membantu memastikan keakuratan dan penggunaan wajar.

Pada bulan Februari 2024, Perpustakaan Kedokteran Nasional AS merilis makalah yang menguraikan potensi aplikasi GPT di bidang kesehatan. Ini termasuk akses yang konsisten untuk pasien di daerah terpencil serta pilihan perawatan yang dipersonalisasi. Namun, makalah ini juga mencakup berbagai kelemahan, seperti masalah privasi dan keterbatasan pengetahuan.

Model GPT bekerja dengan menganalisis urutan input dan menerapkan matematika kompleks untuk memprediksi output yang paling mungkin. Model ini menggunakan probabilitas untuk mengidentifikasi kata berikutnya yang terbaik dalam sebuah kalimat, berdasarkan semua kata sebelumnya. Sebagai jenis teknologi AI pembelajaran mendalam, GPT menggunakan pemrosesan bahasa alami (NLP) untuk memahami prompt pengguna dan menghasilkan respons mirip manusia yang relevan.

Ketika pengguna memasukkan perintah berbasis teks, GPT menciptakan respons yang paling mungkin berdasarkan data pelatihannya yang terdiri dari miliaran sumber data teks yang tersedia untuk umum, mulai dari karya sastra terkenal hingga kode sumber terbuka.

Luasnya kumpulan data pelatihannya adalah alasan GPT mampu meniru kemampuan pemahaman bahasa seperti manusia. Model GPT skala besar menerapkan pembelajaran mendalam untuk memproses konteks dan menarik pengetahuan dari teks yang relevan dalam data pelatihan mereka untuk memprediksi respons optimal.

Kekuatan model GPT berasal dari dua aspek utama:

• Prapelatihan generatif yang mengajarkan model untuk mendeteksi pola pada data yang tidak berlabel, kemudian menerapkan pola tersebut pada input baru.

• Arsitektur transformator yang memungkinkan model memproses semua bagian dari urutan input secara paralel.

Prapelatihan generatif adalah proses melatih model bahasa besar pada data yang tidak berlabel, mengajarkan model untuk mengenali berbagai data dan mengasah kemampuannya untuk membuat prediksi yang akurat. GPT menghasilkan data baru dengan menerapkan pola dan struktur data prapelatihan mereka ke input pengguna.

Prapelatihan generatif adalah bentuk pembelajaran tanpa pengawasan, di mana model diberi data tanpa label dan dipaksa untuk memahaminya sendiri. Dengan belajar mendeteksi pola dalam kumpulan data yang tidak berlabel, model machine learning memperoleh kemampuan untuk menarik kesimpulan serupa ketika mendapat input baru, seperti prompt pengguna di ChatGPT.

Model GPT dilatih dengan miliaran atau bahkan triliunan parameter: variabel internal yang disempurnakan oleh model selama proses pelatihan dan yang menentukan bagaimana perilakunya. Saat ini, OpenAI belum menyampaikan detail yang tepat tentang GPT-4, meskipun model ini diperkirakan akan memiliki sekitar 1,8 triliun parameter⁴ dengan peningkatan lebih dari sepuluh kali lipat dari GPT-3.5.

Model transformator adalah jenis neural networks yang terspesialisasi dalam pemrosesan bahasa alami: mengidentifikasi maksud dan makna dalam input berbasis teks. Model ini dapat memproses input secara dinamis dan berfokus pada kata-kata yang paling penting, di mana pun kata-kata itu berada dalam kalimat.

Model GPT tidak memahami bahasa dengan cara yang sama seperti manusia. Sebaliknya, model GPT memproses kata-kata menjadi unit-unit terpisah yang disebut token, dengan beberapa kata dipecah menjadi beberapa token. Dengan mengevaluasi semua token sekaligus, transformator unggul dalam membangun ketergantungan jarak jauh: hubungan antara token yang jauh. GPT bergantung pada pemahamannya tentang dependensi jarak jauh untuk memproses input secara kontekstual.

Model transformator memproses data dengan dua modul yang dikenal sebagai encoder dan decoder, sekaligus menggunakan mekanisme perhatian mandiri untuk membangun ketergantungan dan hubungan.

Mekanisme perhatian mandiri adalah fitur khas transformator, memberdayakan mereka untuk memproses seluruh urutan input sekaligus. Transformator dapat mengarahkan sendiri "perhatian" mereka ke token yang paling penting dalam urutan input, di mana pun mereka berada.

Sebaliknya, recurrent neural networks (RNN) dan convolutional neural networks (CNN) yang lebih lama menilai data input secara berurutan atau hierarkis. Perhatian mandiri memungkinkan GPT untuk memproses konteks dan menjawab panjang lebar dengan bahasa yang terasa alami, daripada sekadar menebak kata berikutnya dalam sebuah kalimat.

Pengodean adalah proses pemetaan token ke ruang vektor tiga dimensi virtual. Token yang dikodekan di dekat ruang 3D diasumsikan memiliki makna yang lebih mirip. Vektorisasi matematis dari input sequence ini dikenal sebagai penyematan.

Blok encoder dalam jaringan transformator menetapkan bobot setiap penyematan, yang menentukan kepentingan relatifnya. Sementara itu, encoder posisi menangkap semantik, memungkinkan model GPT untuk membedakan antara pengelompokan kata-kata yang sama tetapi dalam urutan yang berbeda—misalnya, "Telur datang sebelum ayam" dibandingkan dengan "Ayam datang sebelum telur."

Decoder memprediksi respons yang paling mungkin secara statistik terhadap penyematan yang disiapkan oleh encoder. Mekanisme perhatian mandiri memungkinkan decoder untuk mengidentifikasi bagian yang paling penting dari urutan input, sementara algoritma tingkat lanjut menentukan output yang paling mungkin benar.

Sejak rilis GPT pada tahun 2018, OpenAI tetap berada di garis depan perbincangan tentang AI generatif yang sedang berlangsung. Selain produk unggulan mereka ChatGPT, perusahaan ini juga telah mengupayakan pembuatan gambar dengan DALL-E serta video generatif melalui Sora.

OpenAI merilis model GPT debutnya. Kinerjanya sangat mengesankan pada waktu itu, dan berfungsi sebagai bukti konsep untuk apa yang akan dicapai oleh perkembangan selanjutnya. GPT-1 mampu menjawab pertanyaan dengan cara yang mirip manusia dan merespons permintaan pembuatan teks, menyoroti contoh penggunaannya di masa depan dalam chatbot dan pembuatan konten.

GPT-1 relatif rentan terhadap halusinasi atau konfabulasi, di mana GPT akan menyajikan informasi yang salah seolah-olah itu faktual. Jawabannya menunjukkan bahwa OpenAI belum mengasah kemampuan GPT untuk mengidentifikasi ketergantungan jarak jauh dan merangkai respons bentuk panjang yang akurat.

Model OpenAI berikutnya memiliki 1,5 miliar parameter, yang meningkatkan kinerjanya. GPT-2 lebih berhasil daripada pendahulunya dalam hal mempertahankan koherensi pada respons yang lebih lama, menunjukkan bahwa deteksi ketergantungan jarak jauhnya jauh lebih mapan.

GPT-2 dirilis secara bertahap, dengan beberapa Model kapasitas terbatas tersedia sebelum versi lengkap. Dalam pernyataan⁵, OpenAI menjelaskan bahwa perilisan yang tertunda ini diperlukan untuk mengurangi potensi penyalahgunaan dan masalah etika lainnya. OpenAI menyebutkan bagaimana Model tersebut dapat digunakan untuk meniru orang lain secara online, membuat berita yang menyesatkan, dan mengotomatiskan konten cyberbullying dan phishing.

Meskipun CEO OpenAI, Sam Altman, telah berulang kali membuat seruan publik untuk regulasi pemerintah tentang AI, perusahaan ini juga secara pribadi melobi agar Undang-Undang AI Uni Eropa tidak terlalu ketat⁶. Rumusan akhir dari undang-undang tersebut, yang disetujui oleh Parlemen Eropa pada bulan Juni 2024, tampaknya sejalan dengan rekomendasi perusahaan.

Dengan 175 miliar parameter—lebih dari seratus kali lebih banyak dari pendahulunya—GPT-3 muncul sebagai salah satu LLM terbesar pada saat itu. Kemampuannya jauh melampaui Model sebelumnya dalam garis keturunannya. Versi gratis ChatGPT masih didukung oleh GPT-3.5, versi terbaru dari GPT-3.

Sementara kinerja GPT-3 mencerminkan kekuatan dan ukuran tambahannya, tuntutan pelatihannya juga meroket. Sumber daya komputasi dan energi yang dibutuhkan untuk melatih LLM yang besar tersebut menimbulkan kekhawatiran mengenai jejak karbon dan airnya⁷. Sebagai tanggapannya, OpenAI mengembangkan metode pelatihan baru yang meningkatkan efisiensi proses pelatihan.

Versi GPT saat ini adalah yang paling kuat dari OpenAI, mengungguli pendahulunya dalam hal kualitas konten dan penghindaran bias. Versi GPT ini berada di belakang versi premium ChatGPT, memberikan pelanggan fungsionalitas dan kinerja yang lebih besar daripada versi gratis dari layanan ini yang bertenaga GPT-3.5.

Namun, model ini juga merupakan model yang paling banyak menggunakan sumber daya dalam keluarga GPT, dengan salah satu estimasi biaya operasional harian sebesar USD 700.000⁸. Ketika LLM terus tumbuh, perdebatan terus berlanjut tentang biaya versus manfaat potensial. Laporan Goldman Sachs yang diterbitkan pada Juni 2024⁹ fokus pada contoh penggunaan AI generatif yang mungkin terbatas dibandingkan dengan biaya naik untuk melatih dan memelihara model.

GPT-4 Turbo, iterasi model saat ini, memiliki batas pengetahuan April 2023. Ini berarti bahwa data pelatihan atau basis pengetahuannya tidak mencakup konten online apa pun yang dirilis setelah titik itu.

Diperkenalkan pada bulan Mei 2024, GPT-4o bersifat multibahasa, mendukung konten dalam banyak bahasa non-Inggris. GPT-4o juga multimoda, mampu memproses prompt gambar, audio, dan video sambil menghasilkan teks, gambar, dan konten audio sebagai respons. Menurut OpenAI, GPT-4o 50% lebih murah dan dua kali lebih cepat¹⁰ dengan pembuatan teks dibandingkan GPT-4 Turbo.

Sementara GPT dan Model AI generatif lainnya telah banyak diberitakan di media, penggunaannya bukan tanpa risiko. Organisasi dan individu yang ingin memasukkan GPT ke dalam alur kerja mereka harus menyadari potensi risikonya, termasuk:

• Privasi dan kerahasiaan data

• Pelanggaran kekayaan intelektual dan konflik kepemilikan

• Output tidak akurat

• Bias Model

Setiap data yang dimasukkan ke dalam GPT tersedia untuk digunakan saat memproses kueri lain dan dapat digunakan oleh OpenAI untuk melatih Model lain. Hal ini tidak hanya menimbulkan risiko keamanan untuk data rahasia, tetapi juga menempatkan organisasi pada risiko melanggar kewajiban kontrak dan hukum untuk perlindungan data.

OpenAI melatih Modelnya pada materi berhak cipta. Meskipun perusahaan membela pilihan ini sebagai penggunaan yang wajar, perusahaan telah menjadi sasaran tindakan hukum, termasuk gugatan dari The New York Times¹¹ yang diajukan pada bulan Desember 2023. Output yang dihasilkan oleh AI dapat mengandung konten berhak cipta, dan penggunaannya dapat melanggar batasan hak cipta jika tidak diperiksa dan diedit oleh manusia sebelumnya.

OpenAI juga mendapat kecaman ketika salah satu suara ChatGPT-nya diduga didasarkan pada suara aktor Scarlett Johansson¹², yang berperan sebagai suara AI futuristik dalam film Her pada tahun 2013. OpenAI sejak itu berhenti menggunakan suara tersebut itu dalam produknya.

Output yang dihasilkan GPT tidak dijamin benar secara faktual. Model AI generatif dapat mengalami halusinasi atau konfabulasi AI, di mana algoritma mereka mendeteksi pola dalam data yang tidak ada. Konfabulasi menyebabkan Model menghasilkan konten yang tidak akurat yang disajikan kepada pengguna seolah-olah merupakan fakta yang dapat diandalkan. Kecenderungan ini yang berkaitan dengan ChatGPT telah dieksplorasi panjang lebar dalam makalah tahun 2024 oleh Hicks dan yang lainnya¹³.

Bias Model adalah perbedaan antara prediksi Model berdasarkan data pelatihannya dan apa yang terjadi di dunia nyata. GPT dilatih pada banyak data internet, dan karena konten ini dibuat oleh orang, GPT dapat berisi pandangan diskriminatif—terkadang disengaja, sering kali tidak. Ketika AI diintegrasikan ke dalam bidang kepolisian, perawatan kesehatan, dan bidang lain dalam kehidupan sehari-hari, bias AI dapat mengakibatkan konsekuensi dunia nyata.