Pemrosesan bahasa alami, atau NLP, menggabungkan linguistik komputasi, yaitu pemodelan berbasis aturan bahasa manusia, dengan model statistik dan machine learning untuk memungkinkan komputer dan perangkat digital mengenali, memahami, dan menghasilkan teks dan ucapan.
Sebuah cabang kecerdasan buatan (AI), NLP terletak di jantung aplikasi dan perangkat yang dapat
- menerjemahkan teks dari satu bahasa ke bahasa lain
- merespons perintah yang diketik atau diucapkan
- mengenali atau mengautentikasi pengguna berdasarkan suara
- meringkas volume besar teks
- menilai maksud atau sentimen teks atau ucapan
- menghasilkan teks atau grafik atau konten lain sesuai permintaan
sering kali secara real time. Saat ini kebanyakan orang telah berinteraksi dengan NLP dalam bentuk sistem GPS yang dioperasikan dengan suara, asisten digital, perangkat lunak dikte speech to text, chatbot layanan pelanggan, dan kenyamanan konsumen lainnya. Namun, NLP juga memainkan peran yang semakin besar dalam solusi perusahaan yang membantu merampingkan dan mengotomatiskan operasi bisnis, meningkatkan produktivitas karyawan, dan menyederhanakan proses bisnis yang sangat penting.
Gunakan kerangka kerja pemilihan model ini untuk memilih model yang paling tepat sambil menyeimbangkan kebutuhan kinerja Anda dengan biaya, risiko, dan kebutuhan penerapan.
Daftar untuk mendapatkan buku putih tentang tata kelola AI
Bahasa manusia dipenuhi dengan ambiguitas yang membuatnya sangat sulit untuk menulis perangkat lunak yang secara akurat menentukan makna yang dimaksudkan dari data teks atau suara. Homonim, homofon, sarkasme, idiom, metafora, tata bahasa dan pengecualian penggunaan, variasi dalam struktur kalimat, ini hanya beberapa dari ketidakteraturan bahasa manusia yang membutuhkan waktu bertahun-tahun untuk dipelajari, tetapi para pemrogram harus mengajari aplikasi berbasis bahasa alami untuk mengenali dan memahami secara akurat sejak awal, jika ingin aplikasi tersebut berguna.
Beberapa tugas NLP memecah data teks dan suara manusia dengan cara yang membantu komputer memahami apa yang diserap. Beberapa tugas ini meliputi:
- Pengenalan suara, yang juga disebut speech-to-text, adalah tugas untuk mengubah data suara menjadi data teks secara andal. Pengenalan ucapan diperlukan untuk aplikasi apa pun yang mengikuti perintah suara atau menjawab pertanyaan lisan. Yang membuat pengenalan suara sangat menantang adalah cara orang berbicara, cepat, pengucapan kata-kata yang tidak jelas, dengan penekanan dan intonasi yang berbeda-beda, dengan aksen yang berbeda, dan sering kali menggunakan tata bahasa yang salah.
- Penandaan bagian dari ucapan, juga disebut penandaan tata bahasa, adalah proses menentukan bagian ucapan dari kata atau bagian teks tertentu berdasarkan penggunaan dan konteksnya. Bagian dari ucapan mengidentifikasi 'make' sebagai kata kerja dalam 'I can make a paper plane,' dan sebagai kata benda dalam 'What make of a car do you own?' dalam bahasa Inggris.
- Disambiguasi arti kata adalah pemilihan arti kata yang memiliki banyak arti melalui proses analisis semantik yang menentukan kata yang paling masuk akal dalam konteks tertentu. Misalnya, disambiguasi arti kata membantu membedakan arti kata kerja bahasa Inggris 'make' dalam 'make the grade' (mencapai) vs. 'make a bet' (menempatkan).
- Named Entity Recognition, atau NEM, mengidentifikasi kata atau frasa sebagai entitas yang berguna. NEM mengidentifikasi 'Kentucky' sebagai lokasi atau 'Fred' sebagai nama pria.
- Resolusi referensi bersama adalah tugas untuk mengidentifikasi jika dan ketika dua kata merujuk pada entitas yang sama. Contoh yang paling umum adalah menentukan orang atau objek yang dirujuk oleh kata ganti tertentu (misalnya, 'dia' = 'Maria'), tetapi juga dapat melibatkan identifikasi metafora atau idiom dalam teks (misalnya, contoh di mana 'beruang' bukanlah hewan, melainkan manusia bertubuh besar dan berbulu).
- Analisis sentimen mencoba mengekstrak kualitas subjektif (sikap, emosi, sarkasme, kebingungan, kecurigaan) dari teks.
- Pembuatan bahasa alami terkadang digambarkan sebagai kebalikan dari pengenalan suara atau speech-to-text; ini adalah tugas untuk memasukkan informasi terstruktur ke dalam bahasa manusia.
Lihat postingan blog “NLP vs NLU vs NLG: perbedaan antara tiga konsep pemrosesan bahasa alami" untuk melihat lebih dalam tentang bagaimana konsep ini berhubungan.
Studio perusahaan baru yang menyatukan machine learning tradisional dengan kemampuan AI generatif baru yang didukung oleh model dasar.
Python dan Toolkit Bahasa Alami (NLTK)
Bahasa pemrograman Python menyediakan berbagai alat dan pustaka untuk menyerang tugas NLP tertentu. Banyak di antaranya ditemukan di Toolkit Bahasa Alami, atau NLTK, kumpulan pustaka, program, dan sumber daya pendidikan sumber terbuka untuk membangun program NLP.
NLTK mencakup pustaka untuk banyak tugas NLP yang tercantum di atas, ditambah pustaka untuk sub-tugas, seperti penguraian kalimat, segmentasi kata, stemming dan pembuatan lema (metode pemangkasan kata hingga ke akarnya), dan tokenisasi (untuk memecah frasa, kalimat, paragraf, dan teks ke dalam token yang membantu komputer memahami teks dengan lebih baik). Ini juga mencakup pustaka untuk menerapkan kemampuan seperti penalaran semantik, kemampuan untuk mencapai kesimpulan logis berdasarkan fakta yang diekstrak dari teks.
NLP statistik, machine learning, dan pembelajaran mendalam
Aplikasi NLP yang paling awal adalah sistem berbasis aturan yang ditulis tangan yang dapat melakukan tugas-tugas NLP tertentu, tetapi tidak dapat dengan mudah mengukur untuk mengakomodasi aliran pengecualian yang tampaknya tak ada habisnya atau volume data teks dan suara yang terus meningkat.
Kemudian hadir NLP statistik, yang menggabungkan algoritma komputer dengan machine learning dan model pembelajaran mendalam untuk secara otomatis mengekstrak, mengklasifikasikan, dan memberi label elemen teks dan data suara dan kemudian menetapkan kemungkinan statistik untuk setiap makna yang mungkin dari elemen-elemen tersebut. Saat ini, model pembelajaran mendalam dan teknik pembelajaran berdasarkan jaringan neural konvolusional (CNN) dan jaringan neural berulang (RNN) memungkinkan sistem NLP yang 'belajar' saat bekerja dan mengekstrak makna yang lebih akurat dari volume besar kumpulan data teks dan suara yang mentah, tidak terstruktur, dan tidak berlabel.
Untuk menyelami lebih dalam nuansa antara teknologi ini dan pendekatan pembelajarannya, lihat “AI vs Machine Learning vs Pembelajaran Mendalam vs. Jaringan Neural: Apa Perbedaannya?”
Pemrosesan bahasa alami adalah kekuatan pendorong di balik kecerdasan mesin di banyak aplikasi dunia nyata modern. Berikut ini beberapa contohnya:
- Deteksi spam: Anda mungkin tidak menganggap deteksi spam sebagai solusi NLP, tetapi teknologi deteksi spam terbaik menggunakan kemampuan klasifikasi teks NLP untuk memindai email untuk mencari bahasa yang sering kali mengindikasikan spam atau phishing. Indikator-indikator ini dapat mencakup penggunaan istilah keuangan yang berlebihan, tata bahasa yang buruk, bahasa yang mengancam, urgensi yang tidak tepat, nama perusahaan yang salah eja, dan banyak lagi. Deteksi spam adalah salah satu dari segelintir masalah NLP yang oleh para pakar dianggap 'sebagian besar telah terpecahkan' (meskipun Anda mungkin berpendapat bahwa ini tidak sesuai dengan pengalaman email Anda).
- Terjemahan mesin: Google Translate adalah contoh teknologi NLP yang tersedia secara luas di tempat kerja. Terjemahan mesin yang benar-benar berguna melibatkan lebih dari mengganti kata-kata dalam satu bahasa dengan kata-kata dari bahasa lain. Penerjemahan yang efektif harus mampu menangkap secara akurat makna dan nada dari bahasa masukan dan menerjemahkannya ke dalam teks dengan makna yang sama dan dampak yang diinginkan dalam bahasa keluaran. Alat terjemahan mesin membuat kemajuan yang baik dalam hal akurasi. Cara yang bagus untuk menguji alat terjemahan mesin apa pun adalah menerjemahkan teks ke satu bahasa dan kemudian kembali ke aslinya. Contoh klasik yang sering dikutip: Belum lama ini, menerjemahkan "Roh itu rela tetapi dagingnya lemah" dari bahasa Inggris ke bahasa Rusia dan sebaliknya menghasilkan "Vodka itu enak tetapi dagingnya busuk." Saat ini, hasilnya adalah "Roh memang menginginkan, tetapi daging lemah," yang belum sempurna, tetapi menginspirasi lebih banyak kepercayaan dalam terjemahan bahasa Inggris ke bahasa Rusia.
- Agen virtual dan chatbot: Agen virtual seperti Siri dari Apple dan Alexa dari Amazon menggunakan pengenalan suara untuk mengenali pola dalam perintah suara dan menghasilkan bahasa alami untuk merespons dengan tindakan yang sesuai atau komentar yang membantu. Chatbots melakukan keajaiban yang sama dalam menanggapi entri teks yang diketik. Yang terbaik dari mereka juga belajar mengenali petunjuk kontekstual tentang permintaan manusia dan menggunakannya untuk memberikan respons atau pilihan yang lebih baik dari waktu ke waktu. Peningkatan berikutnya untuk aplikasi ini adalah penjawab pertanyaan, kemampuan untuk menanggapi pertanyaan kami, baik yang diantisipasi ataupun tidak, dengan jawaban yang relevan dan bermanfaat dengan kata-kata mereka sendiri.
- Analisis sentimen media sosial: NLP telah menjadi alat bisnis yang penting untuk mengungkap insight data tersembunyi dari saluran media sosial. Analisis sentimen dapat menganalisis bahasa yang digunakan dalam postingan media sosial, tanggapan, ulasan, dan lainnya untuk mengekstrak sikap dan emosi dalam menanggapi produk, promosi, dan acara, segala informasi yang dapat digunakan perusahaan dalam desain produk, kampanye iklan, dan lainnya.
- Peringkasan teks: Peringkasan teks menggunakan teknik NLP untuk mencerna teks digital dalam jumlah besar dan membuat ringkasan serta sinopsis untuk indeks, database penelitian, atau pembaca yang sibuk dan tidak memiliki waktu untuk membaca teks lengkap. Aplikasi ringkasan teks terbaik menggunakan penalaran semantik dan pembuatan bahasa alami (NLG) untuk menambahkan konteks dan kesimpulan yang berguna pada ringkasan.
Mempercepat nilai bisnis kecerdasan buatan dengan portofolio pustaka, layanan, dan aplikasi yang kuat dan fleksibel.
Menanamkan AI bahasa alami yang canggih ke dalam aplikasi komersial dengan pustaka dalam kontainer yang dirancang agar mitra IBM mendapat fleksibilitas yang lebih besar.
Pelajari konsep dasar untuk AI dan AI generatif, termasuk rekayasa prompt, model bahasa yang besar, dan proyek sumber terbuka terbaik.
Pelajari tentang berbagai contoh penggunaan NLP dalam penjelasan NLP ini.
Kunjungi situs web IBM Developer untuk mengakses blog, artikel, buletin, dan lainnya. Jadilah mitra IBM dan tanamkan AI yang dapat disematkan IBM Watson ke dalam solusi komersial Anda hari ini. BM Watson NLP Library untuk Embed ke dalam solusi Anda.
Tonton IBM Data & AI GM, Rob Thomas saat ia menjadi tuan rumah bagi para pakar dan klien NLP, menunjukkan bagaimana teknologi NLP mengoptimalkan bisnis di seluruh industri.
Pertimbangan etis untuk AI tidak pernah sepenting saat ini.
IBM telah meluncurkan toolkit sumber terbuka baru, PrimeQA, untuk memacu kemajuan dalam sistem penjawab pertanyaan multibahasa untuk memudahkan siapa saja menemukan informasi di web dengan cepat.