El procesamiento de lenguaje natural, o PLN, combina la lingüística computacional (modelado del lenguaje humano basado en reglas) con modelos estadísticos y de aprendizaje automático para permitir que las computadoras y los dispositivos digitales reconozcan, comprendan y generen texto y voz.
El NLP se encuentra en el centro de las aplicaciones y dispositivos que pueden:
- Traducir texto de un idioma a otro
- Responder a comandos escritos o hablados
- Reconocer o autenticar a los usuarios en función de la voz
- Resumir grandes volúmenes de texto
- Evaluar la intención o el sentimiento del texto o voz
- Generar texto o gráficos u otro contenido bajo demanda
a menudo en tiempo real. Hoy en día, la mayoría de las personas ha interactuado con el NLP en forma de sistemas GPS operados por voz, asistentes digitales, software de dictado de voz a texto, chatbots de atención al cliente y otras comodidades para el consumidor. Pero el NLP también desempeña un papel cada vez más importante en las soluciones empresariales que ayudan a optimizar y automatizar las operaciones comerciales, aumentar la productividad de los empleados y simplificar los procesos comerciales de misión crítica.
Utilice este marco de selección de modelos para elegir el modelo más apropiado mientras equilibra sus requisitos de rendimiento con los costos, los riesgos y las necesidades de despliegue.
Regístrese para obtener el informe técnico sobre la gobernanza de la IA
El lenguaje humano está lleno de ambigüedades que hacen que sea increíblemente difícil escribir software que determine con precisión el significado deseado de los datos de texto o voz. Homónimos, homófonos, sarcasmo, modismos, metáforas, excepciones gramaticales y de uso, variaciones en la estructura de la oración: estas son solo algunas de las irregularidades del lenguaje humano que los seres humanos tardan años en aprender, pero que los programadores deben enseñar a las aplicaciones basadas en el lenguaje natural a reconocer y comprender con exactitud desde el principio para garantizar su eficacia.
Varias tareas del PLN desglosan los datos de texto y voz humanos de maneras que ayudan a la computadora a dar sentido a lo que ingiere. Entre estas tareas se incluyen las siguientes:
- El reconocimiento de voz, también llamado voz a texto, es la tarea de convertir de manera confiable datos de voz en datos de texto. El reconocimiento de voz es necesario para cualquier aplicación que siga comandos de voz o responda preguntas habladas. Lo que hace que el reconocimiento de voz sea especialmente complejo es la forma en que las personas hablan: rápidamente, arrastrando las palabras, con diferentes énfasis y entonación, con diferentes acentos y, a menudo, con una gramática incorrecta.
- El etiquetado de parte de la oración, también llamado etiquetado gramatical, es el proceso de determinar la función gramatical de una palabra o fragmento de texto en particular en función de su uso y contexto. La parte de la oración identifica "marca" como verbo en "Lo que marca la diferencia" y como sustantivo en "¿De qué marca es su automóvil?".
- La desambiguación del sentido de las palabras es la selección del significado de una palabra con múltiples significados a través de un proceso de análisis semántico que determina la palabra que tiene más sentido en el contexto dado. Por ejemplo, la desambiguación del sentido de las palabras ayuda a distinguir el significado del verbo "hacer" en "hacer lo necesario" (lograr algo) versus "hacer una apuesta" (realizar).
- El reconocimiento de entidades nombradas, o NEM, identifica palabras o frases como entidades útiles. NEM identifica "Kentucky" como una ubicación o "Fred" como el nombre de un hombre.
- La resolución de correferencias es la tarea de identificar si dos palabras se refieren a la misma entidad y cuándo lo hacen. El ejemplo más común es determinar la persona u objeto al que se refiere un determinado pronombre (por ejemplo, "ella" = "María"), pero también puede implicar identificar una metáfora o un modismo en el texto (por ejemplo, un caso en el que "oso" no es un animal, sino una persona grande y velluda).
- El análisis de sentimiento intenta extraer del texto cualidades subjetivas (actitudes, emociones, sarcasmo, confusión, sospecha).
- La generación de lenguaje natural a veces se describe como lo opuesto al reconocimiento de voz o conversión de voz a texto; es la tarea de transformar información estructurada en lenguaje humano.
Vea la publicación del blog "PLN vs. CLN vs. GLN: las diferencias entre tres conceptos de procesamiento del lenguaje natural" para entender mejor cómo se relacionan estos conceptos.
El nuevo estudio empresarial que aúna el aprendizaje automático tradicional con las nuevas capacidades de IA generativa impulsadas por modelos fundacionales
Python y el kit de herramientas de lenguaje natural (NLTK)
El lenguaje de programación Python proporciona una amplia variedad de herramientas y bibliotecas para abordar tareas específicas del PLN. Muchas de estas se encuentran en Natural Language Toolkit, o NLTK, una colección de código abierto de bibliotecas, programas y recursos educativos para crear programas de PLN.
El NLTK incluye bibliotecas para muchas de las tareas de PLN enumeradas anteriormente, además de bibliotecas para subtareas, como análisis sintáctico de oraciones, segmentación de palabras, derivación y lematización (métodos para recortar palabras a sus raíces) y tokenización (para dividir frases, oraciones, párrafos y pasajes en fichas que ayudan a la computadora a comprender mejor el texto). También incluye bibliotecas para implementar capacidades como el razonamiento semántico, la capacidad de llegar a conclusiones lógicas basadas en hechos extraídos del texto.
PLN estadístico, machine learning y deep learning
Las primeras aplicaciones de PLN eran sistemas codificados manualmente y basados en reglas que podían realizar ciertas tareas de PLN, pero no podían escalar fácilmente para adaptarse a un flujo aparentemente interminable de excepciones o los crecientes volúmenes de datos de texto y voz.
Así surgió el PLN estadístico, que combina algoritmos informáticos con modelos de machine learning y deep learning para extraer, clasificar y etiquetar automáticamente elementos de texto y datos de voz y luego asignar una probabilidad estadística a cada posible significado de esos elementos. Hoy en día, los modelos de deep learning y las técnicas de aprendizaje basadas en redes neuronales convolucionales (CNN) y redes neuronales recurrentes (RNN) permiten que los sistemas de PLN "aprendan" mientras trabajan y extraen un significado cada vez más preciso de grandes volúmenes de datos de texto y voz sin formato, sin estructura y sin etiquetas.
Para descubrir más acerca de las características de estas tecnologías y sus enfoques de aprendizaje, vea "IA vs. machine learning vs. deep learning vs. redes neuronales: ¿cuál es la diferencia?".
.
El procesamiento del lenguaje natural es la fuerza impulsora detrás de la inteligencia artificial en muchas aplicaciones modernas del mundo real. Estos son algunos ejemplos:
– Detección de spam
– Traducción automática
– Agentes virtuales y chatbots
– Análisis de sentimiento en las redes sociales
– Resumen de textos
- Detección de spam
Es posible que no piense en la detección de spam como una solución de PLN, pero las mejores tecnologías de detección de spam utilizan las capacidades de clasificación de texto de PLN para escanear correos electrónicos en busca de lenguaje que a menudo indica spam o phishing.
Estos indicadores pueden incluir el uso excesivo de términos financieros, gramática deficiente característica, lenguaje amenazante, urgencia inapropiada, nombres de empresas mal escritos, entre otros. La detección de spam es uno de los pocos problemas de PLN que los expertos consideran "prácticamente resueltos" (aunque puede argumentar que esto no coincide con su experiencia de correo electrónico). - Traducción automática
Google Translate es un ejemplo de tecnología de PLN ampliamente disponible en el trabajo. La traducción automática verdaderamente útil implica más que reemplazar palabras en un idioma con palabras de otro. La traducción eficaz tiene que capturar con precisión el significado y el tono del idioma de entrada y traducirlo a texto con el mismo significado e impacto deseado en el idioma de salida.
Las herramientas de traducción automática están haciendo un buen progreso en términos de precisión. Una excelente manera de probar cualquier herramienta de traducción automática es traducir el texto a un idioma y luego volver al original. Un ejemplo clásico citado con frecuencia: no hace mucho tiempo, al traducir “The spirit is willing but the flesh is weak” del inglés al ruso y viceversa, se produjo “The vodka is good but the meat is rotten”. Hoy en día, el resultado es “El espíritu desea, pero la carne es débil”, que no es perfecto, pero inspira mucha más confianza en la traducción del inglés al ruso. - Agentes virtuales y chatbots
Los agentes virtuales, como Siri de Apple y Alexa de Amazon, utilizan el reconocimiento de voz para reconocer patrones en los comandos de voz y la generación de lenguaje natural para responder con la acción adecuada o comentarios útiles. Los chatbots realizan la misma magia en respuesta a las entradas de texto escritas.
Los mejores también aprenden a reconocer pistas contextuales sobre solicitudes humanas y las utilizan para proporcionar respuestas u opciones aún mejores a lo largo del tiempo. La siguiente mejora para estas aplicaciones es la respuesta a preguntas, la capacidad de responder a nuestras preguntas, anticipadas o no, con respuestas relevantes y útiles en sus propias palabras. - Análisis de sentimiento en las redes sociales
El PLN se ha convertido en una herramienta comercial esencial para descubrir insights de datos ocultos de los canales de redes sociales.
El análisis de sentimientos puede analizar el lenguaje utilizado en las publicaciones en redes sociales, respuestas, reseñas y más para extraer actitudes y emociones en respuesta a productos, promociones y eventos: información que las empresas pueden usar en diseños de productos, campañas publicitarias y más. - Resumen de textos
El resumen de textos utiliza técnicas de PLN para digerir enormes volúmenes de texto digital y crear resúmenes y sinopsis para índices, bases de datos de investigación o lectores ocupados que no tienen tiempo de leer el texto completo. Las mejores aplicaciones de resumen de textos utilizan el razonamiento semántico y la generación de lenguaje natural (GLN) para añadir contexto y conclusiones útiles a los resúmenes.
Acelere el valor de negocio de la inteligencia artificial con una cartera potente y flexible de bibliotecas, servicios y aplicaciones.
Incorpore una poderosa IA de lenguaje natural a las aplicaciones comerciales con una biblioteca en contenedores diseñada para dotar a los asociados de IBM de una mayor flexibilidad.
Aprenda los conceptos fundamentales de la IA y la IA generativa, incluida la ingeniería rápida, los modelos de lenguaje de gran tamaño y los mejores proyectos de código abierto.
Conozca los diferentes casos de uso de PLN en esta explicación.
Visite el sitio web de IBM Developer para acceder a blogs, artículos, boletines y más. Conviértase en asociado de IBM e infunda la IA integrable de IBM Watson en sus soluciones comerciales hoy mismo. IBM Watson NLP Library for Embed en sus soluciones.
Vea a Rob Thomas, director general de datos e IA de IBM, mientras recibe a expertos y clientes de PLN, demostrar cómo las tecnologías de PLN están optimizando los negocios en todas las industrias.
Las consideraciones éticas para la IA nunca han sido tan importantes como ahora.
IBM ha lanzado un nuevo kit de herramientas de código abierto, PrimeQA, para impulsar el progreso en los sistemas multilingües de preguntas y respuestas para facilitar a cualquier persona la búsqueda rápida de información en la web.