O processamento de linguagem natural, ou PLN, combina linguística computacional, modelagem baseada em regras da linguagem humana, com modelos estatísticos e de aprendizado de máquina para possibilitar que computadores e dispositivos digitais reconheçam, entendam e gerem texto e voz.
Ramo da inteligência artificial (IA), o PLN está no centro de aplicações e dispositivos capazes de
- traduzir texto de um idioma para outro
- responder a comandos digitados ou ditados
- reconhecer ou autenticar usuários com base na voz
- resumir grandes volumes de texto
- avaliar a intenção ou o sentimento do texto ou da voz
- gerar texto, gráficos ou outros conteúdos sob demanda
muitas vezes em tempo real. Atualmente, a maioria das pessoas interagiu com o PLN sob a forma de sistemas de GPS operados por voz, assistentes digitais, software de ditado de voz para texto, chatbot para atendimento ao cliente e outras praticidades de consumo. Mas o PLN também desempenha um papel cada vez maior nas soluções empresariais que ajudam a simplificar e automatizar as operações de negócios, aumentar a produtividade dos funcionários e simplificar processos de negócios importantes.
Use essa estrutura de seleção de modelo para escolher o modelo mais apropriado e equilibrar seus requisitos de desempenho com custos, riscos e necessidades de implantação.
Cadastre-se para receber o white paper sobre governança de IA
A linguagem humana está repleta de ambiguidades que tornam incrivelmente difícil escrever um software que determine com precisão o significado pretendido de dados de texto ou voz. Homônimos, homófonos, sarcasmo, expressões idiomáticas, metáforas, exceções gramaticais e de uso, variações na estrutura das frases, essas são apenas algumas das irregularidades da linguagem humana que levam anos para os humanos aprenderem, mas que os programadores devem ensinar os aplicativos baseados em linguagem natural a reconhecer e entender com precisão desde o início para esses aplicativos serem úteis.
Várias tarefas de PLN dividem dados de texto e voz humanos de maneiras que ajudam o computador a entender o que está ingerindo. Algumas dessas tarefas incluem o seguinte:
- O reconhecimento de voz, também chamado de voz para texto, é a tarefa de converter de forma confiável dados de voz em dados de texto. O reconhecimento de voz é necessário para qualquer aplicativo que siga comandos de voz ou responda a perguntas vozdas. O que torna o reconhecimento de voz especialmente desafiador é a maneira como as pessoas vozm – rapidamente, juntando as palavras, com ênfase e entonação variadas, com sotaques diferentes e, muitas vezes, usando gramática incorreta.
- A marcação de trechos em voz, também chamada de marcação gramatical, é o processo que determina a classe gramatical de uma determinada palavra ou trecho de texto com base em seu uso e contexto. A classe gramatical identifica "make" (fazer) como um verbo em "I can make a paper plane" (posso fazer um avião de papel) e como o substantivo "marca" em "What make of car do you own?" (Qual a marca do seu carro?).
- A desambiguação do sentido da palavra é a seleção do significado de uma palavra com múltiplos significados por meio de um processo de análise semântica que determina a palavra que faz mais sentido no contexto determinado. Por exemplo, a desambiguação do sentido da palavra ajuda a distinguir o significado do verbo "fazer" em "fazer a nota" (alcançar) versus "fazer uma aposta" (apostar).
- O Named Entity Recognition, ou NEM, identifica palavras ou frases como entidades úteis. NEM identifica "Kentucky" como um local ou "Fred" como o nome de um homem.
- A resolução de correferência é a tarefa de identificar se e quando duas palavras se referem à mesma entidade. O exemplo mais comum é determinar a pessoa ou objeto ao qual um determinado pronome se refere (por exemplo, "ela" = "Maria"), mas também pode envolver a identificação de uma metáfora ou um idioma no texto (por exemplo, um caso em que "urso" não é um animal, mas uma pessoa grande e peluda).
- A análise de sentimento tenta extrair qualidades subjetivas do texto, como atitudes, emoções, sarcasmo, confusão e suspeita.
- A geração de linguagem natural às vezes é descrita como o oposto do reconhecimento de voz ou da voz para texto. É a tarefa de colocar informações estruturadas em linguagem humana.
Veja a publicação do blog “PLN vs. NLU vs. NLG: as diferenças entre três conceitos de processamento de linguagem natural" para ter uma visão mais detalhada de como esses conceitos se relacionam.
O novo estúdio empresarial que combina aprendizado de máquina tradicional com novas IA generativas alimentadas por modelos de base.
Python e o Natural Language Toolkit (NLTK)
A linguagem de programação Python disponibiliza uma ampla gama de ferramentas e bibliotecas para lidar com tarefas específicas de PLN. Muitas delas estão no no Natural Language Toolkit, ou NLTK, uma coleção de bibliotecas em código aberto, programas e recursos educacionais para a criação de programas de PLN.
O NLTK contém bibliotecas para muitas das tarefas de PLN listadas acima, além de bibliotecas para subtarefas, como análise de frases, segmentação de palavras, stemming e lematização (métodos para reduzir as palavras até suas raízes) e tokenização (para dividir frases, sentenças, parágrafos e passagens em tokens que ajudam o computador a entender melhor o texto). Contém também bibliotecas para implementar recursos como raciocínio semântico, a capacidade de chegar a conclusões lógicas com base em fatos extraídos do texto.
PLN estatístico, aprendizado de máquina e deep learning
As primeiras aplicações de PLN eram sistemas programados manualmente e baseados em regras capazes de executar certas tarefas de PLN, mas que não podiam ser facilmente dimensionadas para acomodar um fluxo aparentemente interminável de exceções ou os volumes crescentes de dados de texto e voz.
Entre na PLN estatística, que combina algoritmos de computador com modelos de aprendizado automático e deep learning para extrair, classificar e rotular automaticamente elementos de dados de texto e voz e, em seguida, atribuir uma probabilidade estatística a cada significado possível desses elementos. Atualmente, os modelos de deep learning e as técnicas de aprendizado baseadas em redes neurais convolucionais (CNNs) e redes neurais recorrentes (RNNs) possibilitam que os sistemas de PLN "aprendam" enquanto trabalham e extraiam significados cada vez mais precisos de grandes volumes de conjuntos de dados de texto e voz brutos, não estruturados e não rotulados.
Para um mergulho mais profundo nas nuances entre essas tecnologias e suas abordagens de aprendizado, consulte “IA vs. Aprendizado de máquina vs. Deep Learning vs. Redes Neurais: qual é a diferença?”
O processamento de linguagem natural é a força motriz por trás da inteligência de máquina em muitas aplicações modernas do mundo real. Alguns exemplos:
- Detecção de spam: você pode não pensar na detecção de spam como uma solução de PLN, mas as melhores tecnologias de detecção de spam utilizam os recursos de classificação de texto do PLN para verificar e-mails em busca de linguagem que geralmente indique spam ou phishing. Esses indicadores podem incluir o uso excessivo de termos financeiros, gramática ruim característica, linguagem ameaçadora, urgência inadequada, nomes de empresas com erros ortográficos e outros. A detecção de spam é um dos poucos problemas de PLN que os especialistas consideram "bastante resolvidos" (embora você possa argumentar que isso não corresponde à sua experiência de e-mail).
- Tradução automática: o Google Tradutor é um exemplo de tecnologia de PLN amplamente disponível. A tradução automática verdadeiramente útil envolve mais do que substituir palavras de um idioma por palavras de outro. A tradução eficaz precisa capturar com precisão o significado e o tom do idioma de origem e traduzi-lo em texto com o mesmo significado e impacto desejados no idioma de destino. As ferramentas de tradução automática estão progredindo bem em termos de precisão. Uma ótima maneira de testar qualquer ferramenta de tradução automática é traduzir o texto para um idioma e depois voltar para o original. Um exemplo clássico frequentemente citado: não faz muito tempo, traduzir “The spirit is willing but the flesh is weak” do inglês (o espírito está pronto, mas a carne é fraca) para o russo e vice-versa resultava em “The vodka is good but the meat is rotten” (a vodka é boa mas a carne está podre). Hoje, o resultado correspondente é "O espírito deseja, mas a carne é fraca", o que não é perfeito, mas inspira muito mais confiança na tradução de inglês para russo.
- Agentes virtuais e chatbots: agentes virtuais como o Siri da Apple e o Alexa da Amazon utilizam reconhecimento de voz para reconhecer padrões em comandos de voz e geração de linguagem natural para responder com ação apropriada ou comentários úteis. Os chatbots fazem a mesma mágica em resposta a entradas de texto digitadas. Os melhores também aprendem a reconhecer pistas contextuais sobre solicitações humanas e a usá-las para apresentar respostas ou opções ainda melhores com o passar do tempo. O próximo aprimoramento para esses aplicativos é responder perguntas, a capacidade de responder às nossas perguntas, antecipadas ou não, com respostas relevantes e úteis em suas próprias palavras.
- Análise de sentimento de redes sociais: oPLN tornou-se uma ferramenta de negócios essencial para descobrir informações essenciais de dados ocultos de canais de redes sociais. A análise de sentimento pode analisar a linguagem utilizada em publicações em redes sociais, respostas, avaliações e outros para extrair atitudes e emoções em resposta a produtos, promoções e eventos, informações que as empresas podem usar no projeto de produtos, campanhas publicitárias e outros.
- Resumo de texto: o resumo de texto utiliza técnicas de PLN para digerir grandes volumes de texto digital e criar resumos e sinopses para índices, bancos de dados de pesquisa ou leitores ocupados que não têm tempo para ler o texto completo. Os melhores aplicativos de resumo de texto utilizam raciocínio semântico e geração de linguagem natural (GLN) para adicionar contexto e conclusões úteis aos resumos.
Acelere o valor comercial da inteligência artificial com um portfólio poderoso e flexível de bibliotecas, serviços e aplicativos.
Integre IA de linguagem natural avançada às suas aplicações comerciais por meio de uma biblioteca conteinerizada, criada para dar mais flexibilidade aos parceiros da IBM.
Conheça os conceitos fundamentais de IA e IA generativa, incluindo engenharia de prompts, grandes modelos de linguagem e os melhores projetos em código aberto.
Saiba mais sobre diversos casos de uso de PLN nesta explicação de PLN.
Acesse o site do IBM Developer para acessar blogs, artigos, boletins informativos e outros. Seja parceiro IBM e integre a IA integrável do IBM Watson em suas soluções comerciais hoje mesmo. IBM Watson NLP Library para incorporar em suas soluções.
Assista ao IBM Data & AI GM com Rob Thomas, em que ele apresenta especialistas e clientes em PLN, mostrando como as tecnologias de PLN estão otimizando negócios de todos os setores.
As considerações éticas para a IA ficaram muito mais críticas hoje.
A IBM lançou um novo kit de ferramentas de código aberto, o PrimeQA, para estimular o progresso em sistemas de perguntas e respostas multilíngues para facilitar a localização rápida de informações na web.