O que são sistemas de recomendação?

Os sistemas de recomendação utilizam análise de dados em big data e algoritmos de aprendizado de máquina (ML) para ajudar os usuários a descobrir novos conteúdos, produtos ou serviços que talvez não tenham encontrado por conta própria.

Esses sistemas são parte integrante da geração de vendas e do cultivo do engajamento para muitas empresas online, incluindo sites de comércio eletrônico, plataformas de streaming de mídia, mecanismos de pesquisa e redes de mídias sociais.

Um sistema recomendador sugere o próximo filme ou vídeo para assistir, uma música semelhante para ouvir, resultados de pesquisa relevantes ou um produto que complementa um determinado pedido.

As sugestões criadas pelos sistemas de recomendação também desempenham um papel essencial na personalização das experiências dos usuários. De acordo com uma pesquisa da empresa de consultoria McKinsey , a personalização pode aumentar as receitas em 5% a 15%. Além disso, 76% dos clientes sentem frustração quando não têm interações personalizadas.

O mercado de sistemas de recomendação está em expansão. Em 2024, o mercado de mecanismos de recomendação está estimado em 6,88 bilhões de dólares, e esse tamanho de mercado deve triplicar em 5 anos.

Para direcionar sugestões adequadas aos usuários, um sistema de recomendação (também conhecido como mecanismo de recomendação) combina ciência de dados e aprendizado de máquina.

Normalmente, os recomendadores operam em cinco fases para prever as recomendações mais precisas:

Os recomendadores diferem com base no método de filtragem que usam. Existem, em geral, três tipos de mecanismos de recomendação:

Um sistema de filtragem colaborativa filtra sugestões com base na semelhança de um determinado usuário para os outros. Os sistemas de recomendação colaborativos dependem de dados explícitos e implícitos e assumem que usuários com preferências comparáveis provavelmente estarão interessados nos mesmos itens e poderão interagir com eles de maneiras semelhantes no futuro.

A Amazon, por exemplo, utiliza a filtragem colaborativa para recomendações de produtos, assim como o Spotify para seu conteúdo de áudio.

As recomendações de filtragem colaborativa podem oferecer sugestões eficazes e geralmente não precisam de descrições detalhadas de itens. No entanto, a filtragem colaborativa também é propensa ao problema de inicialização a frio, que ocorre quando o sistema tem dados históricos limitados para extrair, especialmente para novos usuários.

Existem dois tipos principais de sistemas de filtragem colaborativa: baseados na memória e baseados no modelo.

Os sistemas baseados em memória representam usuários e itens como uma matriz. Eles são uma extensão do algoritmo k-vizinhos mais próximos (KNN), pois buscam encontrar seus “vizinhos mais próximos,” que podem ser usuários ou itens semelhantes. Os sistemas baseados em memória são subdivididos em dois tipos:

• A filtragem baseada em usuários calcula as semelhanças entre um usuário específico e todos os outros usuários na matriz. As funções de similaridade baseadas em usuários são calculadas entre as linhas da matriz usuário-item.

• A filtragem baseada em itens calcula a similaridade entre itens com base no comportamento do usuário (como os usuários interagem com os itens e não pelas características dos itens). As funções de similaridade baseadas em itens são calculadas entre as colunas da matriz usuário-item.

Como alternativa, os sistemas baseados no modelo criam um modelo preditivo de aprendizado de máquina dos dados. A matriz usuário-item serve como conjunto de dados de treinamento para o modelo, que então produz previsões para valores ausentes, ou seja, itens que um usuário ainda não encontrou e, portanto, serão recomendados.

Um dos algoritmos de filtragem colaborativa baseados no modelo mais comumente usados é a fatoração de matrizes. Este método de redução dimensional decompõe a grande matriz usuário-item em duas matrizes menores: uma para usuários e outra para itens, com um número reduzido de dimensões. Essas duas matrizes são então multiplicadas para prever os valores faltantes (ou as recomendações) na matriz maior.

Uma implementação mais avançada da fatoração de matrizes utiliza deep learning e redes neurais. Outros sistemas baseados em modelo utilizam algoritmos de aprendizado de máquina, como classificadores de Bayes, agrupamento e árvores de decisão.

Um sistema de filtragem baseada no conteúdo filtra recomendações com base nos recursos de um item. Os sistemas de recomendação baseados no conteúdo pressupõem que, se um usuário gosta de um item específico, ele também gostará de outro item semelhante. A filtragem baseada no conteúdo considera as descrições de itens como cor, categoria, preço e outros metadados atribuídos por palavras-chave e tags, juntamente com dados explícitos e implícitos.

Os sistemas de filtragem baseados no conteúdo representam itens e usuários como vetores em um espaço vetorial. A proximidade é usada para determinar a similaridade entre os itens. Quanto mais próximos dois vetores estiverem no espaço, mais semelhantes eles serão considerados. Os vetores semelhantes aos itens anteriores, de acordo com os recursos fornecidos, serão recomendados ao usuário.

Os recomendadores baseados no conteúdo aplicam um classificador ou modelo de regressão baseado no usuário. Descrições e recursos dos itens em que um usuário está interessado atuam como conjunto de dados de treinamento do modelo, que, em seguida, produz previsões para itens recomendados.

Os sistemas de recomendação baseados no conteúdo podem ser aprimorados ainda mais usando tags de processamento de linguagem natural. No entanto, esse processo de marcação pode ser tedioso para grandes volumes de dados.

Ao contrário da filtragem colaborativa, o problema de inicialização a frio é menor, pois a filtragem baseada no conteúdo baseia-se em características de metadados, não em interações anteriores do usuário. No entanto, a filtragem baseada no conteúdo pode ser limitada na exploração de novos itens, pois muitas vezes sugere itens semelhantes àqueles de que os usuários gostaram anteriormente.

Como seu nome implica, um sistema de recomendação híbrido mescla filtragem colaborativa e filtragem baseada no conteúdo.

Como resultado, uma abordagem híbrida pode melhorar muito o desempenho de um mecanismo de recomendação, mas exige arquiteturas avançadas e potência computacional intensa.

A Netflix, por exemplo, usa um sistema de recomendação híbrido para suas recomendações de filmes e séries.

Um mecanismo de recomendação pode agregar valor para as empresas e para os usuários. Aqui estão algumas vantagens que as organizações podem obter ao investirem em sistemas de recomendação:

Recomendar o produto ou serviço certo economiza tempo que os usuários gastariam em uma rolagem interminável por um extenso catálogo. Por exemplo, 80% do que os espectadores assistem na Netflix vem de sugestões impulsionadas por algoritmos de recomendação. Além disso, sugerir conteúdo relevante leva a experiências personalizadas.

De acordo com uma pesquisa da McKinsey, uma experiência do cliente melhorada resulta em maior satisfação do cliente, 20% maior, para ser exato.Clientes satisfeitos se envolvem mais e criam lealdade com uma marca, permitindo que as empresas construam confiança e retenham mais clientes.

A entrega de recomendações personalizadas incentiva os usuários a visualizar e clicar em mais itens, o que pode acabar convertendo leitores em compradores. A McKinsey encontrou um aumento de 10% a 15% nas taxas de conversão de vendas devido a experiências mais positivas e personalizadas do cliente.

A conversão de clientes aumenta as vendas, e as vendas impulsionam a receita. A McKinsey destaca que 35% do que os consumidores compram na Amazon vem de recomendações de produtos. Enquanto isso, a Netflix estima uma economia de mais de 1 bilhão de dólares graças ao seu sistema de recomendação.

Os sistemas de recomendação têm suas limitações e representam desafios para as organizações. Aqui estão algumas das mais comuns:

Os mecanismos de recomendação envolvem a análise e a filtragem de enormes quantidades de dados. Isso requer arquiteturas complexas e um investimento significativo em recursos de computação.

Os sistemas de recomendação precisam ser rápidos o suficiente para determinar e exibir as recomendações corretas em tempo real. Isso se torna ainda mais difícil quando sugestões em tempo real são veiculadas simultaneamente para centenas ou milhares de usuários, quanto mais milhões deles.

A otimização de algoritmos de aprendizado de máquina em torno das métricas erradas pode levar a recomendações irrelevantes. Itens que geralmente são bem avaliados podem ser sugeridos com mais frequência do que os novos ou obscuros ou aqueles com menos avaliações. No entanto, os itens mais populares ou mais comprados podem não ser aqueles nos quais os clientes estão interessados.

Os algoritmos de aprendizado de máquina podem aprender os vieses sociais presentes nos dados (sejam eles os dados coletados, os dados marcados, os dados de treinamento ou as fontes de dados externas) ou com avaliadores humanos que ajustam o modelo. Isso pode resultar em recomendações imprecisas.

Alguns usuários podem optar por não participar das iniciativas de coleta de dados de uma empresa para sistemas de recomendação devido a preocupações com a privacidade. As empresas talvez também precisem considerar os requisitos regulatórios e os padrões de conformidade ao coletar e armazenar dados.

Aqui estão algumas maneiras pelas quais as empresas podem usar sistemas de recomendação. Outros casos de uso e aplicações podem surgir à medida que a tecnologia de recomendadores evolui.