As funções de perda são específicas do aprendizado supervisionado, cujas tarefas de treinamento pressupõem a existência de uma resposta correta: a verdade absoluta. Algoritmos convencionais de aprendizado não supervisionado, como agrupamento ou associação, não envolvem respostas “certas” ou “erradas”, pois buscam exclusivamente descobrir padrões intrínsecos em dados não rotulados.

O aprendizado supervisionado requer conjuntos de dados rotulados, nos quais as anotações manuais fornecem a verdade absoluta para cada amostra de treinamento. Por exemplo, os modelos de segmentação de imagens exigem amostras de treinamento com cada pixel anotado de acordo com sua classe correta. No aprendizado autossupervisionado, que mascara ou transforma partes de amostras de dados não rotuladas e modelos de tarefas com a sua reconstrução, a própria amostra original serve como verdade absoluta.

As funções de perda não são simplesmente métricas de avaliação. Seu propósito explícito não é apenas medir o sucesso do modelo, mas também servir como entrada para um algoritmo que otimiza os parâmetros do modelo para minimizar a perda.

Algoritmos de otimização, como gradiente descendente, normalmente usam o gradiente da função de perda. O gradiente é a derivada de uma função com múltiplas variáveis. Essencialmente, uma derivada descreve a taxa e a quantidade com que a saída de uma função está mudando em qualquer ponto. Portanto, é importante que as funções de perda sejam diferenciáveis: em outras palavras, ter uma derivada em todos os pontos.

Os modelos de aprendizado de máquina aprendem a fazer previsões precisas por meio de ajustes em determinados parâmetros do modelo. Por exemplo, um algoritmo de regressão linear simples modela dados com a função y = wx+b, onde y é a saída do modelo, x é a entrada, w é um peso e b é o viés. O modelo aprende ao atualizar os termos do peso e viés até que a função de perda tenha sido suficientemente minimizada. 

Usando o gradiente da função de perda, os algoritmos de otimização determinam a direção em que os parâmetros do modelo devem ser "escalonados" para descer o gradiente e, assim, reduzir a perda.

Modelos de deep learning empregam grandes redes neurais artificiais, compreendendo camadas de neurônios interconectados, cada um com sua própria função de ativação não linear, em vez de depender de uma função singular. Para diferenciar toda a rede, é necessário calcular as derivadas parciais de centenas, milhares ou até milhões de variáveis separadas e funções de ativação em relação umas às outras.

 Para isso, as redes neurais usam a retropropagação para encontrar o gradiente da função de perda após uma passagem para a frente, que termina com uma previsão em um ponto de dados do conjunto de dados de treinamento. Abreviação de propagação retroativa de erros, a retropropagação começa com a saída da função de perda. Em uma passagem para trás pela rede da camada de saída para a camada de entrada, a retropropagação usa a regra da cadeia para calcular como cada peso e viés individual na rede contribuiu para a perda geral. 

Então, o gradiente resultante de derivadas parciais para toda a rede pode ser usado por algoritmos de gradiente descendente para atualizar iterativamente os pesos da rede até que a perda tenha sido suficientemente minimizada.

Embora os modelos sejam treinados e validados fazendo previsões em um conjunto de dados de treinamento, um bom desempenho em exemplos de treinamento não é o objetivo final. O verdadeiro objetivo do aprendizado de máquina é treinar modelos que generalizem bem para novos exemplos.

Basear-se apenas na minimização de uma função de perda singular é chamado de "minimização empírica de risco". Embora tenha um apelo óbvio e simples, há o risco de um modelo se ajustar demais aos dados de treinamento e, portanto, generalizar mal. Para reduzir esse risco, entre outras finalidades, muitos algoritmos e arquiteturas introduzem termos de regularização, que modificam a função de perda primária.

Por exemplo, o erro absoluto médio (MAE), que neste contexto é chamado de regularização L1, pode ser usado para impor a dispersão penalizando o número de neurônios ativados em uma rede neural ou a magnitude de sua ativação.

A função de perda de erro quadrático médio, também chamada perda L2 ou perda quadrática, é geralmente o padrão para a maioria dos algoritmos de regressão. Como o próprio nome sugere, o MSE é calculado como a média das diferenças quadráticas entre o valor previsto e o valor real em todos os exemplos de treinamento. A fórmula para calcular o MSE em n pontos de dados é escrita como $\frac{1}{n}\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2$, em que y é o valor verdadeiro e ŷ é o valor previsto.

Quadrar o erro significa que o valor resultante é sempre positivo: dessa forma, o MSE avalia apenas a magnitude do erro, não sua direção. A quadratura do erro também causa um impacto desproporcionalmente pesado na perda geral, o que pune fortemente os valores discrepantes e incentiva o modelo a reduzi-los. O MSE é, portanto, adequado quando se presume que as saídas-alvo tenham uma distribuição normal (gaussiana).

O MSE é sempre diferenciável, o que o torna prático para otimizar modelos de regressão por meio de gradiente descendente.
 

Erro logarítmico quadrático médio (MSLE)
Para problemas de regressão em que os resultados-alvo têm uma gama muito ampla de valores potenciais, como aqueles que envolvem crescimento exponencial, a penalização pesada de grandes erros pode ser contraproducente. O erro logarítmico quadrático médio (MSLE) compensa esse problema ao calcular a média dos quadrados do logaritmo natural das diferenças entre os valores previstos e médios. No entanto, vale a pena observar que o MSLE atribui uma penalidade maior às previsões muito baixas do que às previsões muito altas.

A fórmula para o MSLE é escrita como $\frac{1}{n}\sum _{i=1}^n\left({\log }_e\right(1+y_i)-{\log }_e(1+\widehat{y_i}){)}^2$

Raiz do erro quadrático médio (RMSE)
A raiz do erro quadrado médio é a raiz quadrada do MSE, o que a torna intimamente relacionada à fórmula para desvios padrões. Especificamente, o RMSE é calculado como  $\sqrt{\frac{\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2}{n}}$ .

O RMSE, portanto, reflete amplamente as qualidades do MSE em termos de sensibilidade a valores discrepantes, mas é mais fácil de interpretar porque expressa perda nas mesmas unidades que o próprio valor de produção. Esse benefício é um pouco moderado pelo fato de que o cálculo do RSME exige outra etapa em comparação com o cálculo do MSE, o que aumenta os custos de computação.

O erro absoluto médio ou perda L1, mede a diferença absoluta média entre o valor previsto e o valor real. Assim como o MSE, o MAE é sempre positivo e não distingue entre estimativas muito altas ou muito baixas. É calculado como a soma do valor absoluto de todos os erros dividida pelo tamanho da amostra:  $\frac{1}{n}\sum _{i=1}^n|y_i-\widehat{y_i}|$

Como não eleva cada valor de perda ao quadrado, o MAE é mais resistente a valores discrepantes do que o MSE. Portanto, o MAE é ideal quando os dados podem conter alguns valores extremos que não deverim afetar excessivamente o modelo. A perda L1 também penaliza mais os pequenos erros do que a perda L2. 

A função de perda de MAE não é diferenciável nos casos em que a saída prevista corresponde à saída real. Portanto, o MAE exige mais etapas de soluções alternativas durante a otimização.

A perda de Huber, também chamada de perda L1 suave, visa equilibrar os pontos fortes do MAE e do MSE. Ela incorpora um hiperparâmetro ajustável, δ, que atua como um ponto de transição: para valores de perda abaixo ou iguais a δ, a perda de Huber é quadrática (como o MSE); para valores de perda maiores que δ, a perda de Huber é linear (como o MAE).

 $L_{\delta }=\{<!--\; -->\begin{array}{cc}\frac{1}{2}(y-\hat{y}{)}^2& if\left|(y-\hat{y})\right|<\delta \\ \delta (\left|(y-\hat{y})\right|-\frac{1}{2}\delta )& otherwiSe\end{array}$

Portanto, a perda de Huber oferece uma função totalmente diferenciável com a robustez do MAE a valores discrepantes e a facilidade de otimização do MSE por meio de descida de gradiente. A transição do comportamento quadrático para linear em δ também resulta em uma otimização menos propensa a problemas como desaparecimento ou explosão de gradientes em comparação com a perda do MSE.

Esses benefícios são moderados pela necessidade de definir cuidadosamente δ, adicionando complexidade ao desenvolvimento do modelo. A perda de Huber é mais apropriada quando nem o MSE nem o MAE conseguem produzir resultados satisfatórios, como quando um modelo deve ser robusto a valores discrepantes, mas ainda penalizar severamente valores extremos que estão além de um limite específico.

Problemas de classificação multiclasses podem ser abordados de duas maneiras. Uma abordagem é calcular a probabilidade relativa de um ponto de dados pertencer a cada categoria potencial e, então, selecionar a categoria com a maior probabilidade atribuída. Essa abordagem é normalmente empregada por redes neurais, usando uma função de ativação softmax para neurônios na camada de saída. A abordagem alternativa é dividir o problema em uma série de problemas de classificação binária.

Na maioria dos casos, a perda de classificação é calculada em termos de entropia. Entropia, em linguagem simples, é uma medida de incerteza dentro de um sistema. Para um exemplo intuitivo, compare o lançamento de moeda com o lançamento de dado: o primeiro tem menor entropia, pois há menos resultados potenciais em um lançamento de moeda (2) do que em um lançamento de dado (6).

No aprendizado supervisionado, as previsões do modelo são comparadas com as classificações de verdade absoluta fornecidas pelos rótulos de dados. Esses rótulos de verdade absoluta são certos e, portanto, têm baixa ou nenhuma entropia. Dessa forma, podemos medir a perda em termos da diferença de certeza que teríamos ao usar os rótulos de verdade absoluta em relação à certeza dos rótulos previstos pelo modelo.

A fórmula para a perda de entropia cruzada (CEL) é derivada da fórmula da divergência de Kullback-Leibler (divergência de KL), que mede a diferença entre duas distribuições de probabilidade. Em última análise, minimizar a perda implica minimizar a diferença entre a distribuição da verdade absoluta das probabilidades atribuídas a cada rótulo potencial e as probabilidades relativas para cada rótulo previsto pelo modelo.

Entropia cruzada binária (perda logarítmica)
A perda de entropia cruzada binária, também chamada de perda logarítmica, é usada para classificação binária. Os algoritmos de classificação binária normalmente produzem um valor de probabilidade entre 0 e 1. Por exemplo, em um modelo de detecção de spam por e-mail, as entradas de e-mail que resultam em saídas mais próximas de 1 podem ser rotuladas como “spam”. Entradas que produzem saídas mais próximas de 0 seriam classificadas como “não spam”. Uma saída de 0,5 indicaria incerteza ou entropia máxima. 

Embora o algoritmo produza valores entre 0 e 1, os valores da verdade absoluta para as previsões corretas são exatamente “0” ou “1”. Minimizar a perda de entropia cruzada binária, portanto, implica não apenas penalizar as previsões incorretas, mas também penalizar as previsões com baixa certeza. Isso incentiva o modelo a aprender parâmetros que produzem previsões que não são apenas corretas, mas também confiáveis. Além disso, focar nos logaritmos dos valores de verossimilhança previstos faz com que o algoritmo penalize mais fortemente as previsões que estão confiantemente erradas.

Para manter a convenção comum de valores de perda mais baixos significando menos erro, o resultado é multiplicado por -1. A perda logarítmica para um único exemplo i é, portanto, calculada como $–(y_i·\log (p\left(y_i\right))+(1-y_i)·\log (1-p\left(y_i\right)\left)\right)$ , onde y_i é a probabilidade verdadeira (0 ou 1) e p(y_i) é a probabilidade prevista. Então, a perda média em todo um conjunto de n exemplos de treinamento é calculada como  $–\frac{1}{n}\sum _{i=1}^n{y}_i·log\left(p\right(y_i\left)\right)+(1-y_i)·log(1-p(y_i\left)\right)$ .

Perda categórica de entropia cruzada
A perda categórica de entropia cruzada (CCEL) aplica esse mesmo princípio à classificação multiclasses. Um modelo de classificação multiclasses geralmente gera um valor para cada classe potencial, representando a probabilidade de uma entrada pertencer a cada categoria respectiva. Em outras palavras, produz previsões como uma distribuição de probabilidades.

No deep learning, os classificadores de redes neurais normalmente usam uma função de ativação softmax para neurônios na camada de saída. O valor de cada neurônio de saída é mapeado para um número entre 0 e 1, com os valores somando coletivamente 1.

Por exemplo, em um ponto de dados contendo apenas uma categoria potencial, os valores da verdade absoluta para cada previsão compreendem "1" para a classe verdadeira e "0" para cada classe incorreta. Minimizar o CCEL implica aumentar o valor de saída para a classe correta e diminuir os valores de saída para as classes incorretas, aproximando a distribuição de probabilidade da verdade absoluta. Para cada exemplo, a perda logaritmica deve ser calculada para cada classificação potencial prevista pelo modelo.

Perda de articulação é uma função de perda alternativa para problemas de classificação binária e é particularmente adequada para otimizar modelos de máquina de vetores de suporte (SVM) . Especificamente, é uma função de perda eficaz para otimizar um limite de decisão que separa duas classes: depois disso, os pontos podem ser classificados de acordo com o lado do limite de decisão em que se encontram.

Em algoritmos que usam perda de articulação, o valor da verdade absoluta de cada rótulo binário é mapeado para {-1, 1} em vez de {0,1}. A função de perda de articulação ℓ é definida como ℓ(𝑦)=max(0,1−𝑡⋅𝑦), onde t é o rótulo verdadeiro e y é a saída do classificador. O resultado desta equação é sempre não negativo: se 1−𝑡⋅𝑦 é negativo (o que só é possível quando t e y têm o mesmo sinal porque o modelo previu a perda de classe correta), em vez disso, é definido como 0.

Isso proporciona várias possibilidades e incentivos:

• Quando as previsões do modelo estão corretas e confiantes, ou seja, quando y é o sinal correto e |y| ≥ 1 (o valor de 1) t⋅y será negativo e, portanto, ℓ = 0.
   

• Quando as previsões do modelo estão corretas, mas não confiantes (ou seja, quando y é o sinal correto, mas |y| < 1), o valor de ℓ será positivo, entre 0 e 1. Isso desencoraja as previsões não confiantes.
   

• Quando as previsões do modelo estão incorretas, ou seja, quando y é o sinal incorreto, o valor de ℓ será maior que 1 e aumentará linearmente com o valor de |y|. Isso desencoraja fortemente as previsões incorretas.