Introdução
A inteligência artificial (IA) está cada vez mais presente em nosso dia a dia, e as métricas de IA desempenham um papel fundamental na avaliação do desempenho e eficácia dos sistemas de IA. Neste glossário, vamos explorar as principais métricas de IA utilizadas para medir o desempenho de algoritmos de aprendizado de máquina e redes neurais.
Acurácia
A acurácia é uma das métricas mais comuns e simples de se calcular em um modelo de IA. Ela mede a proporção de previsões corretas feitas pelo modelo em relação ao total de previsões realizadas. A acurácia é calculada pela divisão do número de previsões corretas pelo número total de previsões.
Precisão e Revocação
A precisão e a revocação são métricas complementares que são frequentemente utilizadas em conjunto para avaliar o desempenho de um modelo de IA. A precisão mede a proporção de previsões corretas entre todas as previsões positivas feitas pelo modelo, enquanto a revocação mede a proporção de previsões corretas entre todas as instâncias positivas no conjunto de dados.
F1-Score
O F1-Score é uma métrica que combina a precisão e a revocação em um único número, levando em consideração tanto os falsos positivos quanto os falsos negativos. O F1-Score é calculado pela média harmônica da precisão e da revocação, fornecendo uma medida mais equilibrada do desempenho do modelo.
Matriz de Confusão
A matriz de confusão é uma ferramenta visual que permite analisar o desempenho de um modelo de IA em diferentes classes de previsão. Ela mostra o número de verdadeiros positivos, falsos positivos, verdadeiros negativos e falsos negativos feitos pelo modelo, facilitando a identificação de possíveis erros e áreas de melhoria.
Curva ROC e Área sob a Curva (AUC)
A curva ROC (Receiver Operating Characteristic) é uma representação gráfica do desempenho de um modelo de classificação binária em diferentes limiares de decisão. A área sob a curva (AUC) é uma métrica que quantifica a capacidade de separação das classes pelo modelo, sendo uma medida comum de desempenho em problemas de classificação.
Entropia Cruzada
A entropia cruzada é uma métrica utilizada para medir a diferença entre a distribuição de probabilidade prevista pelo modelo e a distribuição real dos dados. Ela é frequentemente utilizada como função de perda em problemas de classificação, ajudando o modelo a ajustar seus parâmetros de forma a minimizar a divergência entre as distribuições.
Erro Quadrático Médio (MSE)
O erro quadrático médio (MSE) é uma métrica comum em problemas de regressão que mede a média dos quadrados dos erros entre as previsões do modelo e os valores reais. O MSE fornece uma medida da dispersão dos erros em relação à média, sendo uma métrica importante para avaliar a precisão de modelos de regressão.
Coeficiente de Determinação (R²)
O coeficiente de determinação (R²) é uma métrica que quantifica a proporção da variabilidade dos dados que é explicada pelo modelo de regressão. O R² varia de 0 a 1, sendo 1 indicativo de um modelo perfeito que explica toda a variabilidade dos dados, e 0 indicativo de um modelo que não explica nada da variabilidade.
Perplexidade
A perplexidade é uma métrica utilizada em modelos de linguagem para avaliar a qualidade das previsões feitas pelo modelo. Ela mede o quão surpreso o modelo está com uma determinada sequência de palavras, sendo uma medida comum de desempenho em problemas de geração de texto e tradução automática.
BLEU Score
O BLEU Score é uma métrica utilizada para avaliar a qualidade de traduções automáticas em relação a traduções humanas de referência. Ele compara a sobreposição de palavras entre a tradução automática e as traduções de referência, fornecendo uma medida objetiva da qualidade da tradução gerada pelo modelo de IA.