Regras simples identificam aproximadamente 2 em cada 3 anomalias em lançamentos contábeis. O terço restante exige abordagem estatística.
Desenvolvi um projeto open source em Python para detecção de lançamentos anormais no razão, utilizando o plano de contas COSIF completo (4.401 contas) e uma base 100% sintética. O modelo foi avaliado em uma amostra de 20 mil lançamentos com 12 tipos de anomalias intencionalmente injetadas.
O resultado
| Método | Recall | Precision |
|---|---|---|
| Somente regras | 66,7% | 88,9% |
| Regras + estatística | 100% | 63,0% |
- Recall: das anomalias que existem, quantas o método encontrou.
- Precision: dos alertas gerados, quantos eram anomalia de verdade.
Ganhar recall custa precision. O score organiza a fila de revisão.
O que a estatística detectou além das regras
- Valores significativamente acima do padrão histórico da conta (z-score robusto);
- Usuários realizando lançamentos em contas fora do seu perfil operacional;
- Fracionamento de valores imediatamente abaixo de limites de alçada (análise dos primeiros dígitos);
- Picos atípicos de volume de lançamentos em uma conta ao longo do mês.
Cada detector marca um sinal; o score soma os pesos.
Interpretando os resultados
Recall
Regras identificam apenas comportamentos previamente definidos. Dos 12 tipos de anomalia avaliados, 4 não possuíam regra específica implementada e foram detectados exclusivamente pelos modelos estatísticos.
Precision
A maior parte dos falsos positivos veio de detectores comportamentais que sinalizam grupos (conta, usuário ou período) e não um lançamento individual. Por esse motivo, esses sinais receberam peso reduzido no score final. Considerando apenas alertas de severidade média ou alta, a precision alcançou 98,3%.
| Cenário | De onde vêm as falhas |
|---|---|
| Precision de 88,9% só com regras | 100 falsos alarmes, todos de duplicidade: a regra marca o par inteiro. |
| Precision de 63,0% com estatística | 705 falsos alarmes; 456 vêm do pico mensal, que marca a conta no mês inteiro. |
| Nível médio ou alto | 98,3% de precision (9 falsos em 516 alertas). |
Duas validações de COSIF que merecem destaque
- Verificação do dígito verificador do código da conta, validada contra as 4.401 contas do elenco COSIF;
- Identificação de contas válidas, porém fora de vigência na data do lançamento.
Limitação importante
O recall de 100% foi obtido sobre anomalias artificiais inseridas na base de testes, com sinais relativamente fortes. Em dados reais, geralmente não existem rótulos confiáveis, e a calibração depende de revisão especializada dos alertas gerados.
Próximo passo
Validar o detector em uma base externa com aproximadamente 500 mil lançamentos.
Regras continuam sendo a primeira linha de defesa, mas a estatística permite identificar desvios que não foram antecipados no desenho dos controles.
Qual tipo de anomalia aparece com mais frequência no fechamento contábil da sua empresa? Conta nos comentários do post original.
Continuação: Rodei meu detector em 500 mil lançamentos de outra base. Ele marcou 100% como suspeito, a validação externa do projeto.