Depois de validar o projeto em dados que eu mesmo gerei, quis testar em uma base que eu não construí: 500 mil lançamentos fictícios, 5 tipos de anomalia rotulados por outra pessoa, plano de contas no formato COSIF.
Mesma base, duas configurações
| Configuração | Base sinalizada | Precision | Recall |
|---|---|---|---|
| Padrão do projeto (só renomeando as colunas) | 100% | 7% | — |
| Calibrada | 7% | 99,7% | 99,9% |
500 mil lançamentos em 13 segundos no meu teste.
Por que quebrou
- As contas da base não estavam no meu elenco COSIF (estrutura anterior, DV diferente), então a regra de conta inválida marcou tudo.
- 28% dos lançamentos, normais inclusive, caem em fim de semana: a regra de dia não útil não separava nada.
- Só 1 dos meus detectores funcionava. Para documento repetido, centro de custo, histórico e usuário incomuns, precisei de detectores de raridade que não dependem de plano nem de perfil.
O que foi ajustado
| Ajuste | O que faz |
|---|---|
| Plano próprio | Desliga as regras de conta inválida e de vigência. |
| Sem dia não útil | Fim de semana é normal nessa base. |
| Detectores de raridade | Documento repetido, centro de custo, histórico e usuário. |
| Colunas ausentes | Detectores sem a coluna se desligam sozinhos. |
Duas lições
- Regra de controle carrega premissas (plano, calendário, perfil). Em outra base, a premissa quebra e o alerta vira ruído. Calibrar é parte do trabalho.
- Os pesos do score não transferem: aqui só 77 lançamentos chegaram a nível alto.
O projeto agora lê CSV ou Excel com mapeamento de colunas e desliga sozinho os detectores que dependem de colunas ausentes.
Que premissa de controle você já viu virar ruído em outra base? Conta nos comentários do post original.
Leia também: O limite das regras na auditoria contínua: por que a estatística aumenta o recall de 66,7% para 100%, o primeiro teste do projeto, em dados que eu mesmo gerei.