Como provar ao auditor que seu processo automatizado é confiável

O projeto funcionou. A conciliação que levava seis horas leva noventa minutos, a taxa de erro caiu, o time está satisfeito. Aí chega a auditoria externa e pergunta como o controle funciona agora.

E o time descobre que a resposta honesta — "o sistema sugere e a gente aprova" — não é uma resposta de controle interno. É uma descrição de processo.

Essa conversa pega muita área desprevenida, porque a automação foi tratada como projeto de eficiência e não como mudança de desenho de controle. São a mesma coisa vista de dois ângulos, e o segundo ângulo cobra depois.

O que muda do ponto de vista do auditor

Em um processo manual, o controle é a pessoa. O auditor testa: existe segregação de função, existe evidência de revisão, a alçada foi respeitada. Ele seleciona uma amostra e verifica os documentos de suporte.

Em um processo automatizado, o controle passa a ser o sistema mais a supervisão sobre ele. O auditor precisa então avaliar duas coisas que não existiam antes:

A confiabilidade do próprio sistema. Ele faz o que se propõe, de forma consistente, e está protegido contra alteração não autorizada.

A efetividade da supervisão humana. A revisão é real ou é aprovação em massa de tudo que aparece na tela.

O segundo ponto é onde mora o risco. Aprovar 400 sugestões em dez minutos não é revisão — é carimbo. E isso é visível no log, que é onde o auditor vai olhar.

As seis evidências que você precisa ter

Vale montar antes de precisar. Depois é reconstrução, e reconstrução tem aparência ruim mesmo quando é honesta.

1. Descrição do processo, na versão atual. Qual parte é automática, qual é humana, onde está a fronteira, qual o critério de decisão em cada ponto. Documento vivo, com data e versão. O fluxograma de 2021 descrevendo o processo manual é pior que nenhum documento.

2. Registro de validação inicial. Como você determinou que o sistema funciona. O período em que rodou em paralelo, o tamanho da amostra testada, a taxa de acerto encontrada, o critério que definiu "bom o suficiente" e quem aprovou. Isso é o equivalente ao teste de desenho do controle, e é o que quase ninguém guarda.

3. Log completo e íntegro. Por transação: o que o sistema propôs, com qual nível de confiança, quem revisou, o que decidiu, quando, e se alterou a proposta. Precisa ser inalterável e exportável. Log que pode ser editado não é evidência.

4. Monitoramento contínuo. Métrica de acerto acompanhada ao longo do tempo, não só no início. Um modelo que acertava 96% em janeiro pode estar em 87% em outubro por mudança no perfil dos dados. Se você não mede, não sabe — e "não sabemos" é a pior resposta possível nessa conversa.

5. Evidência de revisão real. Aqui está o ponto crítico. Precisa ser demonstrável que o humano efetivamente analisou. Os indicadores que o auditor observa: tempo médio por item revisado, taxa de alteração das sugestões do sistema, e distribuição da revisão ao longo do tempo.

Taxa de alteração próxima de zero é sinal de alerta, e o motivo é lógico: ou o sistema é perfeito — o que nenhum sistema é — ou a revisão é automática. Uma taxa saudável mostra que o revisor discorda às vezes, porque está de fato olhando.

6. Gestão de mudança. Quem pode alterar regra, critério de confiança ou configuração, quem aprova, como fica registrado. Sistema que qualquer analista reconfigura sem rastro não tem controle, tem interface.

O desenho que facilita a vida de todo mundo

Alguns princípios de desenho reduzem drasticamente o atrito com auditoria — e, não por acaso, também reduzem risco operacional real.

Faixa de confiança com tratamento diferente. Alta confiança segue com amostragem posterior; média vai para revisão obrigatória; baixa é exceção com análise registrada. Isso permite dizer ao auditor exatamente qual população recebe qual nível de controle, em vez de "a gente revisa".

Amostragem do que passou direto. Percentual fixo do que o sistema aprovou sozinho, revisado manualmente todo mês, com resultado registrado. É o controle que detecta falso negativo, e é o que transforma "confiamos no sistema" em "testamos o sistema mensalmente".

Segregação preservada. Quem configura o sistema não deve ser quem revisa o output dele. Parece óbvio e é violado com frequência, porque a pessoa que entende a ferramenta é a mesma que entende o processo — e vira dona das duas pontas.

Limite de alçada mantido. Se acima de determinado valor exigia dupla aprovação humana antes, continua exigindo. Automação não é justificativa para relaxar alçada, e propor isso na primeira conversa com auditoria custa credibilidade cara.

Três respostas que você precisa ter prontas

O auditor vai perguntar, em alguma forma:

"Como vocês sabem que o sistema está classificando corretamente?"A resposta forte tem número: a validação inicial com amostra de tamanho X, o monitoramento mensal com taxa atual de Y, e a amostragem de controle que encontrou Z divergências no último trimestre.

"O que acontece quando o sistema erra?"A resposta forte descreve o mecanismo de detecção, não a boa intenção. Como o erro é encontrado, em quanto tempo, quem é notificado, e um exemplo real de erro detectado e corrigido. Ter um exemplo ajuda muito mais do que afirmar que não houve nenhum.

"Quem é responsável pelo resultado?"A resposta é sempre uma pessoa com nome e cargo. Nunca o fornecedor, nunca o sistema. A responsabilidade pela informação contábil não é delegável a software, e demonstrar que isso está claro internamente vale mais do que qualquer documentação técnica.

O momento certo de montar isso

Durante a validação inicial, não depois. Se você já vai rodar em paralelo e medir acerto para decidir se o projeto vale, esse mesmo registro é a evidência de validação que a auditoria vai pedir. É trabalho que você faria de qualquer forma — a diferença é guardar de um jeito apresentável.

Quem monta depois gasta o dobro e apresenta material reconstruído, que gera mais perguntas do que responde.

Vale também envolver a auditoria interna, quando existe, antes do projeto ir para produção. Ela costuma ser aliada nessa conversa: já entende de desenho de controle, e um processo automatizado bem desenhado dá a ela cobertura de 100% da população, contra a amostra que ela conseguia testar antes. É um argumento que raramente é feito e que costuma mudar o tom da conversa.

Onde sua área está nessa curva

O diagnóstico gratuito do CFOs.AI são 25 perguntas, cerca de 10 minutos, com resultado imediato: score de maturidade em IA por dimensão, mapa dos processos com maior potencial de automação e comparativo anônimo com profissionais de mesmo cargo e porte.

Fazer diagnóstico gratuito →

Desenho de controle, trilha de auditoria e política de supervisão humana são o objeto de Governança e Compliance de IA para o Time Financeiro (C2); a aplicação nos processos de fechamento, de IA para Controllership e Fechamento (F3).

O Plano Fundador dá acesso sem mensalidade a todas as formações, às 15 soluções com template e checklist de implementação, à comunidade e ao Bill, o assistente de IA integrado. São 100 vagas; depois, volta a ser assinatura mensal.

Garantir meu acesso →