Entender
Governança dos agentes de IA
Governar agentes de IA é responder a três perguntas antes de lhes passar o comando: até onde podem ir sozinhos, quanto podem gastar e como comprovar o que fizeram. Um agente que age compromete a empresa. Sem essas respostas, a autonomia não é uma capacidade, é uma exposição.
1. A fronteira de autonomia
Nem todas as ações têm o mesmo alcance. Arquivar um documento não se desfaz como uma mensagem enviada a um cliente, e uma mensagem desfaz-se melhor do que um pagamento. A regra útil consiste, portanto, em ordenar as ações segundo sua reversibilidade e colocar a validação humana onde a marcha à ré se torna impossível.
Uma garantia conta mais do que as outras: o acordo deve ser pedido antes da ação, nunca constatado depois. Uma notificação que anuncia o que acaba de sair não é governança, é um relato. O princípio complementar é o do menor privilégio: cada agente recebe apenas as ferramentas exigidas por sua missão, de modo que qualquer desvio permaneça limitado pelo que ele nunca teve o direito de tocar.
2. O controle dos orçamentos
Um agente que raciocina consome, e consome tanto mais quanto mais persevera. É a diferença de natureza em relação ao software clássico, cujo custo não depende da dificuldade da tarefa. Um ciclo que não chega a nada pode assim custar mais do que um trabalho bem-sucedido.
O controle eficaz assenta em três exigências. O orçamento deve ser atribuído por agente e por período, sob pena de um único agente absorver os recursos de todos. Deve ser verificado antes da chamada, e não somado depois: constatar um excesso na fatura não o impede. E deve ser oponível: atingir o teto interrompe o agente e alerta, em vez de deixar correr.
Essa reserva prévia é a maneira pela qual a nullbot torna o excesso impossível, e não meramente improvável.
3. A rastreabilidade
Quando uma ação surpreende, a pergunta não é apenas «o que aconteceu», mas «por que o agente julgou que era o certo a fazer». Um registro útil conserva, portanto, o objetivo perseguido, as informações consultadas, a ação escolhida, seu resultado e a identidade da pessoa que validou quando uma validação era exigida.
Esse rastro serve a três usos que nada têm de teórico: corrigir uma regra mal formulada em vez de culpar o agente; responder a um cliente ou a um auditor que pergunta com que fundamento uma decisão foi tomada; e distinguir, em caso de incidente, o que decorre da instrução dada e o que decorre da execução.
4. O domínio sobre os dados
Um agente lê para decidir. Lê, portanto, potencialmente o que a empresa tem de mais sensível: mensagens, contratos, fichas de clientes, elementos financeiros. A questão de governança torna-se então tão geográfica quanto jurídica: onde esse conteúdo é tratado, e o que sai da empresa?
A nullbot responde com arquitetura em vez de promessa: o software é instalado e executado nas suas máquinas, os dados permanecem onde são produzidos, e o acesso aos modelos de inteligência artificial passa pelas suas próprias chaves. Nossa página dedicada à segurança detalha esse funcionamento, e o acordo de tratamento de dados fixa o quadro contratual.
5. Perguntas frequentes
Como impedir que um agente ultrapasse seu orçamento?
Reservando o gasto antes da chamada ao modelo, e não contabilizando-o depois. O valor previsto é retido do saldo do agente; se o saldo se esgota, a chamada não ocorre e o agente para, indicando o motivo. Um contador consultado a posteriori não pode impedir nada.
Que ações devem exigir uma validação humana?
Aquelas que não se podem desfazer e as que comprometem a empresa perante terceiros: envio a um cliente, compromisso financeiro, exclusão definitiva, alteração de um contrato. O critério prático é a reversibilidade, não a dificuldade técnica.
Quem é responsável pelo que um agente faz?
A empresa que o implantou, tal como responde pelo trabalho de seus colaboradores. É precisamente por isso que a fronteira de autonomia e o rastro das decisões são indispensáveis: permitem demonstrar o que foi autorizado, por quem e com que fundamento.
É possível ampliar a autonomia com o tempo?
É a progressão recomendada. Começa-se exigindo uma validação ampla, observa-se onde ela é sempre concedida, e afrouxa-se a exigência nesses casos precisos. O inverso — autorizar tudo e restringir depois de um incidente — sai muito mais caro.
Para ir além
Leia a seguir: implantar agentes de IA na empresa, ou o que é um sistema agêntico.