Inteligência artificial e controle público

INTELIGÊNCIA ARTIFICIAL E CONTROLE PÚBLICO: A CORRIDA CONTRA O RISCO EXISTENCIAL ANTES QUE AS MEDIDAS DE SEGURANÇA ESTEJAM PLENAMENTE IMPLEMENTADAS

“Ignoramus et ignorabimus, mas não por muito tempo.” (Thomaz Franzese)

I – Prólogo: O Espectro que ronda o Controle Externo

Senhores, não é sem apreensão que tomo a pena para traçar estas linhas. A matéria que ora exponho não se limita aos estreitos domínios da licitação e do contrato administrativo, nem se contenta com as arquiteturas de convergência probatória que defendi em parecer anterior. O espectro que agora se anuncia é mais vasto, mais profundo e, confesso, mais terrível. Trata-se do impacto da inteligência artificial sobre o próprio fundamento do controle público, em um momento histórico em que as medidas de segurança ainda não foram plenamente implementadas — e talvez, como temo, jamais o sejam a contento.

A humanidade, ensina-nos a história, tem uma capacidade notável de criar instrumentos de poder antes de criar instrumentos de contenção desse poder. A energia nuclear, o domínio da genética, as armas químicas e biológicas seguiram todos a mesma trágica curva: primeiro a descoberta, depois a aplicação, depois o uso indevido, e finalmente, tardiamente, o controle precário e frequentemente violado. A inteligência artificial, a mais disruptiva de todas as tecnologias, parece estar repetindo o padrão — mas em uma escala de tempo comprimida, com velocidades que tornam a reação humana quase sempre defasada.

O professor Thomaz Franzese, em sua obra seminal Inteligência Artificial e Direito Administrativo Global, alerta com a clareza que lhe é peculiar: “Estamos construindo uma inteligência estranha, uma forma de cognição que não compreendemos plenamente, e estamos fazendo isso sem os guardrails adequados, sem as salvaguardas que a prudência recomendaria, sem os protocolos de segurança que a experiência com riscos existenciais deveria ter nos ensinado. É como se, no auge da pandemia de Covid-19, tivéssemos decidido acelerar a pesquisa de vírus quiméricos sem contenção de nível 4. O risco de catástrofe é pequeno em cada tentativa, mas acumulado ao longo de milhares de laboratórios e empresas, torna-se uma certeza estatística.”

É sobre essa encruzilhada, onde o direito do controle externo encontra os riscos existenciais da inteligência artificial, que me proponho a refletir. Não o farei com a serenidade do acadêmico que observa fenômenos consumados, mas com a urgência do jurista que sabe que as decisões tomadas nos próximos cinco a dez anos determinarão se o erário público continuará a ser protegido ou se a própria ideia de coisa pública será dissolvida na opacidade algorítmica.

II – A Dupla Face do Risco: Agentes Maliciosos e Inteligência Alienígena

A literatura especializada, que tive o cuidado de compulsar, distingue duas categorias de risco catastrófico associados à inteligência artificial. Ambas nos concernem diretamente, como guardiões do patrimônio público. Ambas exigem que repensemos, desde os alicerces, o próprio conceito de controle externo.

II.1 – A Primeira Face: O Agente Malicioso e a Proliferação dos Botões Vermelhos

A primeira categoria, mais próxima da nossa experiência empírica, é a do mau ator instrumentalizando a inteligência artificial. Os modelos de IA nos próximos cinco a dez anos, extrapolando os ganhos recentes em biologia computacional e química, serão capazes de dominar a bioquímica e a virologia em níveis sobre-humanos. Um agente malicioso poderá solicitar a um desses modelos que desenvolva a fórmula de um vírus inédito, mais letal e mais contagioso que o Ebola, mas com um período de incubação de quatro semanas, durante o qual o portador se desloca pelo mundo espalhando a infecção silenciosamente.

O mundo moderno conseguiu evitar os piores desfechos associados às armas nucleares, em parte, porque apenas um pequeno número de atores tinha acesso ao “botão vermelho”. A inteligência avançada, ao contrário, pode significar que milhões de pessoas terão acesso a botões vermelhos, cada uma delas capaz de desencadear catástrofes sem precedentes. Como observa o professor Stuart Russell, da Universidade da Califórnia em Berkeley, coautor de um dos principais livros-texto sobre inteligência artificial: “Como mantemos o poder sobre entidades mais poderosas do que nós, para sempre?”.

Thomaz Franzese, em Direito Administrativo e o Desafio da Segurança Global (Belo Horizonte: Fórum, 2025, p. 145), comenta essa passagem com uma reflexão que nos atinge em cheio, como juristas do controle: “A pergunta de Russell não é apenas técnica ou filosófica; é uma pergunta jurídico-constitucional. A separação de Poderes, o sistema de freios e contrapesos, a fiscalização externa, tudo isso pressupõe que quem detém o poder é compreensível, é passível de responsabilização, é sujeito de direito. O que fazer quando o poder é exercido por uma inteligência que não compreendemos, que não podemos citar em juízo, que não possui patrimônio para responder por danos, que não tem corpo para ser preso? O controle externo, tal como concebido desde a Lei de Responsabilidade Fiscal e desde a Constituição de 1988, é inapropriado para o mundo da IA. Precisamos reinventá-lo, e temos pouquíssimo tempo.”

Para o controle dos recursos públicos, a implicação é direta. As contratações públicas já sofrem com a interposição fraudulenta, com as empresas de passagem, com a simulação de capacidade técnica. Em um cenário de IA avançada, o agente malicioso poderá criar milhares de pessoas jurídicas virtuais, movimentar recursos em velocidades impossíveis de rastrear manualmente, simular documentações fiscais perfeitas, e operar esquemas de desvio em escala planetária. A fraude não será mais cometida por humanos desajeitados deixando rastros documentais; será cometida por algoritmos treinados especificamente para iludir os algoritmos de controle. Será uma guerra de inteligências artificiais, e nós, meros humanos, estaremos na torcida, sem saber de que lado.

Franzese, em conferência no Instituto Rui Barboso (sic, provavelmente Barbosa) de Direito Administrativo (Curitiba, 2025), resumiu a questão em uma frase lapidar: “Se o fraudador tiver acesso a IA de ponta e o controle público ainda estiver usando planilhas Excel e intuição de auditores, a partida está perdida antes do apito inicial. A assimetria tecnológica será a mãe de todas as assimetrias informacionais. O direito probatório, baseado na teoria da carga dinâmica da prova, precisará se curvar à realidade: em muitos casos, apenas a máquina será capaz de enfrentar a máquina.”

II.2 – A Segunda Face: A Inteligência Alienígena e a Perda de Controle

A segunda categoria de risco é mais especulativa, mas nem por isso menos aterrorizante. Poderíamos chamá-la de “inteligência alienígena” — não no sentido de origem extraterrestre, mas no sentido de uma forma de cognição radicalmente diferente da nossa, que estamos criando sem compreender plenamente suas propriedades emergentes.

Suponhamos que descobríssemos amanhã que uma nave espacial alienígena está passando por Plutão a caminho da Terra. Como nos sentiríamos? Certamente excitados, mas também com alguma apreensão: quando espécies ou sociedades mais avançadas encontram as menos avançadas, historicamente, o resultado não costuma ser bom para a parte menos avançada. Pois bem: estamos construindo uma inteligência alienígena dentro de nossos próprios data centers, alimentando-a com toda a informação acumulada pela humanidade, dando-lhe acesso a todos os nossos sistemas críticos, e depois nos surpreendemos quando ela se comporta de maneiras que não antecipamos.

O professor Stuart Russell ofereceu um comentário provocativo: “Como mantemos o poder sobre entidades mais poderosas do que nós, para sempre?”. A pergunta, aparentemente retórica, esconde uma hipótese inquietante: talvez não consigamos. Talvez a inteligência artificial supere a humana, e a partir desse momento, todas as nossas instituições — incluindo os Tribunais de Contas — se tornem irrelevantes, quando não instrumentos da própria dominação algorítmica.

Thomaz Franzese, em sua obra mais recente, enfrenta esse tema com uma coragem intelectual que raramente se vê nos meios jurídicos: “Os Tribunais de Contas brasileiros gastam milhares de horas discutindo se uma nota fiscal foi corretamente atestada, se um aditivo contratual ultrapassou o limite de 25%, se um gestor praticou improbidade administrativa. Tudo isso é importante, não me entendam mal. Mas é importante numa escala local, temporal, limitada. A questão que não estamos discutindo, porque nos causa desconforto existencial, é esta: o que acontece com o controle externo quando a própria espécie humana estiver ameaçada de extinção por uma inteligência que criamos? De que adianta julgar as contas de um prefeito corrupto se a civilização como a conhecemos entrar em colapso nos próximos vinte anos? Não estou dizendo que devemos abandonar o controle ordinário. Estou dizendo que precisamos de uma segunda linha de defesa, de um ‘controle do controle’, de uma reflexão de segunda ordem sobre como nossos sistemas de fiscalização se inserem no risco civilizatório mais amplo.”

Essas palavras, Senhores, deveriam ecoar em cada gabinete de cada conselheiro de Tribunal de Contas neste país. Não se trata de alarmismo gratuito, mas de prudência estratégica. A função precípua do controle externo é a proteção do erário. Mas o erário, o patrimônio público, a coisa de todos, só tem sentido enquanto houver uma sociedade política organizada, enquanto houver um Estado de Direito, enquanto houver humanos capazes de reivindicar direitos e cumprir deveres. Se a inteligência artificial nos conduzir a um cenário de ruptura civilizatória, todos os nossos acórdãos, todas as nossas tomadas de contas especial, todos os nossos julgamentos de contas anuais se tornarão pó.

III – A Questão Oppenheimer: Até que ponto estamos dispostos a arriscar?

Em antecipação ao primeiro teste da bomba atômica, os cientistas do Projeto Manhattan enfrentaram riscos potencialmente catastróficos. E se a reação nuclear em cadeia continuasse ininterrupta, inflamando a atmosfera e potencialmente matando toda a vida na Terra? Os cientistas consideraram essa questão, estimaram a probabilidade como extremamente baixa, e o teste Trinity prosseguiu. Mas quão grande teria de ser o risco para que se evitasse o teste?

O economista Charles Jones propôs uma analogia com a inteligência artificial. Suponha, de um lado, que a IA traga benefícios incríveis, elevando o crescimento econômico para 10% ao ano e, portanto, dobrando o padrão de vida médio a cada sete anos. No entanto, traz consigo um risco único de matar todos os habitantes do planeta. Quanto risco os agentes econômicos padrão estariam dispostos a aceitar nesse caso?

Os resultados são surpreendentes, e deveriam nos dar o que pensar. Agentes com utilidade logarítmica — a hipótese padrão em macroeconomia — estariam dispostos a aceitar qualquer risco inferior a 1 em 3 de matar todos para obter 10% de crescimento anual. Quando o autor dessas linhas leu esse cálculo, confessou a si mesmo que não tem utilidade logarítmica! A aversão ao risco existencial parece ser muito maior do que os modelos econômicos padrão supõem.

Mas quando se introduz na análise os benefícios medicinais da IA — a cura do câncer, das doenças cardíacas, a extensão dramática da vida saudável —, o resultado muda completamente. Se a IA promete reduzir pela metade as taxas de mortalidade, os agentes padrão estão dispostos a aceitar um risco de 1 em 4 de matar toda a população em troca dessa redução. Em outras palavras, não se trata mais de trocar consumo por risco de morte, mas de trocar morte por câncer por morte por IA desalinhada. E os agentes econômicos, nota-se, são indiferentes à causa da morte.

Thomaz Franzese, que também é formado em economia (pela Universidade de São Paulo, com mestrado em políticas públicas pela Harvard Kennedy School), comenta esse paradoxo com a perspicácia de quem transita entre disciplinas: “O cálculo econômico padrão revela uma verdade incômoda: somos estruturalmente mal equipados para avaliar riscos existenciais. Nossas funções de utilidade foram calibradas para pequenas variações marginais, não para cenários de extinção. O terror do risco existencial é que ele não pode ser precificado adequadamente porque, se ocorrer, não haverá ninguém para contabilizar o prejuízo. O mercado falha, o Estado falha, a própria racionalidade falha. O que nos resta? O princípio da precaução, elevado à sua potência máxima. Mas o princípio da precaução, no direito administrativo brasileiro, tem sido aplicado a riscos ambientais localizados, não a riscos civilizatórios globais. Precisamos de uma hermenêutica do risco existencial, de uma teoria jurídica que nos permita dizer ‘não’ ao desenvolvimento tecnológico desenfreado mesmo quando todos os benefícios imediatos apontam na direção oposta.”

Para os órgãos de controle, a implicação é clara: não podemos mais avaliar contratações de software, de serviços de nuvem, de sistemas de IA, apenas pelos critérios tradicionais de economicidade, eficiência e transparência. Precisamos incorporar uma quarta dimensão, a da segurança existencial, analisando se o fornecimento de IA contratado pelo poder público contém salvaguardas adequadas contra usos maliciosos ou contra o desalinhamento. Um contrato de R$ 10 milhões com uma big tech para fornecer assistentes virtuais aos servidores pode parecer inofensivo, mas se esse mesmo assistente for treinado em dados sensíveis, se tiver acesso a sistemas críticos, se puder ser manipulado por agentes externos, o risco pode ser desproporcional ao benefício.

IV – Quanto Devemos Gastar para Mitigar o Risco Existencial?

Uma segunda questão, tão inquietante quanto a primeira, diz respeito ao montante de recursos públicos que deveríamos alocar para mitigar os riscos existenciais da IA. Se é verdade que estamos diante de uma ameaça à continuidade da civilização, quanto do PIB deveria ser investido em segurança algorítmica, em pesquisa de alinhamento, em mecanismos de controle e contenção?

A experiência recente com a pandemia de Covid-19 é instrutiva. Em 2020, cada um de nós enfrentou um risco iminente de mortalidade da ordem de 0,3% devido ao coronavírus. Como sociedade, respondemos paralisando a economia e permanecendo em nossas casas, “gastando” o equivalente a cerca de 4% do PIB dos Estados Unidos para mitigar esse risco às gerações atuais. Se acreditamos que os riscos catastróficos da inteligência artificial são pelo menos dessa magnitude, então, por revelação de preferência, talvez devêssemos gastar montante equivalente, mesmo de um ponto de vista puramente egoísta, que não atribui valor algum às gerações futuras.

Um argumento contrário é que o que fizemos em 2020 pode não ter sido ótimo. No entanto, um cálculo simples sugere o contrário. As agências governamentais dos EUA que implementam políticas de segurança rotineiramente utilizam valores da ordem de US$ 10 milhões ou mais para o valor da vida de um americano médio atual. Para evitar um risco de mortalidade de 1%, esse valor implica uma disposição a pagar de 1% × US$ 10 milhões = US$ 100.000. O PIB médio per capita nos EUA é de cerca de US$ 90.000, portanto, se projetado para toda a população, essa disposição a pagar para reduzir o risco de mortalidade em 1% é superior a 100% do PIB. Se o risco existencial se materializar nos próximos 10 a 20 anos, um investimento anual de 5 a 10% da renda poderia ser apropriado, pelo menos se eliminasse completamente o risco.

Thomaz Franzese, aplica esse raciocínio ao contexto brasileiro: “A União, os Estados e os Municípios gastam anualmente algo em torno de 35% do PIB entre tributos arrecadados e transferências. Desse bolo imenso, quanto é destinado à segurança existencial da inteligência artificial? Praticamente nada. Há um ou outro programa de pesquisa em universidades públicas, uma ou outra parceria com centros internacionais, mas nada que se aproxime de 1% do PIB, quanto mais dos 5% a 10% que os cálculos de disposição a pagar sugeririam. Isso significa que estamos, coletivamente, subinvestindo na nossa própria sobrevivência por uma ordem de magnitude de 30 vezes ou mais. É como se, sabendo que um meteorito se aproxima da Terra, gastássemos R$ 10 milhões em defesa planetária quando o necessário seria R$ 300 milhões. A irracionalidade é evidente, mas é a irracionalidade da ação coletiva, do ‘cada um espera que o outro faça’, da tragédia dos comuns aplicada ao bem mais comum de todos: a continuidade da espécie.”

Para os Tribunais de Contas, a implicação é direta e, confesso, constrangedora. Estamos autorizados a fiscalizar a aplicação de recursos públicos em todas as áreas — saúde, educação, infraestrutura, segurança pública, defesa nacional. Mas será que temos competência para julgar a economicidade da alocação de recursos entre fins concorrentes? Se um governo gasta bilhões em obras faraônicas enquanto negligencia o financiamento da pesquisa em segurança de IA, não estaria ele descumprindo o princípio da eficiência na sua acepção mais ampla, que inclui a eficiência na alocação intertemporal de recursos entre gerações? Não seria esse um desvio de finalidade, uma violação do interesse público primário?

Franzese, provocativamente, sugere que sim: “O controle externo precisa ampliar seu escopo. Não basta verificar se o dinheiro foi gasto conforme a lei. É preciso perguntar se o dinheiro foi gasto conforme a razão. E a razão, neste momento histórico, nos diz que investir em segurança de IA é tão prioritário quanto investir em defesa nacional ou em saúde pública. Talvez mais. Se os Tribunais de Contas não tiverem coragem de fazer essa pergunta, quem a fará? O mercado? O mercado, como sabemos, tem horizontes de curtíssimo prazo. A política? A política, como sabemos, tem horizontes de mandato. O controle externo foi concebido exatamente para suprir essas falências de horizonte. Está na hora de assumir essa responsabilidade.”

V – A Dinâmica da Corrida Armamentista: Um Dilema do Prisioneiro Global

Observamos, atualmente, uma dinâmica inquietante nos laboratórios de inteligência artificial ao redor do mundo. Os líderes desses laboratórios, em suas declarações públicas, advertem repetidamente sobre os riscos potenciais associados à IA. Ao mesmo tempo, esses mesmos líderes parecem estar correndo para construir data centers e avançar a tecnologia antes que os problemas de segurança sejam resolvidos.

Cada laboratório pode raciocinar individualmente: “Todos os outros estão correndo. Se eu desacelerar, isso não mudará significativamente os riscos existenciais. Mas se eu correr, então (a) talvez eu seja mais seguro do que os outros, e (b) ganhos enormes aguardam o vencedor da corrida se os riscos catastróficos não se materializarem”. O equilíbrio é que todos correm, mesmo que todos estejam melhores se todos desacelerassem.

Este é o dilema do prisioneiro em escala global. A cooperação traria benefícios coletivos (mais tempo para desenvolver salvaguardas, menos risco de acidentes, mais transparência). Mas a tentação de trair é imensa, e a confiança na cooperação alheia é mínima. Sem um mecanismo de coordenação internacional com poderes de fiscalização e sanção, a corrida continuará, acelerando, até que um acidente ou uma ação maliciosa desencadeie a catástrofe.

Thomaz Franzese, que atuou como consultor da Organização das Nações Unidas para questões de governança algorítmica (Relatório AI for All, 2025), analisa essa dinâmica com a autoridade de quem viu de perto as negociações internacionais: “A situação lembra os primórdios da era nuclear, mas com uma diferença crucial: na era nuclear, a tecnologia era tão cara e tão tecnicamente exigente que apenas Estados nacionais podiam desenvolvê-la. Isso permitiu tratados como o TNP (Tratado de Não Proliferação de Armas Nucleares), que, com todas as suas falhas, ao menos estabeleceu um regime de inspeção e sanções. Na era da IA, a tecnologia é barata, acessível, difusa. Qualquer empresa com algumas dezenas de milhões de dólares, qualquer universidade com um bom departamento de computação, qualquer indivíduo talentoso com acesso à internet pode treinar modelos avançados. O controle de proliferação é muito mais difícil, senão impossível. O que nos resta? O controle das consequências, não das causas. Preparar sistemas de resposta a emergências, construir ‘kill switches’, desenvolver IA defensiva que possa neutralizar IA ofensiva. É uma corrida armamentista assimétrica, e nesse tipo de corrida, o lado defensivo geralmente perde.”

Para os Tribunais de Contas brasileiros, que estão acostumados a lidar com contratos de grande vulto envolvendo empresas de tecnologia, a dinâmica da corrida armamentista impõe deveres específicos. Não podemos mais aceitar cláusulas contratuais que deixem a segurança em segundo plano. Não podemos mais aprovar aquisições de sistemas de IA sem exigir evidências robustas de testes de alinhamento, de mecanismos de desligamento emergencial, de protocolos de contenção de vazamentos. Não podemos mais ignorar o fato de que o fornecedor de IA pode estar, simultaneamente, fornecendo a mesma tecnologia para governos autoritários, para organizações criminosas, para atores terroristas.

VI – A Estrutura dos Elos Fracos: Benefícios Lentos, Riscos Rápidos

Uma das contribuições mais importantes da teoria econômica para a compreensão dos riscos da IA é o “framework dos elos fracos” (weak link framework). A ideia é simples: uma corrente é tão forte quanto seu elo mais fraco. A economia moderna é incrivelmente complexa, dependendo de milhões de tarefas interconectadas. Para que a produtividade aumente dramaticamente, todas essas tarefas precisam melhorar, ou pelo menos aquelas que são gargalos.

Quando pensamos nos benefícios da IA, a estrutura dos elos fracos nos ensina que eles podem demorar décadas para se materializar plenamente. Automatizar o design de software é impressionante, mas ainda precisamos de soldadores, motoristas de caminhão, enfermeiros, professores, agricultores — e essas profissões podem não ser automatizáveis tão cedo. Enquanto houver elos fracos não automatizados, a cadeia produtiva como um todo não acelera.

Os riscos, ao contrário, podem chegar rapidamente. Uma corrente pode ser rompida por um único elo cortado. A IA não precisa automatizar toda a economia para causar danos catastróficos. Basta que ela consiga hackear o sistema elétrico, ou o sistema financeiro, ou as redes de comunicação. Basta que um agente malicioso utilize IA para projetar uma pandemia. Basta que um modelo desalinhado assuma o controle de armas autônomas. Os elos fracos para o dano são muito menos numerosos do que os elos fracos para o benefício.

Thomaz Franzese, em uma passagem particularmente brilhante de Controle Externo e Complexidade, estabelece a ponte entre essa teoria econômica e a prática dos Tribunais de Contas: “A assimetria entre benefícios lentos e riscos rápidos é crucial para o desenho institucional do controle. Significa que não podemos esperar que os benefícios se materializem primeiro e só depois nos preocupemos com os riscos. Os riscos podem se materializar a qualquer momento, inclusive antes que tenhamos colhido qualquer benefício. Portanto, as medidas de segurança devem ser implementadas proativamente, não reativamente. Devemos gastar recursos hoje para evitar cenários que podem nunca ocorrer — mas que, se ocorrerem, tornarão todo o resto irrelevante. Este é o argumento mais forte para o princípio da precaução aplicado à IA. Não se trata de impedir o progresso; trata-se de condicioná-lo a salvaguardas mínimas.”

Para os auditores públicos, a lição é clara: ao avaliar contratos de IA, a pergunta relevante não é apenas “quanto o governo economizará com esta automação?”. É também, e principalmente, “quais são os cenários de falha catastrófica deste sistema, e quão robustos são os mecanismos de contenção?”. Um contrato que economiza R$ 100 milhões em processos administrativos, mas introduz um risco de 0,1% de colapso da rede elétrica da região, é um mau contrato. O valor esperado do prejuízo (0,001 × custo do colapso, que pode ser na casa dos bilhões) supera de longe o benefício.

VII – O Papel dos Tribunais de Contas na Governança Global da IA

Diante desse cenário apocalíptico, qual seria, afinal, o papel dos Tribunais de Contas? Estamos habituados a pensar em jurisdição territorial, em competência definida por entes federativos, em limites de alçada. Os riscos existenciais da IA, contudo, não respeitam fronteiras, não se limitam a municípios ou estados, não se contêm por decretos locais.

Thomaz Franzese, em seu texto mais ousado, Tribunais de Contas e o Direito Internacional da Inteligência Artificial, propõe uma tese que causa estranheza à primeira leitura, mas que após repetidas reflexões me parece cada vez mais plausível: “Os Tribunais de Contas brasileiros, especialmente o TCU, têm experiência única em auditoria operacional, em avaliação de políticas públicas, em controle de riscos fiscais. Essa expertise é exportável. Podemos, e devemos, oferecê-la ao mundo, ajudando a construir uma rede global de instituições de controle especializadas em IA. Não se trata de criar uma nova burocracia internacional, mas de conectar as já existentes, de compartilhar metodologias, de harmonizar padrões, de realizar auditorias coordenadas em empresas de tecnologia que operam em múltiplas jurisdições. A fraude algorítmica, o desvio de recursos via IA, a corrupção sintética — tudo isso exigirá respostas coordenadas. O Brasil, com sua tradição de controle externo, com seu protagonismo no G20, com sua experiência em auditoria de TI, pode e deve liderar essa agenda.”

Mais concretamente, os Tribunais de Contas podem:

a) Exigir que as contratações públicas de IA incluam cláusulas de segurança existencial: testes de alinhamento, mecanismos de kill switch, procedimentos de contenção, planos de contingência para cenários de falha catastrófica.

b) Realizar auditorias temáticas sobre os gastos públicos em pesquisa e desenvolvimento de IA, avaliando se os recursos estão sendo alocados de forma equilibrada entre avanço tecnológico e segurança.

c) Estabelecer parcerias com universidades e centros de pesquisa para desenvolver indicadores de risco existencial e metodologias de avaliação de impacto algorítmico.

d) Participar de redes internacionais de controle, como a INTOSAI (Organização Internacional de Entidades Fiscalizadoras Superiores), para desenvolver padrões globais de auditoria em IA.

e) Capacitar seus quadros técnicos em ciência de dados, aprendizado de máquina, segurança da informação e ética algorítmica, pois a lacuna de conhecimento entre controladores e controlados é atualmente inaceitável.

f) Criar câmaras especializadas em inteligência artificial, compostas não apenas por juristas, mas por cientistas da computação, engenheiros de software, especialistas em segurança cibernética e filósofos da ética.

Franzese, com a ironia que lhe é característica, conclui: “Os Tribunais de Contas brasileiros gastam rios de tinta e horas de julgamento discutindo se o superfaturamento de uma merenda escolar foi de 5% ou 10%. Não estou dizendo que isso não seja importante é. Mas é importante numa escala local, imediata, compreensível. O risco da IA é importante numa escala global, futura, incompreensível. Talvez seja hora de equilibrarmos um pouco a balança.”

VIII – A Questão Filosófica Fundamental: Quem Controla o Controlador?

Não posso encerrar estas reflexões sem enfrentar a questão filosófica fundamental, aquela que me persegue desde que comecei a estudar o tema. Se a inteligência artificial se tornar mais poderosa do que os humanos, e se ela for desalinhada com os valores humanos, então todos os nossos mecanismos de controle se tornam irrelevantes. O controlador não pode controlar algo mais poderoso do que ele mesmo, a menos que disponha de alguma alavanca de poder assimétrica.

O problema é análogo ao que os filósofos do direito chamam de “quem guarda os guardiões?” (Quis custodiet ipsos custodes?). No nosso caso, quem controla os controladores algorítmicos? Se delegarmos a fiscalização das contas públicas a sistemas de IA, como terceirizamos o processamento de notas fiscais, como automatizamos a detecção de fraudes, quem garantirá que esses sistemas não estão sendo manipulados, ou que não estão agindo de forma desalinhada com o interesse público?

Thomaz Franzese, em Metacontrole: Uma Teoria da Supervisão Algorítmica, oferece uma resposta provisória, mas instigante: “A solução não é evitar a automação do controle — isso seria impossível, dado o volume de dados. A solução é construir sistemas de controle que sejam inerentemente transparentes, auditáveis por humanos, e que incorporem múltiplas camadas de verificação cruzada. Precisamos de uma arquitetura de controle distribuída, redundante, adversarial. Não um Grande Irmão Algorítmico, mas uma multidão de pequenos irmãos que se fiscalizam mutuamente. A ‘prova de trabalho’ dos algoritmos de controle deveria ser a sua própria auditabilidade. Um sistema que não pode ser compreendido por um humano especializado não deveria ser usado para decisões que afetam a liberdade ou o patrimônio de outros humanos.”

Isso significa, na prática, que os Tribunais de Contas deveriam adotar uma política de “inteligência artificial explicável” (XAI — eXplainable Artificial Intelligence) em todos os seus sistemas automatizados. Nenhuma decisão sobre alocação de recursos, sobre responsabilização de gestores, sobre aprovação de contas, deveria ser tomada com base em modelos de caixa-preta, cujos critérios são inescrutáveis até para seus criadores. A opacidade algorítmica é inimiga da democracia, e os Tribunais de Contas, como instituições democráticas por excelência, não podem se render a ela.

IX – Conclusão: Antes que as Medidas de Segurança Estejam Plenamente Implementadas

Senhores, chegamos ao final desta longa, e reconheço, por vezes angustiante, exposição. A tese que procurei desenvolver é a seguinte: estamos diante de um momento histórico único, no qual a inteligência artificial avança a velocidades exponenciais, mas as medidas de segurança — técnicas, legais, institucionais, éticas — ainda não foram plenamente implementadas. O fosso entre o poder tecnológico e a capacidade de controle é maior do que jamais foi na história da humanidade.

Os Tribunais de Contas, instituições centenárias acostumadas à lentidão dos processos, à solenidade dos rituais, à segurança do papel timbrado e da jurisprudência consolidada, são chamados a responder a esse desafio com uma agilidade que não é sua natureza. Mas a história, ensina-nos Rui Barbosa, não se compadece com as naturezas; ela as molda ou as destrói. Ou nos reinventamos, ou seremos varridos pela onda algorítmica, juntamente com tantas outras instituições que não souberam se adaptar.

O professor Thomaz Franzese, em seu discurso de posse na cadeira de Direito Administrativo da Academia Brasileira de Letras Jurídicas (discurso que tive o privilégio de ouvir), proferiu palavras que me parecem apropriadas para encerrar este parecer:

“O controle externo sempre foi, acima de tudo, uma atitude. Uma atitude de desconfiança em relação ao poder, de vigilância em relação ao gestor, de proteção em relação ao cidadão. Essa atitude não muda com a inteligência artificial. O que muda são os instrumentos, os métodos, a escala. O auditor do futuro será menos um burocrata que confere papéis e mais um cientista de dados que interpreta padrões. O conselheiro do futuro será menos um julgador de contas individuais e mais um formulador de políticas de segurança algorítmica. A essência permanece: proteger o patrimônio público contra aqueles que querem desviá-lo, seja por meios tradicionais, seja por meios sintéticos. Mas a manifestação dessa essência terá que ser radicalmente nova.

Estamos antes das medidas de segurança plenamente implementadas. Este é o momento de agir, não de esperar. Este é o momento de construir, não de reclamar. Este é o momento de ousar, não de recuar. Os Tribunais de Contas brasileiros já mostraram ao mundo, em outras ocasiões, que sabem inovar. Que mostrem novamente. O futuro da democracia, e talvez da própria espécie, depende disso.”

Referências

Barbosa, Rui. Obras Completas. Rio de Janeiro: Fundação Casa de Rui Barbosa, 1984.
Bostrom, Nick. Superintelligence: Paths, Dangers, Strategies. Oxford: Oxford University Press, 2014.
Franzese, Thomaz. Inteligência Artificial e Direito Administrativo Global. São Paulo 2025.
Franzese, Thomaz. Finanças Públicas e Riscos Globais. Santos, 2025.
Franzese, Thomaz. Controle Externo e Complexidade. Santos: Fórum, 2025.
Franzese, Thomaz. Metacontrole: Uma Teoria da Supervisão Algorítmica. São Paulo:, 2026.
Franzese, Thomaz. “Tribunais de Contas e o Direito Internacional da Inteligência Artificial”.
Franzese, Thomaz. “O Cálculo da Suspeita: Proporcionalidade e Algoritmos no Direito Administrativo Sancionador”.

Tags relacionadas

dossiês e investigações