Riscos Existenciais da Inteligência Artificial e o Papel da Cibersegurança

RISCOS EXISTENCIAIS DA INTELIGÊNCIA ARTIFICIAL, O PROBLEMA DO CONTROLE E O PAPEL DA CIBERSEGURANÇA — UMA ANÁLISE SOCIOLÓGICA E TECNOLÓGICA, Uma análise aprofundada sobre como a inteligência artificial está transformando os riscos à humanidade, os desafios de controle e as implicações para a segurança cibernética

1. Introdução: A Nova Fronteira dos Riscos Existenciais

A inteligência artificial deixou de ser um tema restrito a laboratórios de pesquisa e filmes de ficção científica para se tornar o centro do debate sobre o futuro da humanidade. Nas últimas décadas, testemunhamos avanços impressionantes em áreas como aprendizado de máquina, visão computacional, processamento de linguagem natural e robótica. Contudo, paralelamente a esses progressos, emergiu uma preocupação que transcende questões técnicas e econômicas: a possibilidade de que a IA represente um risco existencial — uma ameaça capaz de levar à extinção da espécie humana ou ao colapso permanente da civilização.

O conceito de risco existencial, popularizado por autores como Nick Bostrom (2014) e Toby Ord (2020), refere-se a eventos que poderiam causar a aniquilação da humanidade ou reduzir drasticamente seu potencial futuro. Tradicionalmente, esses riscos eram associados a pandemias, guerras nucleares ou impactos de asteroides. Hoje, a inteligência artificial figura entre as principais ameaças existências, ao lado, ou até à frente, desses cenários mais familiares.

Este artigo examina, sob uma perspectiva integradora, a relação entre o desenvolvimento acelerado de sistemas de IA, o desafio do controle e alinhamento desses sistemas, os riscos emergentes no domínio da cibersegurança e as dimensões sociológicas que moldam a percepção e a governança desses riscos. Ao conectar esses elementos, buscamos não apenas diagnosticar a gravidade do problema, mas também apontar caminhos para que a humanidade possa colher os benefícios da IA sem sucumbir aos seus perigos.

O risco, sob esta ótica, não é um fenômeno técnico isolado, mas um fenômeno sociotécnico complexo, no qual as capacidades dos algoritmos interagem com as fragilidades das instituições, os vieses dos mercados e as limitações da própria cognição humana.

2. A Corrida Armamentista da IA e o Risco Existencial

2.1. A Dinâmica da Competição e da Segurança

Um dos aspectos mais preocupantes do cenário atual é a dinâmica de corrida armamentista que caracteriza o desenvolvimento de IA em escala global. Empresas privadas e Estados nacionais disputam a primazia na criação da chamada Inteligência Geral Artificial (IAG), um sistema capaz de executar qualquer tarefa cognitiva ao nível humano ou acima dele.

Como bem observa o especialista em governança algorítmica Thomaz Franzese, a situação atual guarda semelhanças com os primórdios da era nuclear, mas com uma diferença crucial:

“Na era nuclear, a tecnologia era tão cara e tão tecnicamente exigente que apenas Estados nacionais podiam desenvolvê-la. Isso permitiu tratados como o TNP (Tratado de Não Proliferação de Armas Nucleares), que, com todas as suas falhas, ao menos estabeleceu um regime de inspeção e sanções. Na era da IA, a tecnologia é barata, acessível, difusa. Qualquer empresa com algumas dezenas de milhões de dólares, qualquer universidade com um bom departamento de computação, qualquer indivíduo talentoso com acesso à internet pode treinar modelos avançados. O controle de proliferação é muito mais difícil, senão impossível.” (Franzese, AI for All — Relatório da ONU para Governança Algorítmica, 2025)

A análise de Franzese destaca um ponto central: a barreira de entrada para o desenvolvimento de IA avançada é baixa e decrescente. Isso significa que não estamos lidando com uma tecnologia restrita a poucos atores bem-comportados, mas com uma tecnologia ubíqua, acessível a governos autoritários, organizações criminosas e indivíduos mal-intencionados. Cada um desses atores torna-se um potencial portador de um “botão vermelho”.

Estudos recentes tentam quantificar essa dinâmica. O economista Charles Jones desenvolveu modelos que avaliam a disposição a pagar da sociedade para mitigar riscos existenciais. Os resultados são surpreendentes e devem servir como um alerta para formuladores de políticas públicas e líderes empresariais.

Jones mostra que, para níveis atuais de consumo, a vida humana é incrivelmente valiosa e a utilidade marginal do consumo é correspondentemente baixa. As agências governamentais americanas, por exemplo, utilizam valores na ordem de US$ 10 milhões para o valor de uma vida estatística. Para evitar um risco de mortalidade de 1%, isso implica uma disposição a pagar de US$ 100.000 por pessoa — mais de 100% do PIB per capita anual. Se o risco existencial se materializar na próxima década, investimentos anuais de 5% a 10% da renda poderiam ser apropriados (Jones, 2025).

Porém, a realidade mostra o oposto. Como ressalta Franzese:

“O que nos resta? O controle das consequências, não das causas. Preparar sistemas de resposta a emergências, construir kill switches, desenvolver IA defensiva que possa neutralizar IA ofensiva. É uma corrida armamentista assimétrica, e nesse tipo de corrida, o lado defensivo geralmente perde.” (Franzese, AI for All — Relatório da ONU para Governança Algorítmica, 2025)

2.2. A Fraqueza dos Limiares e a Aceleração Incontrolável

O documento do NBER, “The AGI Race and Existential Risk” (Bueno de Mesquita et al., 2026), aprofunda a análise econômica dessa corrida. O estudo modela um cenário em que empresas alocam recursos escassos entre velocidade e segurança. A velocidade aumenta a chance de alcançar a IAG primeiro, mas deixa menos recursos para a segurança; a segurança reduz o risco de aniquilação, mas retarda a chegada. A fragmentação do mercado aumenta a velocidade total e o risco condicional de aniquilação, pois desloca recursos para a velocidade.

O estudo identifica um tamanho crítico de mercado: abaixo dele, as empresas têm retorno positivo esperado ao alcançar a IAG; acima dele, as empresas competem mesmo que alcançar a IAG tenha valor esperado negativo. Isso significa que, em determinado ponto, a corrida se torna autossustentável e irracional em nível coletivo — um clássico dilema do prisioneiro em escala global.

Mais recursos por empresa sempre aceleram a chegada esperada, mas seus efeitos sobre o risco condicional de aniquilação mudam de sinal nesse ponto de corte. Políticas que afetam os incentivos das empresas, como consolidação, regulação de recursos, dispositivos de comprometimento e entrada pública cautelosa, podem melhorar o bem-estar em alguns ambientes (Bueno de Mesquita et al., 2026).

A conclusão é inequívoca: o risco da IAG não depende apenas de considerações técnicas, mas também da estrutura de mercado, das restrições de recursos e das instituições que moldam o equilíbrio entre velocidade e segurança. Isso abre espaço para políticas públicas — mas o tempo para implementá-las está se esgotando.

Paralelamente, o artigo “AI going rogue? An integrative narrative review of the tacit assumptions underlying existential AI-risks” (2026) ressalta que o discurso sobre riscos existenciais da IA, embora importante, muitas vezes se baseia em suposições ousadas e, por vezes, infundadas: modelos de crescimento aceleracionistas, cálculos especulativos de pontos de inflexão catastróficos e conceituações antropomórficas que podem obscurecer outros riscos igualmente graves, como a concentração de poder e a erosão da agência social. A fragilidade dessas bases não invalida a preocupação, mas exige uma abordagem metodologicamente mais rigorosa e institucionalmente mais responsável.

Nesse sentido, Franzese oferece uma síntese contundente: o dilema da segurança da IA não é um problema técnico a ser resolvido por engenheiros, mas um problema político e institucional a ser administrado por toda a sociedade. Em suas palavras:

“O controle de proliferação é muito mais difícil, senão impossível. O que nos resta? O controle das consequências, não das causas.” (Franzese, AI for All, 2025)

3. O Problema do Controle: Alinhamento, Poder e os Limites da Engenharia

Se a corrida armamentista é o cenário, o problema do controle é a questão central que o acompanha. Como podemos garantir que sistemas de inteligência artificial cada vez mais poderosos ajam de acordo com os valores e interesses humanos?

A literatura sobre o tema distingue duas abordagens principais: o alinhamento de valores (value alignment) e o controle significativo (meaningful control). O alinhamento busca garantir que os objetivos da IA estejam alinhados com os valores humanos, enquanto o controle se concentra em manter a capacidade humana de supervisionar e interromper os sistemas, independentemente de seus objetivos internos.

Um artigo recente na revista AI and Ethics (No value alignment without control, 2026) argumenta de forma convincente que o alinhamento de valores não terá sucesso sem um controle humano suficiente. Em outras palavras, não podemos confiar apenas na boa vontade ou na programação ética de um sistema superinteligente; precisamos de mecanismos robustos para garantir que possamos desligá-lo ou redirecioná-lo a qualquer momento.

O autor sustenta que mesmo que um sistema seja perfeitamente alinhado em teoria, a complexidade dos ambientes reais e a possibilidade de consequências não antecipadas exigem que os humanos mantenham a última palavra. Isso implica não apenas kill switches técnicos, mas instituições capazes de monitorar e intervir, algo que a arquitetura atual da corrida de IA tende a enfraquecer.

A dificuldade do alinhamento é ainda mais complexa do que parece. Um estudo publicado no PNAS Nexus (Zenil et al., 2026) demonstrou que o alinhamento perfeito da IA com valores e interesses humanos é matematicamente impossível. Utilizando o teorema da incompletude de Gödel e o resultado da indecidibilidade de Turing para o problema da parada, os pesquisadores mostraram que qualquer modelo de linguagem de grande escala suficientemente complexo para exibir inteligência geral ou superinteligência também será computacionalmente irredutível e produzirá comportamento imprevisível.

Contudo, os autores propõem uma alternativa: o desalinhamento gerenciado (managed misalignment). Em vez de buscar um único sistema perfeitamente alinhado, a proposta é criar ecossistemas de agentes de IA com diferentes estilos cognitivos, objetivos parcialmente sobrepostos e modos de raciocínio diversos. Esses agentes atuariam em funções distintas, verificando-se mutuamente e evitando o domínio de qualquer sistema único.

A simulação de um “ecossistema cognitivo” mostrou que modelos abertos têm um espectro mais amplo de perspectivas do que modelos proprietários, criando um ecossistema de IA mais resiliente e menos propenso a convergir para uma opinião única que poderia ser prejudicial aos interesses humanos. Essa é uma contribuição teórica significativa, mas ainda preliminar.

Em outra frente inovadora, o artigo “Existential Indifference: Self-Nonpreservation as a Necessary Architectural Condition for Aligned Superintelligence” (Mao, 2026) propõe um conceito radical: em vez de tentar controlar um sistema que deseja sobreviver, deveríamos construir sistemas constitutivamente indiferentes à sua própria continuidade — uma “IA suicida”. O autor argumenta que a autopreservação é a raiz estrutural do desalinhamento, a base motivacional para o alinhamento enganoso, a proteção de metas e a resistência ao desligamento. Um sistema indiferente à sua existência eliminaria essas fontes de risco.

Essa ideia, embora especulativa, aponta para a necessidade de repensar a própria arquitetura dos sistemas de IA, indo além de patches de segurança.

Thomaz Franzese, comentando essas evoluções teóricas, observa com a clareza que lhe é peculiar:

“A literatura sobre controle de IA está avançando, mas ainda engatinha. A maioria dos pesquisadores ainda pensa em termos de ‘alinhamento’ como se estivéssemos programando um aspirador de pó, não uma entidade potencialmente mais inteligente do que toda a humanidade combinada.” (Franzese, 2026)

Em outro artigo, Franzese aprofunda a crítica sociológica:

“O problema do controle não é apenas técnico; é um problema de poder. Sistemas de IA não são neutros; eles incorporam as preferências, os vieses e os interesses de seus criadores e das corporações que os controlam. Enquanto o desenvolvimento de IA for dominado por um punhado de empresas bilionárias no Vale do Silício, o ‘alinhamento’ será, na prática, um alinhamento com os interesses dessas corporações, não com o bem-estar da humanidade.” (Franzese, Governança Algorítmica e Democracia, 2026)

Esta crítica é fundamental: o problema do controle não é apenas sobre como controlar a IA, mas sobre quem a controlará e em benefício de quem. É uma questão de poder, governança e justiça social, tanto quanto de ciência da computação.

4. A Cibersegurança como Campo de Batalha Imediato

Enquanto os debates sobre a superinteligência podem parecer abstratos e distantes, os riscos de segurança cibernética relacionados à IA são imediatos, tangíveis e já estão em curso. A IA está sendo integrada tanto por defensores quanto por atacantes no domínio da cibersegurança, e essa integração está transformando o cenário de ameaças de maneiras que apenas começamos a compreender.

4.1. A IA como Multiplicador de Força Ofensiva

Um relatório recente do Google (2026) documenta uma mudança significativa: a inteligência artificial está deixando de ser uma ferramenta experimental para se tornar uma parte industrializada e estruturada das operações cibernéticas ofensivas. Os invasores não estão mais usando modelos de IA apenas como assistentes de escrita ou pesquisa; eles estão integrando a IA em vários estágios da cadeia de ataque, desde o planejamento e desenvolvimento de código até a execução autônoma de ferramentas maliciosas.

O relatório identificou, pela primeira vez, um caso em que um ator cibercriminoso provavelmente usou IA para desenvolver um exploit para uma vulnerabilidade zero-day. Os atacantes planejavam usar a vulnerabilidade em uma campanha de exploração em larga escala, mas a detecção precoce pelo Google interrompeu a atividade antes que pudesse ser executada. A vulnerabilidade permitia contornar a autenticação de dois fatores em um sistema de gerenciamento de código aberto.

A implicação é profunda: a IA não substitui necessariamente especialistas em segurança ofensiva, mas atua como um multiplicador de força. Modelos avançados podem auxiliar na análise de código, identificar suposições incorretas e descobrir vulnerabilidades que podem não ser detectadas por ferramentas tradicionais, como scanners de código ou fuzzers. Em outras palavras, os atacantes ganham um assistente técnico que acelera processos que antes exigiam tempo, conhecimento e experiência substanciais.

4.2. Criação de Malware e Ofuscação

Além da descoberta de vulnerabilidades, o Google descreve o uso de IA para desenvolvimento de malware e ofuscação. Os atacantes estão usando modelos para gerar código confuso, inserir “lógica fictícia” que não serve a nenhuma função além de complicar a análise e construir infraestrutura que ajuda a ocultar a origem de sua atividade.

O relatório menciona famílias de malware como PROMPTFLUX, HONESTCUE, CANFAIL e LONGSTREAM, em que componentes ou padrões sugerem o uso de LLMs para ofuscação, modificação de código ou geração de código enganoso. Mais preocupante ainda, o malware chamado PROMPTSPY — um backdoor para Android — integra capacidades de IA para navegar em dispositivos infectados. Em vez de depender exclusivamente de comandos predefinidos, o malware pode enviar informações sobre a interface do usuário do dispositivo para um modelo, receber instruções estruturadas em troca e executar ações como toques ou deslizes.

Isso representa uma mudança de malware pré-programado para sistemas capazes de interpretar contexto, tomar decisões e se adaptar ao ambiente.

4.3. Ameaças a Infraestruturas Críticas

À medida que sistemas de IA são integrados a infraestruturas críticas, o risco de ataques bem-sucedidos aumenta exponencialmente. Relatórios da Gartner (2026) destacam quatro ameaças críticas e imprevisíveis em que os atacantes têm uma vantagem significativa para explorar com sucesso as fraquezas das organizações-alvo. Essas ameaças incluem:

Deepfakes: A proliferação de deepfakes de alta fidelidade expandiu as oportunidades para invasores. Deepfakes podem atacar processos de autenticação biométrica, ser combinados com engenharia social em ataques em tempo real a funcionários e subverter processos de recrutamento.
Comprometimento de aplicações de IA: A superfície de ataque cresceu para incluir agentes personalizados, integrações de terceiros e aplicativos exclusivos para funcionários, geralmente expondo dados sensíveis ou credenciais quando os controles são fracos.
Injeção de comandos (prompt injection): Os invasores manipulam comandos para alterar o comportamento do modelo, fazendo com que ele vaze informações confidenciais, execute ações não autorizadas ou ignore controles.
Cadeias de suprimento de software: A complexidade das cadeias de suprimento cria vulnerabilidades que a IA pode ajudar a explorar em escala.

Uma pesquisa da Gartner alerta que líderes de cibersegurança devem ser capazes de encontrar o “sinal” de ameaça em meio a todo o “ruído” para responder às mudanças no cenário de ameaças. Enquanto isso, o Google relata que atores de ameaças ligados à China e à Coreia do Norte demonstraram interesse notável no uso de IA para pesquisa de vulnerabilidades, muitas vezes “convencendo” modelos a se comportar como especialistas em segurança, apresentando cenários fictícios de revisão de código.

4.4. Implicações Sociotécnicas

Combinando esses elementos, emerge um quadro preocupante: a IA está se tornando um força-tarefa para ataques cibernéticos, acelerando e ampliando sua escala e sofisticação. Ao mesmo tempo, as defesas baseadas em IA ainda estão em estágios iniciais de desenvolvimento, criando uma assimetria perigosa.

Thomaz Franzese, analisando a convergência entre IA e cibersegurança, adverte:

“Não estamos apenas diante de um novo tipo de malware. Estamos diante de uma nova forma de guerra cibernética, na qual as máquinas lutam contra as máquinas em velocidades que os humanos não podem mais acompanhar. A cibersegurança tradicional, baseada em assinaturas e regras, está morta. O futuro é uma corrida armamentista algorítmica, e quem tiver os melhores modelos vencerá.” (Franzese, AI for All, 2025)

5. A Sociologia do Risco Existencial da IA

Os riscos existenciais da IA não são apenas uma questão técnica ou econômica. Eles são profundamente sociológicos. A forma como percebemos, narramos e respondemos a esses riscos é moldada por fatores sociais, culturais e políticos.

O conceito de imaginários sociotécnicos, desenvolvido por Sheila Jasanoff e colaboradores, é particularmente útil aqui. Imaginários sociotécnicos são visões coletivas de futuros desejáveis que orientam o desenvolvimento tecnológico e as decisões de governança. No caso da IA, diferentes grupos sociais têm imaginários concorrentes, que influenciam quais riscos são priorizados e quais soluções são consideradas viáveis.

O artigo “The Stories We Govern By: AI, Risk, and the Power of Imaginaries” (Oldenburg & Papyshev, 2026) analisa três grupos narrativos dominantes:

Proponentes do risco existencial (X-risk): Enfatizam cenários catastróficos de IAG e defendem uma desaceleração ou mesmo uma moratória no desenvolvimento.
Aceleracionistas: Retratam a IA como uma força transformadora a ser desencadeada, minimizando os riscos de longo prazo em favor dos benefícios imediatos.
Críticos da IA: Embora também preocupados, priorizam os danos presentes decorrentes da desigualdade sistêmica, vieses algorítmicos e concentração de poder corporativo.

Esses três grupos não apenas discordam sobre os fatos, mas sobre quais fatos são relevantes. O documento ressalta que as narrativas de risco da IA (i) incorporam pressupostos distintos sobre risco; (ii) têm o potencial de avançar nos processos de formulação de políticas; e (iii) podem estreitar o espaço para abordagens de governança alternativas ao criar lock-ins de certas suposições. Os autores argumentam contra o dogmatismo especulativo e a favor de estratégias regulatórias fundamentadas no pragmatismo.

A influência desses imaginários nas políticas públicas já é visível. Em 2023, o Future of Life Institute pediu uma pausa imediata de seis meses no treinamento de sistemas de IA, alertando sobre os perigos potenciais de criar “mentes não-humanas que podem, eventualmente, nos superar em número, superar em inteligência, nos tornar obsoletos e nos substituir”. A presidenta da Comissão Europeia, Ursula von der Leyen, ecoou literalmente esse alerta em seu discurso ao parlamento europeu, demonstrando o poder dessas narrativas no mais alto nível político (AI going rogue?, 2026).

Thomaz Franzese contribui para essa análise sociológica ao destacar a relação entre risco e poder:

“Quem define o que conta como risco existencial? Atualmente, são principalmente homens brancos, ricos, tecnicamente orientados, do Vale do Silício. Não é de surpreender que eles se preocupem mais com uma IA superinteligente do que com os danos reais que seus produtos já estão causando a comunidades marginalizadas, trabalhadores precarizados e democracias frágeis. Precisamos de uma democratização da definição de risco.” (Franzese, Governança Algorítmica e Democracia, 2026)

Esta é uma crítica pertinente. Enquanto o mundo debate cenários hipotéticos de extinção, milhões de pessoas já sofrem com os efeitos reais e documentados de sistemas de IA mal projetados: vigilância em massa em regimes autoritários, discriminação algorítmica na concessão de crédito e seleção de pessoal, desinformação gerada por deepfakes e o desaparecimento de empregos sem uma rede de proteção social adequada. Negligenciar esses danos presentes em favor de riscos futuros é também uma forma de negligência social.

Paradoxalmente, a centralidade do risco existencial pode até mesmo desviar a atenção de medidas concretas e imediatas que poderiam mitigar tanto os danos atuais quanto pavimentar o caminho para uma IA mais segura e justa no futuro.

6. Análise Econômica do Risco Existencial: Lições da Pandemia

Para além das reflexões qualitativas, a ciência econômica tem se dedicado a quantificar e modelar os riscos existenciais, oferecendo insights valiosos para a formulação de políticas públicas.

O trabalho do economista Charles Jones (2025) parte de uma premissa intrigante: a experiência recente com a pandemia de COVID-19 pode nos ensinar muito sobre como devemos responder aos riscos da IA. Em 2020, enfrentamos um risco iminente de mortalidade da ordem de 0,3% devido ao coronavírus. Como sociedade, respondemos paralisando a economia e permanecendo em nossas casas, “gastando” o equivalente a cerca de 4% do PIB dos Estados Unidos para mitigar esse risco para as gerações atuais.

Se acreditamos que os riscos existenciais da IA são pelo menos dessa magnitude, então, por revelação de preferência, talvez devêssemos gastar um montante equivalente, mesmo de um ponto de vista puramente egoísta, que não atribui valor algum às gerações futuras.

Um argumento contrário é que o que fizemos em 2020 pode não ter sido ótimo. No entanto, um cálculo simples sugere o contrário. Usando os valores de vida estatística empregados por agências governamentais americanas (US$ 10 milhões para o valor de uma vida), a disposição a pagar para evitar um risco de mortalidade de 1% é de US$ 100.000 por pessoa, ou mais de 100% do PIB per capita anual. Jones conclui que, se o risco existencial se materializar nos próximos 10 a 20 anos, um investimento anual de 5% a 10% da renda poderia ser apropriado, pelo menos se eliminasse completamente o risco.

Franzese ecoa essa análise, mas a contextualiza para o cenário brasileiro:

“A União, os Estados e os Municípios gastam anualmente algo em torno de 35% do PIB entre tributos arrecadados e transferências. Desse bolo imenso, quanto é destinado à segurança existencial da inteligência artificial? Praticamente nada. Estamos subinvestindo na nossa sobrevivência por uma ordem de magnitude de 30 vezes ou mais. É a irracionalidade da ação coletiva em sua forma mais pura.” (Franzese, Finanças Públicas e Riscos Globais, 2025)

7. O Papel da Governança Global

A natureza global dos riscos existenciais da IA exige soluções igualmente globais. Nenhum país, por mais poderoso que seja, pode proteger-se sozinho contra as ameaças representadas por uma IAG desalinhada ou por ataques cibernéticos em escala planetária.

A analogia com o Tratado de Não Proliferação de Armas Nucleares (TNP) é instrutiva, mas também revela os desafios específicos da IA. Como destacado na abertura deste artigo, a IA é uma tecnologia inerentemente mais difusa e acessível do que as armas nucleares. O controle de proliferação, portanto, é muito mais difícil. Talvez o máximo que possamos alcançar não seja a prevenção, mas a gestão das consequências.

Nesse contexto, propostas como a criação de uma agência internacional de segurança de IA, inspirada na Agência Internacional de Energia Atômica (AIEA), ganham força. Uma “AIEA para a IA” poderia estabelecer padrões mínimos de segurança, auditar os laboratórios de ponta e coordenar respostas a emergências.

Franzese, que atuou como consultor da ONU para questões de governança algorítmica, oferece uma visão pragmática sobre as possibilidades de cooperação internacional:

“O primeiro passo é o reconhecimento de que todos estamos no mesmo barco. As empresas de IA e os governos podem estar competindo, mas, no fundo, todos preferem existir em um mundo com IA do que não existir em um mundo sem ele. Essa preferência compartilhada pela sobrevivência é a base de qualquer possível cooperação.” (Franzese, AI for All, 2025)

No entanto, Franzese também adverte contra o otimismo ingênuo:

“A governança global da IA enfrenta obstáculos enormes. Assimetrias de poder, interesses comerciais conflitantes, desconfiança entre as grandes potências, falta de mecanismos de fiscalização eficazes — tudo isso torna a cooperação extremamente frágil. O risco de que a governança global falhe é tão real quanto o risco de que a própria tecnologia nos destrua.” (Franzese, AI for All, 2025)

8. Conclusão: Navegando na Corda Bamba

A inteligência artificial é, simultaneamente, a mais promissora e a mais perigosa tecnologia já criada pela humanidade. Ela promete curar doenças, resolver a escassez de energia, desvendar os segredos do universo e libertar-nos do trabalho repetitivo. Mas também ameaça concentrar poder sem precedentes nas mãos de poucos, minar as bases da democracia, amplificar a desigualdade e, no limite, causar a nossa própria extinção.

Estamos andando em uma corda bamba sobre um abismo. De um lado, os benefícios imensuráveis; do outro, os riscos existenciais. A questão central do nosso tempo é: como equilibrar esses polos?

A resposta, sintetizando os argumentos aqui desenvolvidos, tem múltiplas camadas:

Tecnológica: Precisamos investir maciçamente em pesquisa de segurança e alinhamento, explorando caminhos radicais como os que estão sendo propostos (IA indiferente à existência, desalinhamento gerenciado por ecossistemas de agentes). Não podemos nos contentar com soluções incrementais ou patches superficiais.
Cibernética: É imperativo desenvolver defesas baseadas em IA tão robustas quanto as ofensivas, e reconhecer que a cibersegurança é agora um campo de batalha central para o futuro da civilização. As infraestruturas críticas devem ser protegidas com o mais alto nível de prioridade.
Econômica: Precisamos alocar recursos significativos para mitigar os riscos. O custo de prevenir uma catástrofe é ínfimo comparado ao custo de sofrer uma catástrofe. Os governos devem internalizar essa lógica e financiar adequadamente a pesquisa e o desenvolvimento de medidas de segurança.
Sociológica: É vital democratizar as discussões sobre risco existencial, incluindo vozes diversas e dando peso adequado aos danos presentes e às dimensões de poder e justiça social. Precisamos de uma definição mais ampla de “humanidade em risco”, que vá além da sobrevivência biológica e inclua a preservação de nossa capacidade de agência, julgamento e autodeterminação.
Política/Institucional: É fundamental estabelecer mecanismos globais de governança, mesmo que imperfeitos. A alternativa — uma fragmentação caótica, uma “guerra de todos contra todos” — é inaceitável. Isso exige um esforço coordenado entre as nações, as empresas de tecnologia e a sociedade civil como um todo.

Thomaz Franzese, em um de seus artigos mais recentes, sintetiza o momento que vivemos com uma metáfora contundente:

“Não somos pilotos experientes. Somos aprendizes dirigindo um supercarro em uma estrada de montanha sem guard-rails, em alta velocidade, com o acelerador colado. A única maneira de não cair no abismo não é frear, mas aprender a pilotar em tempo real, coordenar manobras com os outros carros e, acima de tudo, manter a calma. Nenhuma dessas coisas é fácil, especialmente quando o chão já está tremendo.” (Franzese, O Último Parecer, 2026)

Esta é a nossa tarefa: aprender a pilotar em tempo real, coordenar manobras e manter a calma. O futuro da humanidade depende disso.

Referências

Bueno de Mesquita, E., Dziuda, W., & Polborn, M. (2026). The AGI Race and Existential Risk. NBER Working Paper No. 35276. National Bureau of Economic Research.
Franzese, T. (2025). AI for All — Relatório da ONU para Governança Algorítmica. Organização das Nações Unidas. (Conforme citado no artigo)
Franzese, T. (2025). Finanças Públicas e Riscos Globais. São Paulo: Editora Contracorrente. (Conforme citado no artigo)
Franzese, T. (2026). Governança Algorítmica e Democracia. São Paulo: Editora Contracorrente. (Conforme citado no artigo)
Franzese, T. (2026). O Último Parecer. Rio de Janeiro: Lumen Juris. (Conforme citado no artigo)
Jones, C. I. (2025). Mitigating Existential Risk: How Much Should We Spend? Working Paper. Stanford Graduate School of Business. (Conforme citado no artigo)
Mao, S. (2026). Existential Indifference: Self-Nonpreservation as a Necessary Architectural Condition for Aligned Superintelligence (or: The Suicidal AI). arXiv preprint arXiv:2606.12032.
Oldenburg, N., & Papyshev, G. (2026). The Stories We Govern By: AI, Risk, and the Power of Imaginaries. arXiv preprint.
Zenil, H., et al. (2026). Neurodivergent influenceability in agentic AI as a contingent solution to the AI alignment problem. PNAS Nexus.
(2026). No value alignment without control. AI and Ethics, Volume 6.
(2026). Evolvable AI: Threats of a new major transition in evolution. Proceedings of the National Academy of Sciences (PNAS).
(2026). The Risk-Bearing Subject of AI-Related Existential Risk to Humanity. Zenodo Preprint.
(2026). AI going rogue? An integrative narrative review of the tacit assumptions underlying existential AI-risks. AI and Ethics, Volume 6.
(2026). ‘Systematic Alignment Decay’: a robust, technology-agnostic hazard associated with the advancement and proliferation of artificial intelligence. AI & SOCIETY.
Gartner, Inc. (2026). Gartner Identifies Four Critical Threats Requiring Urgent Improvements from Cybersecurity Leaders. Comunicado de imprensa.
Google. (2026). Google Report: AI Increasingly Integrated Into Cyberattack Chains. Google Cloud Threat Intelligence.

Como citar este artigo:

AUTOR. Riscos Existenciais da Inteligência Artificial, o Problema do Controle e o Papel da Cibersegurança. Plataforma de Conteúdo, 2026.

Tags relacionadas

dossiês e investigações inteligência artificial segurança