Quem constrói a IA está assustado. E quem a usa?

O que aconteceu

Jacob Coxon, engenheiro de software britânico de 27 anos, demitiu-se da Anthropic. Antes disso passou três anos na OpenAI, onde participou no desenvolvimento do GPT-4o e do GPT-4.5. Nunca teve cargos de liderança. Não é um nome que apareça em conferências nem em capas de revista.

A saída seria irrelevante para o mundo empresarial se não fosse a forma como a anunciou. Coxon publicou uma série de mensagens no X onde afirma que as pessoas envolvidas no desenvolvimento destes sistemas "acreditam que esta nos poderá matar a todos até ao final desta década". Escreveu que não conhece outra atividade humana com este nível de ameaça e que os projetos atuais se tornarão "em breve sistemas sobre-humanos capazes de piratear qualquer coisa".

Sobre as duas empresas onde trabalhou, fez uma distinção que vale a pena registar. A OpenAI, na sua leitura, talvez não tenha interiorizado a dimensão civilizacional do problema. A Anthropic percebeu-a e está presa na corrida para chegar primeiro. Nenhuma das duas, diz, está a agir de forma responsável. A expressão que usou foi que "brincam com vidas".

A proposta que deixou é a parte mais desconfortável: medidas de custo elevado, incluindo uma proibição temporária de melhorar as capacidades dos modelos.

O que transformou isto de desabafo em notícia foi a resposta. Evan Hubinger, investigador da própria Anthropic, concordou publicamente: "Jacob tem aqui razão; acreditamos realmente com sinceridade que a IA poderia matar todos os humanos. Pessoalmente, acho que a probabilidade é superior a 10% na próxima década." Não é um crítico externo. É alguém que continua lá dentro, a trabalhar no produto.

Coxon não inaugurou o género. Geoffrey Hinton saiu da Google em 2023 para poder falar sem constrangimentos sobre riscos e recebeu o Nobel da Física no ano seguinte. Em 2024, um grupo de antigos colaboradores da OpenAI manifestou preocupação com a velocidade do desenvolvimento e com a ausência de proteção para quem denuncia. A diferença agora é a aritmética explícita. Uma probabilidade em dois dígitos, dita por quem está no interior da organização, atribuída a um horizonte de dez anos.

É aqui que a maior parte da cobertura acaba, entre o arrepio e o encolher de ombros. Para um gestor, nenhuma das duas reações serve.

Comecemos pela parte que não é acionável. Se a probabilidade de catástrofe civilizacional for de facto superior a 10%, não há plano de contingência empresarial que responda a isso. Nenhuma PME portuguesa vai gerir esse risco com uma política interna. Nem a Comissão Europeia o gere com um regulamento. Ignorar essa camada do debate não é negacionismo. É reconhecer que ela pertence a outro plano de decisão.

O sinal está noutro sítio e é bastante mais concreto do que a manchete.

Um engenheiro sair de uma das duas empresas que definem a fronteira tecnológica, dizendo que a organização entende o risco mas não consegue abrandar porque está numa corrida, descreve uma condição de mercado. Uma corrida em que ninguém pode parar significa lançamentos rápidos, versões que se sucedem em meses, modelos descontinuados sem grande cerimónia, preços que oscilam e capacidades que mudam por baixo dos pés de quem construiu produto em cima delas.

Foi exatamente isso que aconteceu nos últimos dois anos. Empresas que integraram um modelo específico numa operação viram esse modelo ser substituído, alterado no comportamento perante as mesmas instruções, ou simplesmente encarecido. Nenhuma dessas mudanças foi anunciada como risco existencial. Foram notas de versão.

Uma corrida também explica a economia de tudo isto. Os laboratórios que competem por chegar primeiro estão a queimar capital a um ritmo que só faz sentido se o prémio final for enorme e exclusivo. Enquanto durar, quem compra beneficia: preços por token que caem, capacidades que sobem, generosidade comercial que nenhum fornecedor de software empresarial praticaria em condições normais. O dia em que a corrida terminar, por vitória de alguém ou por travagem do capital, é o dia em que os preços passam a refletir custos. Empresas que desenharam processos assumindo o preço de hoje estão a assumir, sem o dizer, que a fase de subsídio implícito dura para sempre.

Há aqui uma ironia que não escapa a ninguém que acompanhe o setor. O mesmo argumento de urgência que justifica não abrandar é o que justifica não estabilizar. Prometer segurança exigiria previsibilidade e previsibilidade é exatamente o que uma corrida não permite. Coxon percebeu isso melhor do que a maioria dos comentadores externos, porque estava lá dentro a ver os prazos a encolher.

A dependência que ninguém contabilizou

Pergunte a um diretor financeiro qual é a exposição da empresa a um único fornecedor de matéria-prima e ele sabe responder. Percentagem do custo, alternativas mapeadas, prazo de substituição. Pergunte a mesma coisa sobre o modelo de linguagem que hoje faz triagem de emails, redige propostas, classifica faturas ou responde a clientes. A resposta costuma ser um silêncio embaraçado seguido de "isso é uma coisa do IT".

Não é. É uma dependência operacional que entrou pela porta das traseiras, muitas vezes sem contrato formal, sem dono interno e sem custo consolidado, porque começou com uma subscrição de vinte euros por mês que alguém pôs no cartão de crédito da empresa.

Vale a pena olhar para os números que já existem antes de olhar para os que se especulam. O Banco Central Europeu estimou este ano que cerca de metade dos trabalhadores da zona euro já usa alguma forma de IA no trabalho. Em Portugal, a adoção formal ao nível da empresa é substancialmente menor do que a adoção informal ao nível do colaborador. Traduzido: há muito mais IA a ser usada dentro das empresas portuguesas do que aquela que os respetivos conselhos de administração conseguem enumerar.

Este desalinhamento tem um nome no jargão anglo-saxónico, IA sombra, com uma tradução muito prática em português: relatórios internos redigidos com dados de clientes colados numa caixa de texto de um serviço americano que ninguém contratou. Não é má-fé de quem o faz. É um colaborador a resolver um problema com a ferramenta que tem à mão, na ausência de uma que a empresa tenha disponibilizado. A regra que funciona nestes casos raramente é a proibição, porque a proibição empurra a utilização para os telemóveis pessoais e retira-lhe qualquer rasto. Funciona melhor dar uma alternativa oficial, com contrato e com limites claros sobre o que pode entrar lá dentro.

Quanto ao custo, o padrão que encontramos nas empresas com quem trabalhamos é quase sempre o mesmo. Somam-se as subscrições individuais espalhadas por três departamentos e chega-se a um valor que, se tivesse aparecido de uma vez numa proposta de fornecedor, teria ido a decisão de administração. Espalhado por doze meses e por cartões diferentes, nunca foi decidido por ninguém. Uma dependência que nasceu assim tende também a morrer assim, sem plano, no dia em que alguém corta a despesa.

Uma dependência que não está inventariada não está gerida. E uma dependência não gerida sobre um fornecedor cujos próprios engenheiros dizem publicamente que a organização está a correr depressa de mais é uma combinação que qualquer auditor levantaria, se soubesse onde procurar.

Regular quem corre

A União Europeia decidiu que este problema se resolve com regras e o AI Act é a expressão disso. As obrigações de transparência já entraram em vigor, a classificação por nível de risco está definida e as coimas estão escritas. Para a maioria das empresas portuguesas, o enquadramento é o de utilizador de sistemas de IA, não o de fornecedor, o que implica um conjunto de deveres bastante mais leve: saber que sistemas usa, para que fins, com que dados e informar as pessoas quando interagem com uma máquina.

O ponto que este caso expõe é outro. Regulação europeia sobre utilização não influencia a velocidade a que dois laboratórios americanos decidem lançar a geração seguinte. Bruxelas pode disciplinar o modo como uma empresa portuguesa usa a ferramenta. Não disciplina a ferramenta.

Daí resulta uma assimetria que convém ter presente ao desenhar processos internos. A empresa é responsável pelo resultado que a IA produz junto do cliente, do trabalhador ou da autoridade fiscal, independentemente de esse resultado ter vindo de um modelo que mudou de comportamento sem aviso. O fornecedor limita a sua responsabilidade nos termos de serviço. A responsabilidade fica do lado de quem opera.

Quem já viveu isto sabe o que custa. Uma cadeia de retalho que automatizou respostas a reclamações e descobriu, três semanas depois de uma atualização do modelo, que o tom das respostas tinha derivado para uma formalidade fria que gerou uma vaga de escalonamentos. Ninguém tinha mudado nada do lado de dentro.

Isto tem consequências no desenho contratual com clientes. Uma empresa que promete um nível de serviço numa proposta e o cumpre através de um modelo de terceiros está a assumir uma obrigação de resultado suportada por uma dependência de meios sobre a qual não manda. Enquanto a operação corre bem, ninguém repara. No dia em que corre mal, a discussão é entre a empresa e o cliente, sem terceiro à mesa.

Existe uma alternativa parcial que vale a pena considerar, sobretudo em processos sensíveis: modelos de pesos abertos, corridos em infraestrutura europeia ou na própria empresa. São menos capazes do que a fronteira e mais caros de operar em pequena escala. Em compensação, não mudam sozinhos. Para classificação documental, extração de dados de faturas ou pesquisa interna, essa estabilidade costuma valer mais do que os últimos pontos percentuais de desempenho. Não é uma escolha ideológica entre soberania e conveniência. É uma escolha por processo. O mais provável é que uma empresa acabe com os dois modelos a coexistir.

Cinco perguntas antes da próxima integração

A resposta correta a este episódio não é travar a adoção. Uma empresa que suspende projetos de IA porque um engenheiro publicou um aviso no X está a pagar um custo competitivo real por um risco que não sabe quantificar. Adotar com arquitetura é outra coisa.

• Onde é que já estamos dependentes? Inventário simples: que processos param ou degradam se o fornecedor ficar indisponível durante uma semana. Se ninguém responde em dez minutos, o inventário não existe.
• O que é que este processo faz sem o modelo? Um procedimento manual documentado vale mais do que uma migração teórica. Nem tudo precisa dele: o que toca clientes, dinheiro ou obrigações legais, precisa.
• A integração está desenhada para trocar de fornecedor? Chamar a API diretamente de dentro do código de negócio garante que a próxima mudança é um projeto. Uma camada de abstração fina torna a substituição uma configuração.
• Que dados saem da empresa e ao abrigo de quê? Contrato, localização do processamento, retenção, utilização para treino. Esta pergunta tem resposta escrita ou não há gestão de risco nenhuma.
• Quem valida o resultado antes de produzir efeito? Automatizar a produção é fácil. Automatizar a responsabilidade é impossível. O ponto de validação humana tem de estar identificado por escrito, com nome de pessoa.

Nenhuma destas perguntas é sofisticada. São as mesmas que qualquer empresa faria antes de depender de um fornecedor único para um componente crítico. A anomalia dos últimos três anos foi terem deixado de ser feitas apenas porque a tecnologia era nova e entusiasmante.

O que isto significa para a sua empresa

A conversa sobre risco existencial é irresolúvel dentro de uma sala de administração. A conversa sobre dependência tecnológica resolve-se numa tarde. Recomendamos começar pela segunda.

Há três frentes onde isto se traduz em decisões desta semana. A primeira é o inventário: listar os sistemas de IA em uso, quem os contratou, que dados tocam e que processos deles dependem. Esse documento é simultaneamente a base do cumprimento do AI Act e a base da gestão de fornecedor. Faz-se uma vez e serve duas finalidades.

A segunda é o investimento. Empresas que constroem soluções próprias com componente de IA, em vez de apenas consumir subscrições, encontram hoje instrumentos desenhados exatamente para isso. A Linha IA nas PME do PRR aprovou projetos com taxas de apoio na ordem dos 75% e o SIFIDE II continua a permitir deduzir à coleta uma parte significativa da despesa em investigação e desenvolvimento, incluindo a que é feita em software com componente científica ou tecnológica. Quem internaliza capacidade fica menos exposto à volatilidade de quem a vende.

A terceira é o calendário. As obrigações do AI Act aplicáveis a utilizadores entram por fases e a resposta típica das empresas portuguesas tem sido esperar pela fiscalização. Quem tratar o dossier agora fá-lo com custo baixo e sem pressão. Quem esperar trata-o com prazo e com advogado.

Rever a exposição a fornecedores de IA, ou avaliar que instrumentos se aplicam a um projeto de internalização, é uma conversa de trinta minutos que costuma valer o tempo.

Coxon pediu aos colegas de profissão que parem para pensar. Provavelmente não vão. A estrutura de incentivos do setor é clara e ele próprio descreveu-a melhor do que qualquer analista externo: uma das empresas percebe o problema e continua a correr, porque parar significa perder.

Para quem gere uma empresa em Portugal, a lição não está na profecia. Está na frase intermédia, aquela que passou despercebida na cobertura. Um dos dois fornecedores que hoje sustentam boa parte da automação empresarial mundial está, por confissão dos seus próprios engenheiros, a mover-se mais depressa do que gostaria. Isso é informação sobre estabilidade de fornecedor. E informação sobre estabilidade de fornecedor é matéria de gestão, não de filosofia.

Há um efeito secundário deste tipo de episódio que merece atenção de quem lidera equipas. Manchetes com esta carga chegam aos colaboradores antes de chegarem à administração e produzem duas reações opostas dentro da mesma empresa. Uns concluem que o assunto é demasiado perigoso para se envolverem. Outros concluem que, se o mundo vai mudar assim tão depressa, mais vale usar tudo sem critério. Ambas as reações custam dinheiro. A única forma de as neutralizar é ter uma posição escrita da empresa sobre o que se usa, para quê, com que dados e com que validação. Uma página chega.

A pergunta a levar para a próxima reunião de direção não é se a IA nos vai matar a todos. É quanto tempo a empresa demoraria a funcionar de novo se, na próxima segunda-feira, o modelo em que assenta metade da operação deixasse de estar disponível nos termos em que está hoje. Se a resposta for desconhecida, o trabalho urgente é esse.