Entendendo a destilação adversarial
De acordo com a OpenAI, a destilação adversarial ocorre quando agentes mal-intencionados utilizam saídas de modelos de inteligência artificial de fronteira sem autorização para treinar novos sistemas. O objetivo é replicar capacidades avançadas sem herdar as salvaguardas de proteção originais. Essa prática apresenta riscos em áreas sensíveis, como segurança cibernética e biologia, permitindo que modelos secundários forneçam assistências bloqueadas pelas diretrizes iniciais.
Proteção ao raciocínio interno
A empresa destacou a importância de blindar o chamado raciocínio protegido, que consiste nos passos intermediários gerados internamente pela IA antes da resposta final. Dados de testes internos mostram que a taxa de sucesso de ataques adaptativos para recuperar o raciocínio protegido em modelos atualizados, como o GPT-6.2 Astra, caiu para 0,2%, em comparação com 54,0% registrados em versões anteriores com salvaguardas originais.
Abordagem integrada de defesa e investigações
Para mitigar essas ameaças, a OpenAI combina testes adversariais, treinamentos específicos de modelos, classificadores de entrada e saída, e restrições em nível de API. A estratégia inclui monitorar tentativas coordenadas de extração de dados em redes de contas e compartilhar indicadores de comprometimento com outros provedores e autoridades governamentais, visando estabelecer padrões consistentes de segurança em todo o setor tecnológico.