A fonte apresentou o MedChemBench, um benchmark criado para avaliar o desempenho de modelos de inteligência artificial em tarefas de raciocínio fundamentadas em pesquisas de química medicinal. O objetivo é verificar a habilidade dos modelos em conectar a estrutura de uma molécula com evidências experimentais, explicar resultados, comparar compostos e prever propriedades, auxiliando cientistas no desenvolvimento de novos medicamentos.
De acordo com a fonte, o desenvolvimento de fármacos enfrenta diversos desafios, pois a melhoria de uma propriedade em uma molécula pode prejudicar outra. Por exemplo, um composto pode apresentar forte ação contra uma proteína associada a doenças, mas ser absorvido de forma inadequada ou degradado rapidamente no organismo. Para auxiliar nesse processo, a IA precisa relacionar alterações estruturais com dados experimentais e raciocinar sobre quais compostos merecem testes adicionais.
O MedChemBench é composto por 99 problemas extraídos de artigos científicos e patentes publicados, englobando 761 estruturas moleculares distintas. O benchmark avalia quatro componentes principais:
- Estruturas moleculares: verificação de conexões corretas de átomos e estereoquímica especificada.
- Raciocínio científico: explicações fundamentadas nas evidências fornecidas.
- Ranqueamento e seleção: escolhas de compostos que atendam aos requisitos estabelecidos.
- Previsão de propriedades: concordância com valores numéricos e categorias relatados nas fontes.
Em testes realizados com onze modelos GPT em diferentes níveis de esforço de raciocínio, o modelo GPT-6.2 Astra obteve 84,5% dos pontos disponíveis na configuração de raciocínio mais alta (xhigh), seguido pelo GPT-6 Astra com 83,3%, GPT-6.1 Sol com 82,0% e GPT-5.6 Sol com 58,2%. O GPT-6 Astra demonstrou maior facilidade na reconstrução de estruturas moleculares e na explicação de evidências experimentais, enquanto a seleção de compostos e a previsão de propriedades numéricas mostraram-se mais desafiadoras.
A fonte ressalta que os resultados não comprovam a capacidade dos modelos de descobrir novos medicamentos ou de otimizar decisões laboratoriais no mundo real, uma vez que a exposição prévia às fontes publicadas não pode ser descartada e cada resposta consistiu em uma única tentativa sem o uso de ferramentas ou novos experimentos. O benchmark serve para identificar os avanços e os desafios remanescentes no uso de IA para a área.
Fonte: Can AI help scientists identify promising drug candidates?