Aplicação de técnicas de IA da descoberta de fármacos aos LLMs para reduzir as alucinações

5 de dezembro de 2024

Projetos revolucionários do GitHub: Descoberta automatizada de medicamentos com IA

A integração da inteligência artificial (IA) na descoberta de fármacos está a revolucionar a indústria farmacêutica. Os projetos de código aberto no GitHub desempenham um papel crucial nisso. Abaixo, apresentamos alguns dos projetos mais inovadores que promovem a descoberta automatizada de fármacos utilizando IA.

DeepChem: Plataforma aberta para aprendizagem profunda em química

DeepChem é uma biblioteca líder de código aberto que torna a aprendizagem profunda acessível para aplicações químicas. Fornece ferramentas para:

• Modelação Molecular
• Previsão da Estrutura das Proteínas
• Ciência dos Materiais

Através da sua interface de fácil utilização, o DeepChem permite aos investigadores implementar modelos complexos de IA sem conhecimentos profundos de programação. Isto acelera a descoberta de novos medicamentos e promove a inovação na indústria.

MoleculeNet: Benchmarking para IA em Química

MoleculeNet é um sistema de benchmarking abrangente, concebido especificamente para a aprendizagem automática em investigação química. Oferece:

• Conjuntos de dados normalizados
• Métricas de avaliação
• Comparação do desempenho do modelo

Ao fornecer benchmarks consistentes, o MoleculeNet facilita a comparação de diferentes modelos de IA, promovendo assim o progresso na descoberta de fármacos.

ATOM Modeling PipeLine (AMPL): Accelerated Drug Discovery

O ATOM Modeling PipeLine é um projeto do Consórcio ATOM que visa acelerar o desenvolvimento de medicamentos através da aprendizagem automática. O AMPL oferece:

• Pipeline modular para preparação de dados
• Formação automatizada de modelos
• Estruturas extensíveis para diversos casos de utilização

Com o AMPL, os investigadores podem construir modelos complexos de forma eficiente, reduzindo assim o tempo entre a descoberta e a comercialização de novos medicamentos.

Chemprop: Previsão de Propriedades Moleculares com Aprendizagem Profunda

O Chemprop utiliza redes neuronais de grafos para prever propriedades moleculares. As suas características incluem:

• Alta precisão de previsão
• Arquiteturas de modelos adaptáveis
• Suporte para diversos conjuntos de dados químicos

O Chemprop tem alcançado resultados excecionais em diversas competições e é uma ferramenta valiosa para a química assistida por IA.

DeepPurpose: Kit de ferramentas universal para a descoberta de fármacos

DeepPurpose é um kit de ferramentas abrangente de aprendizagem profunda para a descoberta de fármacos. Oferece:

• Integração de vários modelos e conjuntos de dados
• Fácil implementação de modelos preditivos
• Aplicações nas interações proteína-ligante

Graças à sua versatilidade, o DeepPurpose permite aos investigadores identificar novos candidatos terapêuticos de forma rápida e eficiente.

OpenChem: Deep Learning Dedicated Framework for Chemical Applications

OpenChem é um framework de aprendizagem profunda adaptada à química. Apresenta:

• Suporte para a geração de moléculas
• Previsão de imóveis
• Flexibilidade no design de modelos

O OpenChem promove o desenvolvimento de novos métodos em IA química e contribui para acelerar a investigação.

A comunidade de código aberto no GitHub está a expandir os limites da descoberta automatizada de medicamentos com estes projetos. A combinação da IA ​​e da química abre novas possibilidades para o desenvolvimento de soluções terapêuticas de forma mais eficiente e precisa. Estas inovações têm o potencial de mudar o futuro da medicina de forma sustentável.

Aplicação de modelos de investigação de IA, desde a descoberta de fármacos à destilação de modelos de IA

OOs modelos e métodos de IA utilizados oferecem abordagens inovadoras que podem ser aplicadas à destilação de modelos de IA. Embora os dois campos pareçam diferentes à primeira vista, partilham técnicas e desafios comuns que permitem uma aplicação significativa.

Sentido da Aplicação

A aplicação de modelos de investigação, desde a descoberta de fármacos à destilação de modelos de IA, faz sentido porque:

• Métodos Comuns: Ambos os campos utilizam técnicas avançadas de aprendizagem automática, como aprendizagem profunda, redes neuronais e modelos baseados em grafos.
• Redução da Complexidade: Na descoberta de fármacos, as estruturas moleculares complexas são representadas de forma simplificada, semelhante à redução de grandes modelos de IA em formas mais compactas.
• Otimização e Eficiência: Tanto a descoberta de fármacos como a destilação de modelos visam alcançar resultados eficientes e poderosos com recursos limitados.

Como pode ser aplicado

1. Redes Neurais de Grafos (RNGs) para Compreensão Estrutural

Na investigação de fármacos, as Redes Neurais de Grafos são utilizadas para analisar as estruturas moleculares. Estas técnicas podem ser utilizadas na destilação de modelos para compreender a estrutura de modelos grandes e extrair características essenciais para o modelo mais pequeno.

2. Aprendizagem por Transferência e Extração de Características

Os modelos de projetos como o DeepChem ou o Chemprop utilizam a aprendizagem por transferência para aprender com conjuntos de dados existentes. Da mesma forma, na destilação, um modelo grande pré-treinado pode servir como ponto de partida a partir do qual características essenciais são transferidas para o modelo mais pequeno.

3. Aprendizagem Multitarefa para Modelos Versáteis

Projetos como o MoleculeNet utilizam a aprendizagem multitarefa para treinar modelos que conseguem lidar com múltiplas tarefas em simultâneo. Este método pode ser utilizado em destilação para criar modelos compactos que ainda desempenham funções versáteis.

4. Técnicas de Otimização a Partir da Descoberta de Fármacos

Abordagens de otimização a partir da descoberta de fármacos, como o ajuste fino de hiperparâmetros ou a utilização de algoritmos evolucionários, podem ser aplicadas para tornar os modelos destilados mais eficientes.

5. Ampliação e Geração de Dados

A geração de dados sintéticos é fundamental em projetos como o DeepPurpose. Técnicas semelhantes podem ser utilizadas para melhorar o processo de treino do modelo do aluno em destilação, especialmente quando existem dados limitados disponíveis.

Etapas Práticas de Implementação

• Análise da Estrutura do Modelo: Utilização de Redes Geradoras de Informação (GNNs) para identificar componentes importantes do modelo do professor.
• Seleção de Características: Extração de características críticas para o desempenho do modelo.
• Projetos de Arquitetura Eficientes: Adaptação de arquiteturas de modelos da descoberta de fármacos para estruturas de modelos mais compactas.
• Treino Conjunto: Implementação da aprendizagem multitarefa para treinar o modelo do aluno em múltiplas tarefas e, assim, melhorar o aumento da capacidade de generalização.

A integração de métodos da descoberta automatizada de fármacos na destilação de modelos de IA abre novas maneiras de aumentar a eficiência e reduzir a complexidade. Ao transferir técnicas comprovadas, é possível desenvolver modelos compactos e poderosos que satisfazem os requisitos das aplicações modernas de IA. Esta abordagem interdisciplinar promove a inovação e acelera o progresso em ambos os campos de investigação.

Extensão: Aplicação de técnicas de IA da descoberta de fármacos a LLMs para reduzir alucinações

Os avanços na inteligência artificial revolucionaram tanto a descoberta de fármacos como o desenvolvimento de modelos de grande linguagem (LLMs). Uma questão interessante é se as técnicas de descoberta automatizada de fármacos podem ajudar a aumentar a precisão da previsão de LLMs e reduzir as alucinações. De seguida, exploramos esta possibilidade e analisamos se tal aplicação é útil e se estas técnicas já estão a ser utilizadas em LLMs.

Ligação entre IA e tecnologiaTécnicas em Química e LLMs

1. Redes Neurais de Grafos (RNGs) e Análise Estrutural

Na descoberta de fármacos, as Redes Neurais de Grafos são utilizadas para compreender e prever as estruturas complexas das moléculas. As RNG modelam os dados como grafos, o que é natural em química, uma vez que as moléculas são constituídas por átomos (nós) e ligações (arestas).

Aplicação às RNLs:

• Árvores sintáticas como grafos: Semelhantes às moléculas, as frases podem ser representadas como grafos, em que as palavras são nós e as relações gramaticais são arestas.
• Modelação de contexto melhorada: as RNL podem ser utilizadas para modelar melhor as relações entre as palavras numa frase, o que pode melhorar a contextualização nas RNL.

2. Incerteza e Estimativa de Incerteza

Na descoberta de fármacos, a estimativa de incerteza é crucial para avaliar a fiabilidade das previsões.

Aplicação aos LLMs:

• Redução das Alucinações: Ao incorporar estimativas de incerteza, os LLM podem avaliar melhor as suas próprias previsões e ter menos probabilidade de fornecer informações falsas ou alucinatórias.
• Métricas de Confiança: Implementação de métricas que indiquem o nível de confiança do modelo na sua resposta.

3. Aprendizagem Multitarefa e Aprendizagem por Transferência

Projetos como o MoleculeNet utilizam a aprendizagem multitarefa para treinar modelos que prevêem múltiplas propriedades em simultâneo.

Aplicação aos LLMs:

• Otimização simultânea de múltiplos objetivos: Os LLM podem ser treinados para otimizar tanto a previsão da palavra seguinte como a precisão do conteúdo.
• Transferência de conhecimento de domínio: Através da aprendizagem por transferência, os modelos podem utilizar conhecimentos específicos de química para fazer previsões mais precisas nesse domínio.

4. Aumento de Dados e Geração de Dados Sintéticos

Em química, os dados sintéticos são utilizados para melhorar os modelos, especialmente quando os dados reais são limitados.

Aplicação aos LLMs:

• Expandir conjuntos de dados de treino: Gerar dados de texto adicionais e de alta qualidade para melhorar o processo de treino.
• Melhorando a capacidade de generalização: Com dados mais diversos, o modelo pode generalizar melhor e ter menos alucinações.

A aplicação faz sentido?

Transferir técnicas de descoberta de fármacos assistida por IA para LLMs faz sentido teórico, dado que ambos os campos utilizam estruturas de dados complexas e aprendizagem automática. Alguns motivos são:

• Fundamentos matemáticos comuns: Ambos os campos utilizam redes neuronais e métodos de optimização.
• Necessidade de precisão e fiabilidade: Tanto na medicina como no processamento de informação, as previsões precisas são cruciais.

Desafios

• Diferentes tipos de dados: Os dados químicos são estruturalmente diferentes da linguagem natural.
• Escalabilidade: Os LLM são frequentemente significativamente maiores e mais complexos do que os modelos em química, o que dificulta a aplicação direta.

Estas técnicas já são utilizadas nos LLMs?

Muitas das técnicas referidas já são utilizadas de alguma forma nos LLMs Integrados:

• Estimativa da Incerteza: Alguns modelos utilizam abordagens bayesianas ou o método de Monte Carlo para modelar a Incerteza.
• Modelos baseados em grafos: Embora os GNNs não sejam utilizados directamente em LLMs, existem modelos que consideram árvores de sintaxe ou grafos de dependência.
• Aprendizagem Multitarefa e de Transferência: LLMs como o GPT-4 usam aprendizagem de transferência e podem ser ajustados para múltiplas tarefas.

Potenciais Abordagens Inovadoras

Apesar das técnicas existentes, existe potencial para novas abordagens:

• Modelos Híbridos: Combinação de LLMs com GNNs para uma melhor modelação de contexto.
• Otimização inspirada na química: Utilização de métodos de otimização da química para melhorarmento de procedimentos de formação em LLM.
• Conjuntos de dados interdisciplinares: Incorporar dados da química para tornar os LLMs mais precisos em áreas especializadas.

A aplicação de técnicas de descoberta automatizada de fármacos aos LLM oferece oportunidades promissoras para melhorar a precisão das previsões e reduzir as alucinações. Embora alguns métodos já estejam a ser utilizados nos LLMs, há espaço para mais inovação através de uma abordagem interdisciplinar. Os desafios residem principalmente nos diferentes tipos de dados e na escalabilidade. No entanto, a colaboração entre estes dois campos pode levar a avanços significativos na investigação em IA.

Breve experiência mental: Faz sentido?

A química e a linguagem natural parecem diferentes à primeira vista, mas ambas são sistemas com regras e estruturas complexas. As técnicas de modelação e previsão em química podem, portanto, fornecer informações valiosas para o processamento de linguagem natural. É importante estar aberto a abordagens interdisciplinares, dado que a inovação surge frequentemente nas interfaces de diferentes disciplinas.

Integrar as técnicas de IA desde a descoberta de fármacos ao desenvolvimento de LLMs pode ser uma forma promissora de melhorar ainda mais o desempenho destes modelos. Ao aprenderem um com o outro, ambos os campos podem beneficiar-se mutuamente e, em conjunto, abrir novos horizontes na investigação em IA.

Implementação para Reduzir Alucinações em LLMs Usando Hugging Face

Abaixo, demonstramos como criar um modelo de linguagem com estimativa de incerteza utilizando o Hugging Face e o Python para reduzir as alucinações. Utilizámos técnicas inspiradas em métodos utilizados na descoberta automatizada de fármacos, particularmente a estimativa de incerteza utilizando o método Monte Carlo dropout.

Requisitos

• Python 3.6 ou superior
• Bibliotecas instaladas:
  • transformers
  • torch
  • datasets

Pode instalar as bibliotecas necessárias com o seguinte comando:

pip install transformers torch datasets

Implementação do código

import tocha
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch.nn.functional as F
import numpy as np

# Carregar o tokenizador e o modelo
nome_modelo = 'gpt2'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# Ativar dropout mesmo no modo de avaliação
def enable_dropout(modelo):
""Activa as camadas de dropout no modelo durante a avaliação."""
for module in model.modules():
if isinstance(module, torch.nn.Dropout):
módulo.treinar()

# Função para geração com estimativa de incerteza
def generate_with_uncertainty(model, tokenizer, prompt, num_samples=5, max_length=50):
modelo.eval()
enable_dropout(modelo)
inputs = tokenizer(prompt, return_tensores='pt')
input_ids = inputs['input_ids']

# Múltiplas previsões para a estimativa de incerteza
outputs = []
for _ in range(num_samples):
with torch.no_grad():
saída = modelo.generar(
input_ids=input_ids,
max_length=max_length,
do_sample=True,
top_k=50,
top_p=0,95
)
outputs.append(output)

# Descodificando as sequências geradas
sequences = [tokenizer.decode(output[0], skip_special_tokens=True) para saída em outputs]

# Cálculo da incerteza (entropia)
probs = []
para saída em outputs:
with torch.no_grad():
logits = model(output)['logits']
prob = F.softmax(logits, dim=-1)
probs.append(prob.cpu().numpy())

# Calcular a entropia média
entropias = []
for prob em probs:
entropia = -np.sum(prob * np.log(prob + 1e-8)) / prob.size
entropias.append(entropia)

entropia_média = np. média(entropias)
incerteza = entropia_média

# Seleção da sequência de ocorrência mais frequente
from collections import Counter
sequence_counts = Counter(sequences)
most_common_sequence = sequence_counts.most_common(1)[0][0]

return {
'text_generado': most_common_sequence,
'uncertainty': uncertainty
}

# Exemplo de utilização
prompt = "O impacto da inteligência artificial na medicina é"

resultado = gerar_with_uncertainty(modelo, tokenizer, prompt)
print("Texto gerado:")
print(resultado['texto_generado'])
print("nEstimated uncertainty:", result['uncertainty'])

Explicação do código

• Carregamento do modelo e do tokenizer: Utilizámos o modelo GPT-2 pré-treinado do Hugging Face.

  tokenizer = AutoTokenizer.from_pretrained(model_name)
  model = AutoModelForCausalLM.from_pretrained(model_name)
  

• Ativar dropout: Utilizamos a função enable_dropout para ativar as camadas de dropout. durante a avaliação para habilitar o dropout de Monte Carlo.

  def enable_dropout(model):
  for module in model.modules():
  if isinstance(module, torch.nn.Dropout):
  módulo.treinar()
  

• Geração com Estimativa de Incerteza: A função generate_with_uncertainty realiza múltiplas previsões e calcula a incerteza com base na entropia das distribuições de saída.

  def generate_with_uncertainty(model, tokenizer, prompt, num_samples=5, max_length=50):
  # Função implementada como mostrado acima
  

• Cálculo da Incerteza: A entropia das distribuições de probabilidade é calculada para estimar a incerteza. Uma entropia mais elevada indica uma incerteza maior.

• Seleção da melhor sequência: Escolhemos a sequência gerada com maior frequência como saída final, uma vez que é mais provável que esteja correta.

  Advertising

Utilizar Repositórios GitHub

Para funcionalidades alargadas e métodos avançados, os seguintes repositórios GitHub podem ser úteis:

• Redes de Transformadores Bayesianos: Transformadores Bayesianos

  • Implementação de Transformadores com métodos Bayesianos para a estimativa de incerteza.

• Modelos de Linguagem Aumentada pelo Conhecimento: K-Adapter

  • Uma abordagem para integrar o conhecimento factual em modelos de linguagem para reduzir alucinações.

Possibilidades de Extensão

• Ajuste Fino com Dados Específicos de Domínio: Ao ajustar o modelo com conjuntos de dados específicos, a precisão pode ser aumentada.

  from datasets import load_dataset
  
  # Carregamento de um conjunto de dados específico de domínio
  dataset = carregar_dataset('o_seu_dataset')
  
  # Introduza aqui o código de ajuste fino
  

• Integração de gráficos de conhecimento: Integração de bases de dados de conhecimento externas, como o Wikidata, para validar e complementar o conteúdo gerado.

• Utilização de modelos maiores: Utilização de modelos mais avançados, como o GPT-3 ou o GPT-4, através de APIs correspondentes para obter melhores resultados.

Conclusão

Ao aplicar estimativas de incerteza e técnicas de descoberta automatizada de fármacos, podemos aumentar a fiabilidade dos modelos de linguagem e reduzir as alucinações indesejadas. A implementação fornecida serve como ponto de partida e pode ser desenvolvida posteriormente para satisfazer requisitos específicos.

Nota: A implementação apresentada acima é um exemplo simplificado. Num ambiente de produção, outros aspetos, como a eficiência, a escalabilidade e as considerações éticas, devem ser tidos em conta.

Autor: Thomas Poschadel

COPYRIGHT ToNEKi Media UG (responsabilidade limitada)