Zastosowanie technik AI od odkrywania leków po LLM w celu zmniejszenia halucynacji

5 grudnia 2024

Rewolucyjne projekty GitHub: automatyczne odkrywanie leków z AI

Integracja sztucznej inteligencji (AI) z odkrywaniem leków rewolucjonizuje przemysł farmaceutyczny. Projekty open source w GitHub odgrywają w tym kluczową rolę. Poniżej przedstawiamy niektóre z najbardziej innowacyjnych projektów promujących automatyczne odkrywanie leków z wykorzystaniem AI.

DeepChem: otwarta platforma do głębokiego uczenia się w chemii

DeepChem to wiodąca biblioteka open source, która udostępnia głębokie uczenie się w zastosowaniach chemicznych. Zapewnia narzędzia do:

• Modelowania molekularnego
• Przewidywania struktury białek
• Nauki o materiałach

Dzięki przyjaznemu dla użytkownika interfejsowi DeepChem umożliwia badaczom wdrażanie złożonych modeli AI bez dogłębnej wiedzy programistycznej. Przyspiesza to odkrywanie nowych leków i promuje innowacje w branży.

MoleculeNet: Benchmarking dla AI w chemii

MoleculeNet to kompleksowy system benchmarkingu zaprojektowany specjalnie do uczenia maszynowego w badaniach chemicznych. Oferuje:

• Ustandaryzowane zestawy danych
• Metryki oceny
• Porównanie wydajności modelu

Dzięki zapewnieniu spójnych punktów odniesienia MoleculeNet ułatwia porównywanie różnych modeli AI, promując w ten sposób postęp w odkrywaniu leków.

ATOM Modeling PipeLine (AMPL): Przyspieszone odkrywanie leków

ATOM Modeling PipeLine to projekt ATOM Consortium, którego celem jest przyspieszenie rozwoju leków poprzez uczenie maszynowe. AMPL oferuje:

• Modułowy kanał do przygotowywania danych
• Zautomatyzowane szkolenie modeli
• Rozszerzalne struktury dla różnych przypadków użycia

Dzięki AMPL naukowcy mogą wydajnie budować złożone modele, skracając w ten sposób czas od odkrycia do wprowadzenia na rynek nowych leków.

Chemprop: przewidywanie właściwości molekularnych z wykorzystaniem głębokiego uczenia

Chemprop wykorzystuje sieci neuronowe grafów do przewidywania właściwości molekularnych. Jego funkcje obejmują:

• Wysoka dokładność przewidywań
• Elastyczna architektura modeli
• Obsługa zróżnicowanych zestawów danych chemicznych

Chemprop osiągnął znakomite wyniki w kilku konkursach i jest cennym narzędziem dla chemii wspomaganej przez sztuczną inteligencję.

DeepPurpose: Uniwersalny zestaw narzędzi do odkrywania leków

DeepPurpose to kompleksowy zestaw narzędzi do głębokiego uczenia się do odkrywania leków. Oferuje:

• Integrację różnych modeli i zestawów danych
• Łatwą implementację modeli predykcyjnych
• Zastosowania w interakcjach białko-ligand

Dzięki swojej wszechstronności DeepPurpose umożliwia badaczom szybką i skuteczną identyfikację nowych kandydatów na leki.

OpenChem: Dedykowany framework głębokiego uczenia się dla zastosowań chemicznych

OpenChem to framework głębokiego uczenia się dostosowany do chemii. Oferuje:

• Obsługę generacji cząsteczek
• Przewidywanie właściwości
• Elastyczność w projektowaniu modeli

OpenChem promuje rozwój nowych metod w chemicznej sztucznej inteligencji i przyczynia się do przyspieszenia badań.

Społeczność open source na GitHub przesuwa granice zautomatyzowanego odkrywania leków dzięki tym projektom. Połączenie sztucznej inteligencji i chemii otwiera nowe możliwości bardziej wydajnego i precyzyjnego opracowywania rozwiązań terapeutycznych. Te innowacje mają potencjał, aby zmienić przyszłość medycyny w sposób zrównoważony.

Zastosowanie modeli badawczych AI od odkrywania leków po destylację modeli AI

Używane modele i metody AI oferują innowacyjne podejścia, które można przenieść do destylacji modeli AI. Chociaż na pierwszy rzut oka te dwie dziedziny wydają się różne, mają wspólne techniki i wyzwania, które umożliwiają sensowne zastosowanie.

Poczucie zastosowania

Zastosowanie modeli badawczych od odkrywania leków do destylacji modeli AI ma sens, ponieważ:

• Wspólne metody: Obie dziedziny wykorzystują zaawansowane techniki uczenia maszynowego, takie jak głębokie uczenie, sieci neuronowe i modele oparte na grafach.
• Redukcja złożoności: W odkrywaniu leków złożone struktury molekularne są przedstawiane w uproszczonej formie, podobnie jak redukcja dużych modeli AI do bardziej zwartych form.
• Optymalizacja i wydajność: Zarówno odkrywanie leków, jak i destylacja modeli mają na celu osiągnięcie wydajnych i potężnych wyników przy ograniczonych zasobach.

Jak można to zastosować

1. Sieci neuronowe grafów (GNN) do zrozumienia struktury

W badaniach nad lekami sieci neuronowe grafów są używane do analizy struktur molekularnych. Techniki te można wykorzystać w destylacji modeli do zrozumienia struktury dużych modeli i wyodrębnienia istotnych cech dla mniejszego modelu.

2. Transfer uczenia się i ekstrakcja cech

Modele z projektów takich jak DeepChem lub Chemprop wykorzystują transfer uczenia się do nauki z istniejących zestawów danych. Podobnie w destylacji duży wstępnie wyszkolony model może służyć jako punkt wyjścia, z którego istotne cechy są przenoszone do mniejszego modelu.

3. Wielozadaniowe uczenie się dla wszechstronnych modeli

Projekty takie jak MoleculeNet wykorzystują wielozadaniowe uczenie się do trenowania modeli, które mogą obsługiwać wiele zadań jednocześnie. Tę metodę można stosować w destylacji, aby tworzyć kompaktowe modele, które nadal spełniają wszechstronne funkcje.

4. Techniki optymalizacji z odkrywania leków

Podejścia optymalizacyjne z odkrywania leków, takie jak dostrajanie hiperparametrów lub używanie algorytmów ewolucyjnych, można stosować w celu zwiększenia wydajności destylowanych modeli.

5. Rozszerzanie i generowanie danych

Generowanie syntetycznych danych jest kluczowe w projektach takich jak DeepPurpose. Podobne techniki można wykorzystać do usprawnienia procesu szkolenia modelu ucznia w destylacji, zwłaszcza gdy dostępne są ograniczone dane.

Praktyczne kroki wdrażania

• Analiza struktury modelu: Wykorzystanie sieci GNN do identyfikacji ważnych komponentów modelu nauczyciela.
• Wybór cech: Wyodrębnianie krytycznych cech, które są kluczowe dla wydajności modelu.
• Efektywne projekty architektury: Adaptacja architektur modeli z odkrywania leków w celu uzyskania bardziej zwartych struktur modeli.
• Wspólne szkolenie: Wdrażanie uczenia się wielozadaniowego w celu szkolenia modelu ucznia w zakresie wielu zadań, a tym samym zwiększenia możliwości generalizacji.

Integracja metod z automatycznego odkrywania leków z destylacją modeli AI otwiera nowe sposoby na zwiększenie wydajności i zmniejszenie złożoności. Dzięki przeniesieniu sprawdzonych technik można opracować wydajne, kompaktowe modele, które spełniają wymagania nowoczesnych zastosowań AI. To interdyscyplinarne podejście promuje innowacyjność i przyspiesza postęp w obu dziedzinach badań.

Rozszerzenie: Zastosowanie technik AI od odkrywania leków do LLM w celu zmniejszenia halucynacji

Postęp w dziedzinie sztucznej inteligencji zrewolucjonizował zarówno odkrywanie leków, jak i rozwój dużych modeli językowych (LLM). Interesującym pytaniem jest, czy techniki zautomatyzowanego odkrywania leków mogą pomóc zwiększyć dokładność przewidywań LLM i zmniejszyć halucynacje. Poniżej badamy tę możliwość i analizujemy, czy takie zastosowanie jest przydatne i czy te techniki są już stosowane w LLM.

Połączenie między AI a technologiąTechniki w chemii i LLM

1. Sieci neuronowe grafów (GNN) i analiza strukturalna

W odkrywaniu leków sieci neuronowe grafów są wykorzystywane do zrozumienia i przewidywania złożonych struktur cząsteczek. Sieci GNN modelują dane jako grafy, co jest naturalne w chemii, ponieważ cząsteczki składają się z atomów (węzłów) i wiązań (krawędzi).

Zastosowanie w sieciach LLM:

• Drzewa składniowe jako grafy: Podobnie jak cząsteczki, zdania można przedstawić jako grafy, w których słowa są węzłami, a relacje gramatyczne krawędziami.
• Ulepszone modelowanie kontekstu: sieci GNN można wykorzystać do lepszego modelowania relacji między słowami w zdaniu, co może poprawić kontekstualizację w sieciach LLM.

2. Niepewność i szacowanie niepewności

W odkrywaniu leków szacowanie niepewności jest kluczowe dla oceny wiarygodności przewidywań.

Zastosowanie w LLM:

• Zmniejszanie halucynacji: Dzięki uwzględnieniu oszacowań niepewności LLM może lepiej oceniać własne przewidywania i być mniej skłonnym do podawania fałszywych lub halucynacyjnych informacji.
• Wskaźniki pewności: Wdrażanie wskaźników wskazujących, jak pewny jest model w swojej odpowiedzi.

3. Uczenie się wielozadaniowe i uczenie transferowe

Projekty takie jak MoleculeNet wykorzystują uczenie się wielozadaniowe do trenowania modeli, które przewidują wiele właściwości jednocześnie.

Zastosowanie w LLM:

• Jednoczesna optymalizacja wielu celów: LLM można trenować w celu optymalizacji zarówno przewidywania następnego słowa, jak i dokładności treści.
• Transfer wiedzy domenowej: Dzięki uczeniu transferowemu modele mogą wykorzystywać konkretne doświadczenie z chemii, aby tworzyć dokładniejsze przewidywania w tej domenie.

4. Wzbogacanie danych i generowanie syntetycznych danych

W chemii syntetyczne dane są wykorzystywane do ulepszania modeli, zwłaszcza gdy rzeczywiste dane są ograniczone.

Zastosowanie w LLM:

• Rozszerzanie zestawów danych szkoleniowych: Generowanie dodatkowych, wysokiej jakości danych tekstowych w celu usprawnienia procesu szkolenia.
• Poprawa zdolności generalizacji: Dzięki bardziej zróżnicowanym danym model może lepiej generalizować i mniej halucynować.

Czy zastosowanie ma sens?

Przeniesienie technik z wspomaganego sztuczną inteligencją odkrywania leków do LLM ma teoretyczny sens, ponieważ obie dziedziny wykorzystują złożone struktury danych i uczenie maszynowe. Oto niektóre z powodów:

• Wspólne podstawy matematyczne: W obu dziedzinach stosuje się sieci neuronowe i metody optymalizacji.
• Potrzeba dokładności i niezawodności: W medycynie i przetwarzaniu informacji precyzyjne prognozy są kluczowe.

Wyzwania

• Różne typy danych: Dane chemiczne różnią się strukturalnie od języka naturalnego.
• Skalowalność: Modele LLM są często znacznie większe i bardziej złożone niż modele w chemii, co utrudnia ich bezpośrednie zastosowanie.

Czy te techniki są już stosowane w modelach LLM?

Wiele z wymienionych technik jest już w jakiejś formie stosowanych w modelach LLM Zintegrowane:

• Oszacowanie niepewności: Niektóre modele wykorzystują podejścia bayesowskie lub Monte Carlo porzucenie w celu modelowania niepewności.
• Modele oparte na grafach: Podczas gdy sieci GNN nie są bezpośrednio używane w LLM, istnieją modele, które uwzględniają drzewa składniowe lub grafy zależności.
• Wielozadaniowość i uczenie transferowe: sieci LLM, takie jak GPT-4, wykorzystują uczenie transferowe i mogą być dostrajane do wielu zadań.

Potencjalne innowacyjne podejścia

Pomimo istniejących technik istnieje potencjał nowych podejść:

• Modele hybrydowe: Łączenie sieci LLM z sieciami GNN w celu lepszego modelowania kontekstu.
• Optymalizacja inspirowana chemią: Korzystanie z metod optymalizacji z chemii w celu poprawying procedur szkoleniowych LLM.
• Interdyscyplinarne zestawy danych: Włączanie danych z chemii w celu zwiększenia dokładności LLM w wyspecjalizowanych obszarach.

Zastosowanie technik z zakresu automatycznego odkrywania leków do LLM oferuje ekscytujące możliwości poprawy dokładności przewidywań i zmniejszenia halucynacji. Podczas gdy niektóre metody są już stosowane w LLM, istnieje pole do dalszych innowacji poprzez podejście interdyscyplinarne. Wyzwania leżą przede wszystkim w różnych typach danych i skalowalności. Niemniej jednak współpraca między tymi dwoma dziedzinami może doprowadzić do znacznych postępów w badaniach nad sztuczną inteligencją.

Krótki eksperyment myślowy: Czy to ma sens?

Chemia i język naturalny wydają się na pierwszy rzut oka różne, ale oba są systemami o złożonych regułach i strukturach. Techniki modelowania i przewidywania w chemii mogą zatem zapewnić cenne dane wejściowe do przetwarzania języka naturalnego. Ważne jest, aby być otwartym na podejścia interdyscyplinarne, ponieważ innowacje często pojawiają się na styku różnych dyscyplin.

Integracja technik AI od odkrywania leków do rozwoju LLM może być obiecującym sposobem na dalsze zwiększenie wydajności tych modeli. Ucząc się od siebie nawzajem, obie dziedziny mogą czerpać z siebie korzyści i wspólnie otwierać nowe horyzonty w badaniach nad AI.

Wdrożenie w celu zmniejszenia halucynacji w LLM przy użyciu Hugging Face

Poniżej pokazujemy, jak utworzyć model językowy z szacowaniem niepewności przy użyciu Hugging Face i Pythona w celu zmniejszenia halucynacji. Wykorzystujemy techniki inspirowane metodami stosowanymi w automatycznym odkrywaniu leków, w szczególności szacowanie niepewności przy użyciu metody Monte Carlo dropout.

Wymagania

• Python 3.6 lub nowszy
• Zainstalowane biblioteki:
  • transformers
  • torch
  • datasets

Wymagane biblioteki można zainstalować za pomocą następującego polecenia:

pip install transformers torch datasets

Implementacja kodu

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch.nn.functional as F
import numpy as np

# Załaduj tokenizer i model
model_name = 'gpt2'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# Włącz dropout nawet w trybie oceny
def enable_dropout(model):
""Włącza warstwy dropout w modelu podczas oceny."""
for module in model.modules():
if isinstance(module, torch.nn.Dropout):
module.train()

# Funkcja do generowania z oszacowaniem niepewności
def generate_with_uncertainty(model, tokenizer, prompt, num_samples=5, max_length=50):
model.eval()
enable_dropout(model)
inputs = tokenizer(prompt, return_tensors='pt')
input_ids = inputs['input_ids']

# Wiele prognoz dla oszacowania niepewności
outputs = []
for _ in range(num_samples):
with torch.no_grad():
output = model.generate(
input_ids=input_ids,
max_length=max_length,
do_sample=True,
top_k=50,
top_p=0.95
)
outputs.append(output)

# Dekodowanie wygenerowanych sekwencji
sequences = [tokenizer.decode(output[0], skip_special_tokens=True) dla wyjścia w wyjściach]

# Obliczanie niepewności (entropii)
probs = []
dla wyjścia w wyjściach:
with torch.no_grad():
logits = model(output)['logits']
prob = F.softmax(logits, dim=-1)
probs.append(prob.cpu().numpy())

# Oblicz średnią entropię
entropies = []
dla prob in probs:
entropy = -np.sum(prob * np.log(prob + 1e-8)) / prob.size
entropies.append(entropy)

avg_entropy = np.mean(entropies)
uncertainty = avg_entropy

# Wybór najczęściej występującej sekwencji
ze zbiorów import Counter
sequence_counts = Counter(sequences)
most_common_sequence = sequence_counts.most_common(1)[0][0]

return {
'generated_text': most_common_sequence,
'uncertainty': uncertainty
}

# Przykład użycia
prompt = "Wpływ sztucznej inteligencji na medycynę to"

result = generate_with_uncertainty(model, tokenizer, prompt)
print("Wygenerowany tekst:")
print(result['generated_text'])
print("nSzacowana niepewność:", result['uncertainty'])

Objaśnienie kodu

• Ładowanie modelu i tokenizera: Używamy wstępnie wytrenowanego modelu GPT-2 z Hugging Face.

  tokenizer = AutoTokenizer.from_pretrained(model_name)
  model = AutoModelForCausalLM.from_pretrained(model_name)
  

• Włącz porzucanie: Używamy funkcji enable_dropout, aby włączyć warstwy porzucania. podczas oceny, aby włączyć porzucanie metodą Monte Carlo.

  def enable_dropout(model):
  for module in model.modules():
  if isinstance(module, torch.nn.Dropout):
  module.train()
  

• Generowanie z oszacowaniem niepewności: Funkcja generate_with_uncertainty wykonuje wiele przewidywań i oblicza niepewność na podstawie entropii rozkładów wyjściowych.

  def generate_with_uncertainty(model, tokenizer, prompt, num_samples=5, max_length=50):
  # Funkcja zaimplementowana w sposób pokazany powyżej
  

• Obliczanie niepewności: entropia rozkładów prawdopodobieństwa jest obliczana w celu oszacowania niepewności. Wyższa entropia oznacza wyższą niepewność.

• Wybór najlepszej sekwencji: Wybieramy sekwencję generowaną najczęściej jako wynik końcowy, ponieważ jest ona najprawdopodobniej poprawna.

  Advertising

Korzystanie z repozytoriów GitHub

W przypadku rozszerzonej funkcjonalności i zaawansowanych metod pomocne mogą być następujące repozytoria GitHub:

• Sieci transformatorów bayesowskich: Transformatory bayesowskie

  • Implementacja transformatorów za pomocą metod bayesowskich do szacowania niepewności.

• Język wzbogacony wiedzą Modele: K-Adapter

  • Podejście do integrowania wiedzy faktycznej z modelami językowymi w celu zmniejszenia halucynacji.

Możliwości rozszerzenia

• Dostrajanie za pomocą danych specyficznych dla domeny: Dostrajanie modelu za pomocą określonych zestawów danych pozwala zwiększyć dokładność.

  from datasets import load_dataset
  
  # Ładowanie zestawu danych specyficznych dla domeny
  dataset = load_dataset('your_dataset')
  
  # Wstaw tutaj kod dostrajania
  

• Integracja wiedzy wykresy: Integracja zewnętrznych baz danych wiedzy, takich jak Wikidata, w celu walidacji i uzupełnienia wygenerowanej treści.

• Użycie większych modeli: Użycie bardziej zaawansowanych modeli, takich jak GPT-3 lub GPT-4, za pośrednictwem odpowiednich interfejsów API w celu uzyskania lepszych wyników.

Wniosek

Dzięki zastosowaniu szacowania niepewności i technik z automatycznego odkrywania leków możemy zwiększyć niezawodność modeli językowych i zmniejszyć niepożądane halucynacje. Dostarczona implementacja służy jako punkt wyjścia i może być dalej rozwijana w celu spełnienia określonych wymagań.

Uwaga: Implementacja pokazana powyżej jest uproszczonym przykładem. W środowisku produkcyjnym należy wziąć pod uwagę inne aspekty, takie jak wydajność, skalowalność i względy etyczne.

Autor: Thomas Poschadel

PRAWA AUTORSKIE ToNEKi Media UG (ograniczona odpowiedzialność)