Pielāgošana ar IA tehnikas no ziedlēšanas pētījumiem uz LLM, lai samazinātu halucinācijas

2024. gada 12. decembris

Revolucionāri GitHub projekti: Automatizēta ziedlēšanas meklēšana ar IA

Kopīnoteikts inteliģences (IA) integrācija ziedlēšanas pētījumos revolucionē farmācijas rūpes. Atvērtā avota projekti GitHub platformā spēlē kritisku lomu. Tālāk mēs iepriekš parādām dažus no visinovatīvākajiem projektiem, kas veicina ziedlēšanas automātikas meklēšanu ar IA.

DeepChem: Atvērtā platforma dibinātnes mācīšanai ķīmijas jomā

DeepChem ir vadošais atvērtā avota bibliotēka, kas padara dziļās mācības pieejamus Ķīmijas lietojumiem. Tas piedāvā instrumentus uz:

• Molekulu modelējums
• Proteinu struktūras prognozēšana
• Materiālzinātnes

Ar savu intuitīvo interfeisu DeepChem nodrošina pētniekiem iespēju pielāgot sarežģītus IA modelus bez dziļiem programmēšanas zināšanām. Tas paātrina jaunu ziedlēšanu un veicina inovācijas nozarē.

MoleculeNet: Pamatbalssistēma IA ķīmiskajā pētījumos

MoleculeNet ir pilnvērtīga balssistēma, kas specializēta mašīnmācības izstrādē Ķīmijas pētījumu jomā. Tas piedāvā:

• Standardizētu datu kopas
• Evaluācijas metrikas
• Modelu veiktspējam salīdzinājums

Sniedzot vienotus balssistēmas, MoleculeNet atvieglo dažādu IA modeļu salīdzinājumu un tādējādi veicina progresu ziedlēšanas pētījumos.

ATOM Modeling PipeLine (AMPL): Paātrināta ziedlēšana

Projektam ATOM Modeling PipeLine ir mērķis paātrisināt ziedlēšanu ar mašīnmācības palīdzību, ko vadīja ATOM konsorcijs. AMPL piedāvā:

• Modulāru datu apstrādes plūsmu
• Automātisku modeļu apmācību
• Paplašinamus karkasus dažādiem lietojumzinām

Ar AMPL pētnieki var efektīvi izveidot sarežģītus modelļus, tātad samazinot laiku no jaunas ziedlēšanas līdz jaunam ārstēšanas līdzekļu ieviestai.

Chemprop: Molekulu īsumu prognozēšana ar dziļu mācību

Chemprop izmanto grafiskus neuronālus tīklus, lai prognozētu molekulžas īsumus. Tās iezīmes ietver:

• Augsta prognozes precizitāte
• Pielāgoto modeļu arhitektūras
• Atbalsts dažādiem ķīmiski datu kopām

Chemprop ir sasniegusi izcilus rezultātus vairākās konkursos un ir vērtīgs rīks IA palīdzībā Ķīmijai.

DeepPurpose: Universāls rīks ziedlēšanai

DeepPurpose ir pilnvērtīgs dziļās mācības rīks ziedlēšanas pētījumos. Tas piedāvā:

• Dažādu modeļu un datu kopu integrācija
• Vienkārša precizācijas modeļu ieviešana
• Pieteikums proteinu-ligandu mijedarbībā

Ar savām daudzveidības priekšrocībām DeepPurpose nodrošina pētniekiem ātri un efektīvi identificēt jausmas terapeitisku kandidātus.

OpenChem: Speciāls dziļās mācības rīks ķīmijai

OpenChem ir dziļās mācības rīks, kas pielāots Ķīmijai. Tas atšķiras ar:

• Atbalsts molekulu generēšanai
• Īsumu prognoze
• Fexibilitāte modela dizainam

OpenChem veicina jaunu metodi attīstību Ķīmikas IA un palīdz paātrināt pētījumus.

Atvērtā avota sabiedrība GitHub platformā ar šiem projektiem virslūkot robežas automātiskai ziedlēšanai. Sadarbojoties IA un Ķīmiju, atklājjas jaunas iespējas efektīvāk un precizētāk izstrādāt terapeitiskus risinājumus. Šie novatoru pausi varētu ietekmēt medicīnas nākotni.

Pielāgošana ar IA pētījumu modeļiem no ziedlēšanas uz distilācijas IA

Ziedlēšanas IA pētījumos izmantotie IA modeļi un tehnikas sniedz inovācijas, kas var tikt pārvestas uz IA modeļu distilāciju. Lai gan šie abi jomi ir dažādi, tie izmanto kopīgus principus un izaicinājumus, kas nodrošina nozīmes pielietošanu.

Pielietošanas nozīme

Ziedlēšanas IA modeļu pielietošana uz IA modeļu distilāciju ir pilnīgi loģiska, jo:

• Kopīgas tehnoloģijas: Abi jomi izmanto jaunienokus mašīnmācībā, piemēram, dziļās mācības un neuronālo tīklu.
• Sarežģītību samazināšana: Ziedlēšanas pētījumos sarežģītus molekulārus struktūras vienkāršo, tāpat kā mazākām IA modeļu apmērēm.

• Optimizācija un efektivitāte: Abas metodes mērķis ir sasniegt efektīvus rezultātus ar ierobežotu resursu.

Kā to var izdarīt

1. Graph Neural Networks (GNNs) struktūras analizei

Ziedlēšanas pētījumos Graph Neural Networks tiek izmantoti, lai analizētu sarežģītas molekulstruktūras un prognozētu tās. Šīs tehnikas var tikt lietotas IA modeļu distilācijā, lai saprastu lielāku modeļu struktūru un ekstraktotu būtiskus pazīmes mazākām modeļiem.

2. Transfer Learning un iezīmju izņemšana

DeepChem un Chemprop projekti izmantojot Transfer Learning, lai uzturētu zināšanas no esošām datu kopām. Tāpat IA modeļu distilācijas laikā var tikt izmantota lielākā, predresinēta modela ievadīšana, kur no tā tiek ekstraktētas būtiskas pazīmes un pārvests uz mazāku modeli.

3. Multi-Task Learning daudzpusīgām modeļiem

Molekulnet projekts izmanto Multi-Task Learning, lai apmācītu modelus, kas vienlaicīgi veic vairāk uzdevumus. Šo metodi var lietot IA modeļu distilācijas laikā, lai radītu kompaktas modeļus, kuri joprojām spēj nodrošināt daudzpusīgas funkcijas.

4. Optimizācijas tehnikas no ziedlēšanas

Ziedlēšanas optimizācijas pieejas, piemēram, hiperparametru pielāgošana vai evolucionārais algoritmu izmantošana, var tikt lietotas, lai optimizētu distilētus modelļus.

5. Datu palielināšana un datu ģenerēšana

Ziedlēšanas projekti, piemēram, DeepPurpose izmanto datu palielināšanu, lai uzlabotu modeli. Tādas pačinas tehnikas var tikt lietotas IA modeļu distilācijas procesa uzlabošanai, īpaši ja ir ierobežota datu pieejamība.

Praktiska implementēšana

• Modela struktūras analīze: GNN izmantošanas identificēt svarīgās komponentes mācības modelim.
• Iezīmes selekcija: Identificēt būtiskas pazīmes, kas ir nozīmes modeļa veiktspeiņam.
• Efektivitātes arhitektūras projekti: Pielāgot modeļu arhitektūru no ziedlēšanas, lai radītu kompaktas struktūras.
• Simtulēta apmācība: Ievietot multi-uzdevuma mācību, lai optimizētu skolotāja un studenta modelus vienlaicīgi.

Ziedlēšanas IA tehniku integrēšana IA modeļu distilācijā atver jaunus veidus, kā uzlabot efektivitāti un reducēt sarežģītību. Pārveidojot pieredzējušas tehnoloģijas, var radīt spēcīgus kompaktus modelļus, kas nodrošina prasības mūsdienu IA lietojumam. Šis starppiedziņas piederums veicina inovācijas un paātrina progresi abos pētījumu virzienos.

Pārdomas: Vai ir vērts?

Ķīmijas un valodas mācības ir dažādas, bet abas ir sistēmas ar kompleksiem noteikumiem un strukturām. Ziedlēšanas IA tehnikas var tikt izmantotas valodas mācībām, lai nodotu impulsu. Ir svarīgi būt atvērtam interdiscipulīnām pieeju, jo inovācijas bieži vien rodas starp dažādiem jomu apmērēm.

IA pētījumu un IA modelu distilāciju integrēšana var būt daudzsolīgais veids, kā uzlabot IA spējības. Lai gan daudzas tehnikas jau ir iekļautas IA modeļos, pastāv iespēja paplašināt tās ar starppiedziņas pieeju. Šī sadarbība starp šīm jomām varētu sniegt ievērojamas progresi IA pētījumos.

Implementācija ziedlēšanas IA tehniku izmantošanai LLM, lai samazinātu halucinācijas

Piemēram, mēs parādām, kā izmantot Hugging Face un Python, lai ģenērētu valodu modelu ar halucinācijas samazināšanas iespējām. Mēs izmantosim tehnikas, kas ir iedvesnotas no ziedlēšanas IA metodes, īpaši halucinācijas mazināšana ar Monte Carlo Dropout.

Pamatprasības

• Python 3.6 vai augstāks
• Ieviestās bibliotēkas:
  • transformers
  • torch
  • datasets

Jūs varat instalēt nepieciešamās bibliotēkas ar šo komandu:

pip install transformers torch datasets

Kods implementācija

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch.nn.functional as F
import numpy as np

# Ievadīts modelis un tokenizators
model_name = 'gpt2'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# Atkārtot Dropout aktivēšanu vērtējšanas režīmā
def enable_dropout(model):
"""Aktivē Dropout-šasītnes modelim vērtēšanas režīmā."""
for module in model.modules():
if isinstance(module, torch.nn.Dropout):
module.train()

# Funkcija ar halucinācijas novērošanu
def generate_with_uncertainty(model, tokenizer, prompt, num_samples=5, max_length=50):
model.eval()
enable_dropout(model)
inputs = tokenizer(prompt, return_tensors='pt')
input_ids = inputs['input_ids']

# vairākas prognozes halucinācijas novērošanai
outputs = []
for _ in range(num_samples):
with torch.no_grad():
output = model.generate(
input_ids=input_ids,
max_length=max_length,
do_sample=True,
top_k=50,
top_p=0.95
)
outputs.append(output)

# Dekodēšana generēto sekvencēm
sequences = [tokenizer.decode(output[0], skip_special_tokens=True) for output in outputs]

# Halucinācijas novērošanas aprēķināšana (Entropija)
probs = []
for output in outputs:
with torch.no_grad():
logits = model(output)['logits']
prob = F.softmax(logits, dim=-1)
probs.append(prob.cpu().numpy())

# Vidējā entropija aprēķināšana
entropies = []
for prob in probs:
entropy = -np.sum(prob * np.log(prob + 1e-8)) / prob.size
entropies.append(entropy)

avg_entropy = np.mean(entropies)
uncertainty = avg_entropy

# Ievērojamākās sekvences izvēle
from collections import Counter
sequence_counts = Counter(sequences)
most_common_sequence = sequence_counts.most_common(1)[0][0]

return {
'generated_text': most_common_sequence,
'uncertainty': uncertainty
}

# Piemēra lietošana
prompt = "Ietekme no māksmīgo intelektu uz medicīnu ir"

result = generate_with_uncertainty(model, tokenizer, prompt)
print("Generētā teksta:")
print(result['generated_text'])
print("Halucinācijas novērtējums:", result['uncertainty'])

Paskaidrojums koda

• Modelis un tokenizators ievadīts: Mēs izmantojam pirmsapmācētu GPT-2 modelu no Hugging Face.

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

• Dropout aktivēšana: Ar funkciju enable_dropout aktivizē Dropout šasītnes vērtējšanas režīmā, lai izmantotu Monte Carlo Dropout.

def enable_dropout(model):
for module in model.modules():
if isinstance(module, torch.nn.Dropout):
module.train()

• Generēšana ar halucinācijas novērošanu: Funkcija generate_with_uncertainty izved vairākas prognozes un novērtē halucinācijas, pamatojoties uz entropijas aprēķina.

def generate_with_uncertainty(model, tokenizer, prompt, num_samples=5, max_length=50):
# Funkcija implementēta kā iepriekš

• Halucinācijas novērošanas aprēķināšana: Entropija tiek aprēķināta no varības izplatījumiem, lai novērstu halucinācijas. Lielākais entropijas skaits nozīmē lielāku halucinācijas iespējamību.
• Ievērojamākās sekvences izvēle: Mēs izvēlamies vadošās sekvences, kuras ir visbiežāk sastopamas.

Izmantošanas iespējas

Pielāgoto funkcionālību un sarežģītām tehnikām var izmantot šādus GitHub projektus:

• Bayesiskie Transformeri: Bayessiskie Transformeri
• Ievērošana Transformēriem ar Bayesisku pieeju halucinācijas novērošanai.
• Zināšanu pastiprināti valodas modeļi: K-Adapter
• Tehnika, kas integrē zināšanas vārdos ar halucinācijas mazināšanām.

Paplašināmas iespējas

• Modelu finetuning ar domēn specifiskiem datiem: Modelu var pielāgot, izmantojot domēn specifiskus datus.

from datasets import load_dataset

# Ievadīts domēn specifisks datu kopas
dataset = load_dataset('your_dataset')

# Finetuning koda ievietošana šeit

• Zināšanu grafiku integrēšana: Var izmantot ārējās zinātniskās datubāzes, piemēram, Wikidata, lai apstiprinātu un paplašinātu generētu saturu.
• Lielāku modeļu lietošana: Ievadīšana sarežģītākām tehnolijām, piemēram, GPT-3 vai GPT-4, ar atbilstošiem API.

Noslēgums

Ziedlēšanas IA tehniku integrācija valodu modeļos sniedz iespējas uzlabot ievērsimību un samazināt halucinācijas. Lai gan daudzas tehnoloģijas jau ir ietvertas IA modeļos, ir nepieciešams interdiscipulīnā risinājums. Sadarbojoties šiem jautājumiem, var tikt atklāti jaunas iespējas IA pētījumos.

Autors: Toms Poschads

AUTORITĀTE ToneKi Media UG (haftungsbeschränkt)