Приложение на AI техники от изследвания на лекарства към LLM за намаляване на халюцинациите

05.12.2024

Революционни GitHub проекти: Автоматично изследване на лекарства с AI

Интеграцията на изкуствен интелект (AI) в изследването на лекарства революционизира фармацевтичната индустрия. Отворен код проекти в GitHub играят решаваща роля. По-долу представяме някои от най-иновативните проекти, които насърчават автоматичното изследване на лекарства с AI.

DeepChem: Открита платформа за дълбоко обучение в химията

DeepChem е водеща отворен код библиотека, която прави дълбокото обучение достъпно за химически приложения. Тя предлага инструменти за:

• Молекулярно моделиране
• Прогнозиране на структурата на протеина
• Материалознание

След като използва интуитивен интерфейс, DeepChem позволява на изследователите да имплементират сложни AI модели без задълбочени познания по програмиране. Това ускорява откриването на нови лекарства и насърчава иновациите в индустрията.

MoleculeNet: Бенчмаркинг за AI в химията

MoleculeNet е изчерпателна система за бенчмаркиране, разработена специално за машинно обучение в химическото изследване. Тя предлага:

• Стандартизирани набори от данни
• Метрики за оценка
• Сравнение на производителността на моделите

Чрез предоставянето на стандартизирани бенчмаркове, MoleculeNet улеснява сравняването на различни AI модели и така насърчава прогреса в откриването на лекарства.

ATOM Modeling Pipeline (AMPL): Ускоряване на откриването на лекарства

Проектът ATOM Modeling Pipeline е проект на ATOM консорциума, който има за цел да ускори разработването на лекарства чрез машинно обучение. AMPL предлага:

• Модулна тръбопроводна система за предварителна обработка на данни
• Автоматично обучение на модели
• Разширяеми рамки за различни сценарии на приложение

С AMPL изследователите могат ефективно да създават сложни модели, като по този начин намаляват времето от откриване до пускане на пазара на нови лекарства.

Chemprop: Прогнозиране на молекулярни свойства с дълбоко обучение

Chemprop използва графични невронни мрежи за прогнозиране на молекулярни свойства. Тези характеристики включват:

• Висока точност на прогнозата
• Настроеми архитектури на моделите
• Поддръжка за различни химически набори от данни

Chemprop постига забележителни резултати в множество състезания и е ценен инструмент за AI-базирано химия.

DeepPurpose: Универсален инструмент за откриване на лекарства

DeepPurpose е изчерпателен набор от инструменти за дълбоко обучение за изследване на лекарства. Той предлага:

• Интеграция на различни модели и набори от данни
• Лесна имплементация на модели за прогнозиране
• Приложения в взаимодействията протеин-лиганд

Благодарение на своята гъвкавост, DeepPurpose позволява на изследователите бързо и ефективно да идентифицират нови терапевтични кандидати.

OpenChem: Специализиран рамков инструмент за дълбоко обучение в химията

OpenChem е рамков инструмент за дълбоко обучение, специално предназначен за химия. Той се отличава със:

• Поддръжка за генериране на молекули
• Прогнозиране на свойствата
• Гъвкавост при проектирането на моделите

OpenChem насърчава разработването на нови методи в AI химията и допринася за ускоряване на изследванията.

Общността с отворен код в GitHub стимулира границите на автоматичното откриване на лекарства. Чрез комбинирането на AI и химия се отварят нови възможности за разработване на ефективни и прецизни терапевтични решения. Тези иновации имат потенциала да трансформират бъдещето на медицината.

Приложение на AI модели от изследването на лекарства към дистрибуцията на AI модели

Използваните в автоматичното откриване на лекарства AI модели и техники могат да бъдат приложени към дистрибуцията на AI модели. Въпреки че тези две области се показват по различен начин, те споделят общи техники и предизвикателства, които позволяват смислено приложение.

Обоснованост на прилагането

Прилагането на модели от изследването на лекарства към дистрибуцията на AI модели е напълно оправдано, защото:

• Споделени методи: И двете области използват усъвършенствани техники за машинно обучение като дълбоко обучение, невронни мрежи и модели базирани на графики.
• Опростяване на сложността: В изследването на лекарства се опростяват сложни молекулярни структури, подобно на намаляването на размера на големи AI модели в по-компактни форми.
• Оптимизация и ефективност: И двете области имат за цел постигане на ефективни и мощни резултати с ограничени ресурси.

Как може да се извърши прилагането

1. Графични невронни мрежи (GNNs) за разбиране на структурата

В изследването на лекарствата се използват гравично-невронни мрежи, за да се анализират сложните молекулярни структури и да се правят прогнози. Тези техники могат да бъдат приложени към дистрибуцията на AI модели, за да се разбере структурата на големите модели и да се извлекат ключови характеристики за по-малкия модел.

2. Прехвърляне на знания и екстракция на характеристики

Моделите от проекти като DeepChem или Chemprop използват прехвърляне на знания, за да се учат от съществуващи набори от данни. Подобно на това, при дистрибуцията може да бъде използван голям обучен модел като отправна точка, от който ключови характеристики са прехвърлени към по-малкия модел.

3. Мултизадачно обучение за гъвкави модели

Проектите като MoleculeNet използват мултизадачно обучение, за да обучават модели, които могат да изпълняват няколко задачи едновременно. Този метод може да бъде използван в дистрибуцията, за да се създадат компактни модели, които все още изпълняват разнообразни функции.

4. Оптимизационни техники от изследването на лекарства

Оптимизационните подходи от изследването на лекарства, като например настройка на хиперпараметри или използване на еволюционни алгоритми, могат да бъдат приложени за ефективно правене на дистрибутираните модели.

5. Генерация на данни и увеличаване на данните

Генерирането на синтетични данни е ключов елемент в проектите като DeepPurpose. Подобни техники могат да бъдат използвани за подобряване на процеса на обучение на студентския модел в дистрибуцията, особено когато има ограничени количества налични данни.

Практически стъпки за реализация

• Анализ на структурата на модела: Използване на GNNs за идентифициране на важните компоненти на учителния модел.
• Селекция на характеристиките: Извличане на ключови характеристики, които са от решаващо значение за производителността на модела.
• Ефективни дизайни на архитектурата: Адаптиране на архитектури на моделите от изследването на лекарства към по-компактни структури на моделите.
• Съвместно обучение: Внедряване на мултизадачно обучение, за да се обучи студентския модел да изпълнява множество задачи едновременно и така да се увеличи способността му да обобщава.

Интегрирането на техники от автоматичното изследване на лекарства в дистрибуцията на AI модели отваря нови пътища за повишаване на ефективността и намаляване на сложността. Чрез прехвърлянето на доказани методи могат да бъдат разработени мощни, компактни модели, които отговарят на изискванията на съвременните AI приложения. Този междудисциплинарен подход насърчава иновациите и ускорява развитието на областта.

Разширение: Приложение на AI техники за изследване на лекарства към LLM за намаляване на халюцинациите

Напредъкът в изкуствения интелект революционизира както изследването на лекарства, така и разработването на големи езикови модели (LLM). Интересен въпрос е дали техниките от автоматичното изследване на лекарства могат да помогнат за повишаване на точността на прогнозите на LLM-ите и за намаляване на халюцинациите. По-долу разглеждаме тази възможност и анализираме дали такова приложение е оправдано и дали тези техники вече се използват в LLM.

Връзка между AI техниките за химия и LLM

1. Графични невронни мрежи (GNNs) и структурно разбиране

В изследването на лекарствата се използват графни невронни мрежи, за да се анализират сложните молекулярни структури и да се правят прогнози. Тези техники могат да бъдат приложени към дистрибуцията на AI модели, за да се подобри контекстуализацията в LLM-ите.

# Примерна имплементация (не е пълен код)
def gnn_for_context(model, prompt):
# Използване на GNN за анализ на структурата на подсказката
# и извличане на контекстуални характеристики.
return contextualized_features

2. Оценка на несигурност и оценка на риска

В изследването на лекарствата оценката на несигурност е от съществено значение за определяне на надеждността на прогнозите.

# Примерна имплементация (не е пълен код)
def uncertainty_estimation(model, prompt):
# Използване на Bayesian методи или Monte Carlo Dropout
# за оценка на несигурността в прогнозите.
uncertainty = calculate_entropy(predictions)
return uncertainty

3. Прехвърляне на знания и извличане на характеристики

Моделите от проекти като DeepChem или Chemprop използват прехвърляне на знания, за да се учат от съществуващи набори от данни.

# Примерна имплементация (не е пълен код)
def transfer_learning(base_model, prompt):
# Използване на знанията от базовия модел
# за подобряване на прогнозите в даден контекст.
return refined_predictions

4. Мултизадачно обучение и гъвкави модели

Проектите като MoleculeNet използват мултизадачно обучение, за да обучават модели, които могат да изпълняват няколко задачи едновременно.

# Примерна имплементация (не е пълен код)
def multi_task_learning(model, prompt):
# Обучение на модела да изпълнява множество задачи
# и да се оптимизира за всички тях.
return optimized_model

5. Техники за оптимизация от изследването на лекарства

Оптимизационните подходи от изследването на лекарства, като например настройка на хиперпараметри или използване на еволюционни алгоритми, могат да бъдат приложени за ефективно правене на дистрибутираните модели.

6. Генерация и увеличаване на данни

Генерирането на синтетични данни е ключов елемент в проектите като DeepPurpose.

# Примерна имплементация (не е пълен код)
def data_augmentation(model, prompt):
# Генериране на допълнителни данни за подобряване на обучението.
return augmented_data

Оправдано ли е приложението?

Прилагането на техники от автоматичното изследване на лекарства към LLM-и е теоретично оправдано, защото и двете области използват усъвършенствани техники за машинно обучение като дълбоко обучение, невронни мрежи и модели базирани на графики.

• Споделени математически основи: И двете области използват невронни мрежи и оптимизационни алгоритми.
• Опростяване на сложността: В изследването на лекарства се опростяват сложни молекулярни структури, подобно на намаляването на размера на големите AI модели в по-компактни форми.
• Оптимизация и ефективност: И двете области имат за цел постигане на ефективни и мощни резултати с ограничени ресурси.

Как може да бъде извършено приложението?

1. Синтактични дървета като графики

В изследването на лекарствата се използват графни невронни мрежи, за да се анализират молекулярните структури и да се правят прогнози. Тези техники могат да бъдат приложени към дистрибуцията на AI модели, за да се подобри контекстуализацията в LLM-ите.

2. Прехвърляне на знания и екстракция на характеристики

Моделите от проектите DeepChem или Chemprop използват прехвърляне на знания, за да се учат от съществуващи набори от данни.

3. Мултизадачно и прехвърляне на обучение

Проектите като MoleculeNet използват мултизадачно обучение за обучението на модели, които могат да изпълняват няколко задачи едновременно.

4. Оптимизация от изследването на лекарства

Оптимизационните подходи от изследването на лекарства, като например настройка на хиперпараметри или използване на еволюционни алгоритми, могат да бъдат приложени за ефективно правене на дистрибутираните модели.

5. Разширяване на данните и генерирането на данни

Генерирането на синтетични данни е ключов елемент в проектите като DeepPurpose.

Реалистична имплементация с Hugging Face

В раздела по-долу ще покажем как да създадем езиков модел, който използва оценка на несигурността, за да намалим халюцинациите. Ще използваме техники, които са вдъхновени от методите в автоматичното изследване на лекарствата, като например оценката на несигурност чрез Monte Carlo Dropout.

Предварителни условия

• Python 3.6 или по-нова версия
• Инсталирани библиотеки:
  • transformers
  • torch
  • datasets

Можете да инсталирате необходимите библиотеки с помощта на следния команден ред:

pip install transformers torch datasets

Код за имплементация

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch.nn.functional as F
import numpy as np

# Зареждане на токенизатора и модела
model_name = 'gpt2'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# Активиране на Dropout по време на оценяване
def enable_dropout(model):
"""Активира Dropout слоевете в модела по време на оценяване."""
for module in model.modules():
if isinstance(module, torch.nn.Dropout):
module.train()

# Функция за генериране с оценка на несигурността
def generate_with_uncertainty(model, tokenizer, prompt, num_samples=5, max_length=50):
model.eval()
enable_dropout(model)
inputs = tokenizer(prompt, return_tensors='pt')
input_ids = inputs['input_ids']

# Генериране на множество прогнози за оценка на несигурността
outputs = []
for _ in range(num_samples):
with torch.no_grad():
output = model.generate(
input_ids=input_ids,
max_length=max_length,
do_sample=True,
top_k=50,
top_p=0.95
)
outputs.append(output)

# Декодиране на генерираните последователности
sequences = [tokenizer.decode(output[0], skip_special_tokens=True) for output in outputs]

# Изчисляване на несигурност (ентропия)
probs = []
for output in outputs:
with torch.no_grad():
logits = model(output)['logits']
prob = F.softmax(logits, dim=-1)
probs.append(prob.cpu().numpy())

# Изчисляване на средната ентропия
entropies = []
for prob in probs:
entropy = -np.sum(prob * np.log(prob + 1e-8)) / prob.size
entropies.append(entropy)

avg_entropy = np.mean(entropies)
uncertainty = avg_entropy

# Избор на най-често срещаната последователност
from collections import Counter
sequence_counts = Counter(sequences)
most_common_sequence = sequence_counts.most_common(1)[0][0]

return {
'generated_text': most_common_sequence,
'uncertainty': uncertainty
}

# Примерна употреба
prompt = "Ефектите на изкуствения интелект върху медицината са"

result = generate_with_uncertainty(model, tokenizer, prompt)
print("Генериран текст:")
print(result['generated_text'])
print("Оценена несигурност:", result['uncertainty'])

Разяснение на кода

• Зареждане на токенизатора и модела: Използваме предварително обучен GPT-2 модел от Hugging Face.

  tokenizer = AutoTokenizer.from_pretrained(model_name)
  model = AutoModelForCausalLM.from_pretrained(model_name)
  

• Активиране на Dropout: Чрез функцията enable_dropout активираме Dropout слоевете по време на оценяване, за да се приложи Monte Carlo Dropout.

  def enable_dropout(model):
  for module in model.modules():
  if isinstance(module, torch.nn.Dropout):
  module.train()
  

• Генериране с оценка на несигурността: Функцията generate_with_uncertainty изпълнява множество прогнози и изчислява несигурността въз основа на ентропията на разпределението на изхода.

  def generate_with_uncertainty(model, tokenizer, prompt, num_samples=5, max_length=50):
  # Функцията е имплементирана по-горе.
  

• Изчисление на несигурността: Ентропията на вероятностните разпределения се изчислява за оценка на несигурността.

• Избор на най-често срещаната последователност: Избираме най-често срещаната последователност като окончателен резултат, тъй като тя е най-вероятно коректна.

Допълнителни възможности

• Използване на набори от данни специфични за домейна: Може да се направи фино настройване на модела с конкретни набори от данни, за да се подобри точността.

  from datasets import load_dataset
  
  # Зареждане на набор от данни специфичен за домейна
  dataset = load_dataset('your_dataset')
  
  # Код за фино настройване
  

• Включване на външни бази данни с познания: Може да се включи външна база данни с познания, като Wikidata, за валидиране и допълване на генерираните съдържания.

• Използване на по-големи модели: Използването на по-мощни модели като GPT-3 или GPT-4 чрез съответните API може да доведе до по-добри резултати.

Обобщение

Прилагането на техники от изследването на лекарства към LLM-и предлага обещаваща възможност за повишаване на точността и намаляване на халюцинациите. Въпреки че някои методи вече са имплементирани в LLM, има потенциал за допълнителни иновации чрез междудисциплинарни подходи. Предизвикателствата включват различни видове данни и мащабируемостта. Независимо от това, сътрудничеството между тези области може да доведе до значителен напредък в областта на изкуствения интелект.

Копирайт ТОНЕки Медия ООД