Retrieval Augmented Generation

 ## Retrieval Augmented Generation
Retrieval-Augmented Generation (RAG) представляет собой метод оптимизации вывода больших языковых моделей (Large Language Models, LLM), позволяющий им ссылаться на авторитетную базу знаний за пределами их обучающих данных перед генерацией ответа. Это расширяет уже мощные возможности LLM для конкретных областей или внутренней базы знаний организации без необходимости переподготовки модели. Такой подход является эффективным и экономически выгодным способом улучшения качества вывода LLM, делая его актуальным, точным и полезным в различных контекстах [1].

Основная идея RAG заключается в том, что вместо того чтобы полагаться только на информацию, которой модель обладает изначально, она может использовать дополнительные данные из новых источников. При обработке запроса пользователя, RAG сначала извлекает соответствующую информацию из внешнего источника, а затем предоставляет эту информацию вместе с пользовательским запросом модели. Таким образом, LLM использует новую информацию и свои собственные обученные данные для создания более точных и информативных ответов [1].

Одним из ключевых преимуществ RAG является возможность улучшения точности и надежности генеративных AI-моделей за счет использования фактов из внешних источников. Это позволяет модели давать более глубокие и специфические ответы на вопросы, чем это возможно при использовании только обученных данных. Кроме того, RAG способствует построению доверия со стороны пользователей, поскольку модели могут указывать на источники информации, откуда они получили определенные данные [2].

Для реализации RAG необходимо выполнить несколько шагов, включая преобразование документов и запросов пользователей в совместимый формат для проведения поиска релевантности. Этот процесс включает использование эмбеддингов языковых моделей для конвертации текстовых данных в числовые представления в векторном пространстве. После сравнения эмбеддингов запросов пользователей с векторами библиотеки знаний выбираются наиболее релевантные документы. Эти документы затем добавляются в исходный запрос пользователя, формируя дополненный запрос, который отправляется в основную модель для генерации ответа [5].

В целом, RAG представляет собой важное развитие в области генеративного искусственного интеллекта, позволяющее моделям быть более адаптивными и информативными, используя актуальные данные из внешних источников.

Citations:
[1] https://aws.amazon.com/what-is/retrieval-augmented-generation/
[2] https://blogs.nvidia.com/blog/what-is-retrieval-augmented-generation/
[3] https://github.blog/2024-04-04-what-is-retrieval-augmented-generation-and-what-does-it-do-for-generative-ai/
[4] https://research.ibm.com/blog/retrieval-augmented-generation-RAG
[5] https://docs.aws.amazon.com/sagemaker/latest/dg/jumpstart-foundation-models-customize-rag.html
[6] https://cloud.google.com/use-cases/retrieval-augmented-generation
[7] https://learn.microsoft.com/en-us/azure/search/retrieval-augmented-generation-overview
[8] https://www.promptingguide.ai/techniques/rag
[9] https://www.databricks.com/glossary/retrieval-augmented-generation-rag
[10] https://www.oracle.com/artificial-intelligence/generative-ai/retrieval-augmented-generation-rag/