В качестве основы бота предлагается базовая модель машинного обучения (GPT-NeoXT-Chat-Base-20B), построенная при помощи языковой модели, охватывающей около 20 миллиардов параметров и оптимизированная для разговорного общения.
Для обучения модели использованы данные, полученные из коллекций проектов LAION, Together и Ontocord.ai.
Для расширения имеющейся базы знаний предлагается система, способная извлекать дополнительную информацию из внешних репозиториев, API и других источников. Например, возможна актуализация информации с использованием данных из Wikipedia и новостных лент. Дополнительно доступна модель для модерирования, натренированная с использованием 6 миллиардов параметров, основанная на модели GPT-JT и предназначенная для фильтрации неприемлемых вопросов или ограничения дискуссий в рамках определённых тем.
Отдельно можно отметить проект ChatLLaMA, предлагающий библиотеку для создания интеллектуальных помощников, похожих на ChatGPT. Проект развивается с оглядкой на возможность выполнения на собственном оборудовании и создания персонализированных решений, рассчитанных на охват узких областей знаний (например, медицина, юриспруденция, игры, научные исследования и т.п.). Код ChatLLaMA поставляется под лицензией GPLv3.
Проект поддерживает использование моделей на базе архитектуры LLaMA (Large Language Model Meta AI), предложенной компанией Meta. Полная модель LLaMA охватывает 65 миллиардов параметров, но для
ChatLLaMA рекомендуется использовать варианты с 7 и 13 миллиардами параметров или модели GPTJ (6 млрд), GPTNeoX (1.3 млрд), 20BOPT (13 млрд), BLOOM (7.1 млрд) и Galactica (6.7 млдр). Изначально модели LLaMA поставляются только исследователям по специальному запросу, но так как для доставки данных использовались торренты, энтузиасты подготовили скрипт, позволяющий загрузить модель любому желающему.
Источник: http://www.opennet.ru/opennews/art.shtml?num=58786