В проводимом эксперименте задействована модель Gemini Nano, наиболее компактная из семейства Gemini. Также предусмотрена возможность установки экспертных моделей, расширяющих базовую модель дополнительными знаниями, которые могут потребоваться для решения специфичных задач, а также для реализации навыков, таких как машинный перевод и резюмирование. Модели выполняются локально на системе пользователя без обращения к внешним сервисам.
Применяемый для выполнения модели Runtime автоматически задействует доступные в системе GPU и NPU для ускорения работы с моделью или переключается на выполнение модели с использованием CPU. Из достоинств выполнения модели на системе пользователя отмечается сохранение конфиденциальности обрабатываемых данных, возможность продолжать работу в offline-режиме при отсутствии сетевого подключения или при возникновении проблем с качеством связи, снижение задержек при отправке запросов, исключение зависимости от внешних сервисов.
Развиваемый для взаимодействия с моделью API Prompt позволяет выполнять не только простейшие единичные запросы на естественном языке, но и организовывать привлечение модели к обработке и классификации данных с учётом контекста, учитывать ранее отправленные в сеансе запросы и данные, а также использовать модель для выбора оптимальных вариантов (например, можно попросить выбрать значок из списка emoji для определённого комментария на сайте). Дополнительно планируется развивать API для использования в области создания контента и решения таких задач как переписывание другими словами, корректура и исправление грамматики.
В общем виде для взаимодействия со встроенной AI-моделью развивается два типа API — Task и Exploratory. Первый предоставляет доступ к возможностям по решению определённых задач, таких как перевод текста с одного языка на другой (API Translation) или резюмирование основной сути текста (API Summarization). Второй тип нацелен на создание и проверку экспериментальных прототипов при разработке новых Task API. Также ведётся работа над API LoRA (Low-Rank Adaptation) для адаптации весовых коэффициентов базовой модели для повышения эффективности решения определённых задач.
Доступ к участию в эксперименте предоставляется после заполнения заявки. API находится в активном развитии и до принятия окончательного варианта будет расширяться и меняться с учётом отзывов и предпочтений пользователей. В дальнейшем планируется организовать более доступное тестирование с использованием режима Origin Trials, предоставляющего возможность работы с экспериментальными API из приложений, загруженных с localhost или 127.0.0.1, или после прохождения регистрации и получения специального токена, который действует ограниченное время для конкретного сайта. Параллельно с производителями других браузеров ведётся работа по стандартизации развиваемых API.
Источник: http://www.opennet.ru/opennews/art.shtml?num=61665