1 минута
Полина Конорова
CAILA Ultimate 2.0: делимся итогами разработки NLP-платформы
С февраля 2022 года Just AI при поддержке Российского фонда развития информационных технологий занималась разработкой платформы для создания и эксплуатации решений в области обработки естественного языка — CAILA Ultimate 2.0.
Продукт предназначен для IT-компаний, занимающихся разработкой решений на базе разговорного ИИ, а также крупного и среднего бизнеса, внедряющего чат-ботов и голосовых помощников.
Платформа объединяет задачи обработки естественного языка (NLP, Natural Language Processing), каталог готовых NLP-сервисов, хостинг пользовательских ML-моделей и позволяет удобно внедрять NLP-технологии в диалоговые решения.
Just AI с радостью объявляет о завершении процесса разработки. На данный момент система подготовлена к эксплуатации и доступна в двух вариантах поставки: «on-premise» (функционирование в инфраструктуре заказчика) и «on-cloud». Делимся важными результатами:
- Реализованы сервисы для новых типов задач: распознавание речи, синтез речи, генерация изображений, генеративный чат.
- Реализован сервис для тестирования качества классификации и оценки сбалансированности справочника интентов. Сервис позволяет выбрать исходную модель по имени и указать необходимый набор данных (датасет). Датасет разделяется на произвольное количество частей, формируется обучающая и проверочная выборка и запускается цикл тестирования. В результате тестирования определяется средняя точность классификации, время обучения и время ответа для выбранного классификатора на указанном наборе данных.
- Cервис саммаризации разработан на основе больших языковых моделей (LLM, Large Language Model). Также был успешно разработан и реализован сервис парафразирования с использованием LLM. Этот сервис позволяет переформулировать предложения или текст, сохраняя при этом их смысл. Сервис парафразирования основывается на мощности и гибкости Large Language Model, которая позволяет создавать различные варианты выражения одной и той же мысли. Это полезно для улучшения читабельности, для избегания повторений, а также для обеспечения разнообразия в тексте. В обоих случаях использование LLM обеспечивает высокую точность и качество результатов.
- Реализован мастер создания NLP-решения Chit-Chat. Сервис позволяет создать собственного виртуального ассистента, способного поддержать разговор с пользователем на отвлеченные темы. Сервис предоставляет возможность указать характер, пол и имя виртуального ассистента, а также возможность загрузки произвольного списка вопросов, на которые виртуальный ассистент будет отвечать.
- Выполнено тестирование стабильности. Система успешно обработала 5 млн запросов.
- Система протестирована на возможность регистрации большого числа пользователей и на возможность одновременной работы большого числа пользователей.
- Облачная версия системы предоставляет сервис с уровнем доступности 99.9%.
- Для наиболее часто используемых ML-сервисов (векторизатор, классификатор) время отклика системы составляет менее 1 сек для 99.99% запросов.