- Вебинары
- Вопросы
Вопросы по вебинарам [ HACK GPT ]
Общие вопросы по применению генеративного ИИ в бизнесе
Какие есть сферы применения генеративного ИИ?
Есть несколько перспективных направлений:
- Контент-маркетинг и копирайтинг: генерация статей, блогов, постов в соцсетях, рекламных текстов и писем.
- Анализ данных и отчетность: автоматическое создание отчетов на основе данных и подготовка аналитических записок.
- Разработка ПО: автоматизация написания кода на основе заданных требований, анализ кода для обнаружения и исправления ошибок.
- Чат-боты и поддержка клиентов: генеративный ИИ помогает сделать чат-ботов умнее и человечнее, а также ускорить процесс их разработки.
- Рекрутинг и HR: автоматизация первых этапов отбора кандидатов, проведение первичного интервью.
- Юридическая поддержка: создание типовых договоров, соглашений и других документов, а также подготовка аналитических справок и поиск ответов в текущем законодательстве и в базе судебной практики.
- Продуктовая разработка и дизайн: генерация идей для новых продуктов, создание прототипов и концепций.
С автоматизации каких процессов лучше начинать внедрение генеративного ИИ?
Лучше всего начинать с тех областей, которые можно легко автоматизировать и которые имеют высокий потенциал для увеличения эффективности и снижения затрат.
Это могут быть:
- Автоматизация рутинных задач: анализ документов, генерирование отчетов, подготовка базовых аналитических данных, создание шаблонных документов.
- Поддержка клиентов: внедрение чат-ботов с умным поиском для ответов на вопросы о продуктах и сервисах компании или для помощи и подсказкам операторам и менеджерам клиентского сервиса.
- Маркетинг и реклама: автоматизация создания контента для социальных сетей и email-рассылок.
Какие есть плюсы и минусы у западных и отечественных ИИ-решений?
Западные решения более продвинутые в силу бóльших доступных ресурсов (вычислительные и данные для обучения). Отечественные решения отстают от топовых зарубежных моделей по разным оценкам — от 6 до 12 мес., однако уже сейчас их качество достаточно для использования в кейсах автоматизации.
Важным преимуществом отечественных решений является соответствие закону 152-ФЗ о защите персональных данных, а также независимость от политических и технологических ограничений.
Какие модели чаще всего используются в направлении GenAI?
Среди облачных моделей наиболее широко используются модели от Open AI, Anthropic, Яндекс (YaGPT) и Сбера (GigaChat). Для развертывания в контуре компании (на собственных серверах) чаще всего используются модели семейства Qwen и LLaMA.
Какой сервис можно использовать для повседневных задач офисного сотрудника?
Например, Jay Copilot — ассистент, который помогает использовать генеративный искусственный интеллект в работе и повседневных задачах. В Jay Copilot используются большие языковые модели (LLM) и другие нейросети и сервисы, например: GPT-4o и GPT-4o mini, Flux и DALL-E 3, YaGPT, GigaChat, Whisper. Он объединяет функции этих нейросетей в виде готовых приложений. С помощью них можно решать задачи в области маркетинга, продаж, HR, программирования, поддержки клиентов и другие.
Сколько языков поддерживают решения Just AI?
В облачной версии системой учтены все языки, которые поддерживаются LLM. Это примерно 180 языков. При установке в контур число языков зависит от выбранной модели и ее возможностей. Тут, как правило, идут по пути сокращения списка языков и дообучения модели под нужные вам.
Как правильно формировать запрос к ИИ?
Чтобы задавать вопросы в LLM эффективно, следуйте этим рекомендациям:
- Четкость и конкретность: формулируйте вопросы ясно и точно, избегайте двусмысленностей.
- Контекст: при необходимости предоставьте контекст, чтобы модель лучше поняла ваш запрос.
- Прямота: задавайте вопросы напрямую, без лишних вводных слов.
- Разделение сложных вопросов: разделите сложные вопросы на несколько простых, если это возможно.
- Избегание предвзятости: старайтесь формулировать вопросы нейтрально, не навязывая определенных ответов.
Пример:
Неоптимально: «Как мне сделать так, чтобы моя программа работала лучше?»
Оптимально: «Как оптимизировать производительность Python-программы для обработки больших данных?»
Следуя этим рекомендациям, вы сможете получить более точные и полезные ответы от LLM.
Какие есть серверные требования для развертывания LLM в контуре?
Требования сильно отличаются в зависимости от решаемого кейса, нагрузки и ожиданий по производительности решения. Но для использования любой LLM в контуре потребуется один или несколько GPU и экспертиза MLOps специалистов — без них LLM запустить не получится.
[ HACK GPT ]
Применение генеративного ИИ в бизнесе. Обзор кейсов и тенденций 2024
Глеб Обломский
CPO | Just AI
Тимур Будтуев
Менеджер по развитию ИИ | X5 Group
Смотреть в записи
Какие есть сферы применения генеративного ИИ?
Есть несколько перспективных направлений:
- Контент-маркетинг и копирайтинг: генерация статей, блогов, постов в соцсетях, рекламных текстов и писем.
- Анализ данных и отчетность: автоматическое создание отчетов на основе данных и подготовка аналитических записок.
- Разработка ПО: автоматизация написания кода на основе заданных требований, анализ кода для обнаружения и исправления ошибок.
- Чат-боты и поддержка клиентов: генеративный ИИ помогает сделать чат-ботов умнее и человечнее, а также ускорить процесс их разработки.
- Рекрутинг и HR: автоматизация первых этапов отбора кандидатов, проведение первичного интервью.
- Юридическая поддержка: создание типовых договоров, соглашений и других документов, а также подготовка аналитических справок и поиск ответов в текущем законодательстве и в базе судебной практики.
- Продуктовая разработка и дизайн: генерация идей для новых продуктов, создание прототипов и концепций.
С автоматизации каких процессов лучше начинать внедрение генеративного ИИ?
Лучше всего начинать с тех областей, которые можно легко автоматизировать и которые имеют высокий потенциал для увеличения эффективности и снижения затрат.
Это могут быть:
- Автоматизация рутинных задач: анализ документов, генерирование отчетов, подготовка базовых аналитических данных, создание шаблонных документов.
- Поддержка клиентов: внедрение чат-ботов с умным поиском для ответов на вопросы о продуктах и сервисах компании или для помощи и подсказкам операторам и менеджерам клиентского сервиса.
- Маркетинг и реклама: автоматизация создания контента для социальных сетей и email-рассылок.
Какие есть плюсы и минусы у западных и отечественных ИИ-решений?
Западные решения более продвинутые в силу бóльших доступных ресурсов (вычислительные и данные для обучения). Отечественные решения отстают от топовых зарубежных моделей по разным оценкам — от 6 до 12 мес., однако уже сейчас их качество достаточно для использования в кейсах автоматизации.
Важным преимуществом отечественных решений является соответствие закону 152-ФЗ о защите персональных данных, а также независимость от политических и технологических ограничений.
Какие модели чаще всего используются в направлении GenAI?
Среди облачных моделей наиболее широко используются модели от Open AI, Anthropic, Яндекс (YaGPT) и Сбера (GigaChat). Для развертывания в контуре компании (на собственных серверах) чаще всего используются модели семейства Qwen и LLaMA.
Какой сервис можно использовать для повседневных задач офисного сотрудника?
Например, Jay Copilot — ассистент, который помогает использовать генеративный искусственный интеллект в работе и повседневных задачах. В Jay Copilot используются большие языковые модели (LLM) и другие нейросети и сервисы, например: GPT-4o и GPT-4o mini, Flux и DALL-E 3, YaGPT, GigaChat, Whisper. Он объединяет функции этих нейросетей в виде готовых приложений. С помощью них можно решать задачи в области маркетинга, продаж, HR, программирования, поддержки клиентов и другие.
Сколько языков поддерживают решения Just AI?
В облачной версии системой учтены все языки, которые поддерживаются LLM. Это примерно 180 языков. При установке в контур число языков зависит от выбранной модели и ее возможностей. Тут, как правило, идут по пути сокращения списка языков и дообучения модели под нужные вам.
Как правильно формировать запрос к ИИ?
Чтобы задавать вопросы в LLM эффективно, следуйте этим рекомендациям:
- Четкость и конкретность: формулируйте вопросы ясно и точно, избегайте двусмысленностей.
- Контекст: при необходимости предоставьте контекст, чтобы модель лучше поняла ваш запрос.
- Прямота: задавайте вопросы напрямую, без лишних вводных слов.
- Разделение сложных вопросов: разделите сложные вопросы на несколько простых, если это возможно.
- Избегание предвзятости: старайтесь формулировать вопросы нейтрально, не навязывая определенных ответов.
Пример:
Неоптимально: «Как мне сделать так, чтобы моя программа работала лучше?»
Оптимально: «Как оптимизировать производительность Python-программы для обработки больших данных?»
Следуя этим рекомендациям, вы сможете получить более точные и полезные ответы от LLM.
Какие есть серверные требования для развертывания LLM в контуре?
Требования сильно отличаются в зависимости от решаемого кейса, нагрузки и ожиданий по производительности решения. Но для использования любой LLM в контуре потребуется один или несколько GPU и экспертиза MLOps специалистов — без них LLM запустить не получится.
Глеб Обломский
CPO | Just AI
Тимур Будтуев
Менеджер по развитию ИИ | X5 Group
Смотреть в записи
Безопасность
Внедрение генеративного ИИ в бизнес-процессы требует особого внимания к безопасности, так как несоблюдение определенных правил может привести к утечкам, серьезным юридическим последствиям и финансовым потерям.
Существует несколько аспектов, на которые стоит обратить внимание:
Чувствительные данные: обработка текста с помощью ИИ может привести к утечке конфиденциальной информации. Инструменты вроде Jay Guard помогают фильтровать и маскировать данные, соблюдая нормы защиты.
Маскирование данных — это процесс изменения или скрытия чувствительной информации, такой как персональные данные, коммерческие тайны или важные корпоративные сведения, с целью предотвращения их утечки. Для этого происходит замена оригинальных данных фиктивными значениями, которые сохраняют структуру исходных данных, но не содержат реальной информации.
Правовая ответственность: контент, созданный ИИ, и его решения порождают правовые вопросы. Ответственность зависит от юрисдикции и условий сервисов, которые могут передавать права на контент владельцам нейросетей.
Мы рассмотрели несколько популярных вопросов связанных с безопасностью применения генеративного ИИ, которые помогут лучше разобраться в этой теме.
Кому принадлежат права на промты и сгенерированный на их основе контент?
Ответ зависит от юрисдикции и условий сервисов. В России этот вопрос пока не решен, однако уже проявляются черты общего подхода как к загружаемому, так и к сгенерированному контенту:
Промт. Простые примеры запросов, такие как короткие текстовые фразы без деталей, не защищаются авторским правом, так как они не являются результатом творческой деятельности. Однако если промпт является сложной, оригинальной последовательностью команд или содержит уникальные данные (например, изображение для обработки ИИ), он может подлежать защите авторским правом. В таком случае правообладателем признается создатель такого промпта.
Сгенерированный контент. Большинство правовых систем считают, что первоначальным правообладателем контента, созданного ИИ, должен быть пользователь, который ввел соответствующий запрос. Однако для этого запрос должен существенно влиять на результат генерации. Если пользователь подробно описывает, как должен выглядеть результат (например, изображение кота с конкретными деталями), то контент может быть защищен авторским правом, а его автором будет пользователь. При этом важно учитывать, что условия пользовательских соглашений могут изменять распределение прав. Например, некоторые сервисы, как Leonardo.AI, могут предусматривать передачу всех прав на сгенерированный контент владельцу нейросети.
Какие инструменты помогают скрывать чувствительные данные при работе с нейросетями?
Для обеспечения конфиденциальности можно использовать onprem-модели и сервисы маскирования, такие как платформа Jay Guard — это шлюз, который фильтрует и маскирует чувствительные данные при отправке запросов большим языковым моделям (LLM). С его помощью вы сможете обеспечить безопасность корпоративных и персональных данных, предотвращая их попадание в облачные нейросети.
В Jay Guard на данный момент существует несколько инструментов для маскирования:
- Для обнаружения таких данных сейчас используются модели, обученные на обнаружение именованных сущностей — Named Entity Recognition. Основная модель, которая сейчас применяется — ner-slovnet.
- Также для поиска определенных паттернов в запросах пользователя используются regexp-выражения — как системные, так и кастомные, которые пользователь может завести самостоятельно.
- У пользователя есть возможность загружать в Jay Guard словари с чувствительными данными — сервис будет обнаруживать их в запросах.
Каким образом в запросе к нейросети можно выделить именно те фрагменты, которые составляют предмет коммерческой тайны, и которые надо подвергнуть умному маскированию?
Jay Guard предлагает пользователю ряд категорий сущностей, которые он может обнаруживать и маскировать. Например, номера телефонов, номера карт, имена, фамилии, локации и т.д.
В зависимости от категории сущности, для ее обнаружения, используются соответствующие методы поиска: номера телефонов, email — мы можем найти простыми regexp-выражениями, а для поиска личностей и локаций используются NER-модели. Какие-то специфичные для пользователя сущности мы можем найти с помощью загруженных им кастомных словарей.
Кто несет юридическую ответственность за решения AI чат-бота?
Ответственность за решения AI чат-бота зависит от конкретных обстоятельств и может возлагаться на разные стороны:
- На разработчика. Примером служит, иск против Character.AI, где чат-бот обвиняется в негативном воздействии на психику детей и доведении до самоубийства.
- На правообладателя. Пример: дело Jake Moffat против Air Canada, где компания несла ответственность за неверную информацию, предоставленную чат-ботом, и это привело к убыткам для потребителя.
- На пользователя. Когда AI используется в профессиональной деятельности, как в случае с адвокатом юридической фирмы Levidow, Levidow & Oberman, который получил от ChatGPT вымышленные судебные решения.
Когда речь заходит об ответственности за причиненный вред, необходимо принимать во внимание все возможные обстоятельства, и дать универсальный ответ невозможно. Но точно можно сказать, что сам по себе ИИ не может быть привлечен к ответственности.
Можно ли разработать AI-Ассистента в гибридном исполнении: публичные данные обрабатываются в облаке, а приватные в контуре?
Да, можно. Часть запросов, которые касаются чувствительных данных будет обрабатываться моделью, установленной в контур компании, а другая часть, без чувствительных данных, — в облачном варианте.
Внедрение генеративного ИИ в бизнес-процессы требует особого внимания к безопасности, так как несоблюдение определенных правил может привести к утечкам, серьезным юридическим последствиям и финансовым потерям.
Существует несколько аспектов, на которые стоит обратить внимание:
Чувствительные данные: обработка текста с помощью ИИ может привести к утечке конфиденциальной информации. Инструменты вроде Jay Guard помогают фильтровать и маскировать данные, соблюдая нормы защиты.
Маскирование данных — это процесс изменения или скрытия чувствительной информации, такой как персональные данные, коммерческие тайны или важные корпоративные сведения, с целью предотвращения их утечки. Для этого происходит замена оригинальных данных фиктивными значениями, которые сохраняют структуру исходных данных, но не содержат реальной информации.
Правовая ответственность: контент, созданный ИИ, и его решения порождают правовые вопросы. Ответственность зависит от юрисдикции и условий сервисов, которые могут передавать права на контент владельцам нейросетей.
Мы рассмотрели несколько популярных вопросов связанных с безопасностью применения генеративного ИИ, которые помогут лучше разобраться в этой теме.
Кому принадлежат права на промты и сгенерированный на их основе контент?
Ответ зависит от юрисдикции и условий сервисов. В России этот вопрос пока не решен, однако уже проявляются черты общего подхода как к загружаемому, так и к сгенерированному контенту:
Промт. Простые примеры запросов, такие как короткие текстовые фразы без деталей, не защищаются авторским правом, так как они не являются результатом творческой деятельности. Однако если промпт является сложной, оригинальной последовательностью команд или содержит уникальные данные (например, изображение для обработки ИИ), он может подлежать защите авторским правом. В таком случае правообладателем признается создатель такого промпта.
Сгенерированный контент. Большинство правовых систем считают, что первоначальным правообладателем контента, созданного ИИ, должен быть пользователь, который ввел соответствующий запрос. Однако для этого запрос должен существенно влиять на результат генерации. Если пользователь подробно описывает, как должен выглядеть результат (например, изображение кота с конкретными деталями), то контент может быть защищен авторским правом, а его автором будет пользователь. При этом важно учитывать, что условия пользовательских соглашений могут изменять распределение прав. Например, некоторые сервисы, как Leonardo.AI, могут предусматривать передачу всех прав на сгенерированный контент владельцу нейросети.
Какие инструменты помогают скрывать чувствительные данные при работе с нейросетями?
Для обеспечения конфиденциальности можно использовать onprem-модели и сервисы маскирования, такие как платформа Jay Guard — это шлюз, который фильтрует и маскирует чувствительные данные при отправке запросов большим языковым моделям (LLM). С его помощью вы сможете обеспечить безопасность корпоративных и персональных данных, предотвращая их попадание в облачные нейросети.
В Jay Guard на данный момент существует несколько инструментов для маскирования:
- Для обнаружения таких данных сейчас используются модели, обученные на обнаружение именованных сущностей — Named Entity Recognition. Основная модель, которая сейчас применяется — ner-slovnet.
- Также для поиска определенных паттернов в запросах пользователя используются regexp-выражения — как системные, так и кастомные, которые пользователь может завести самостоятельно.
- У пользователя есть возможность загружать в Jay Guard словари с чувствительными данными — сервис будет обнаруживать их в запросах.
Каким образом в запросе к нейросети можно выделить именно те фрагменты, которые составляют предмет коммерческой тайны, и которые надо подвергнуть умному маскированию?
Jay Guard предлагает пользователю ряд категорий сущностей, которые он может обнаруживать и маскировать. Например, номера телефонов, номера карт, имена, фамилии, локации и т.д.
В зависимости от категории сущности, для ее обнаружения, используются соответствующие методы поиска: номера телефонов, email — мы можем найти простыми regexp-выражениями, а для поиска личностей и локаций используются NER-модели. Какие-то специфичные для пользователя сущности мы можем найти с помощью загруженных им кастомных словарей.
Кто несет юридическую ответственность за решения AI чат-бота?
Ответственность за решения AI чат-бота зависит от конкретных обстоятельств и может возлагаться на разные стороны:
- На разработчика. Примером служит, иск против Character.AI, где чат-бот обвиняется в негативном воздействии на психику детей и доведении до самоубийства.
- На правообладателя. Пример: дело Jake Moffat против Air Canada, где компания несла ответственность за неверную информацию, предоставленную чат-ботом, и это привело к убыткам для потребителя.
- На пользователя. Когда AI используется в профессиональной деятельности, как в случае с адвокатом юридической фирмы Levidow, Levidow & Oberman, который получил от ChatGPT вымышленные судебные решения.
Когда речь заходит об ответственности за причиненный вред, необходимо принимать во внимание все возможные обстоятельства, и дать универсальный ответ невозможно. Но точно можно сказать, что сам по себе ИИ не может быть привлечен к ответственности.
Можно ли разработать AI-Ассистента в гибридном исполнении: публичные данные обрабатываются в облаке, а приватные в контуре?
Да, можно. Часть запросов, которые касаются чувствительных данных будет обрабатываться моделью, установленной в контур компании, а другая часть, без чувствительных данных, — в облачном варианте.
Выбор оптимальной модели генеративного ИИ для проекта
При выборе оптимальной модели генеративного ИИ для проекта важно учитывать много факторов: точность и качество ответов, скорость реакции, стоимость, поддержку и аналитические возможности.
Мы собрали популярные вопросы наших слушателей по этой теме, которые помогут вам сделать правильный выбор.
Как найти оптимальную модель GenAI для проекта?
Нужно смотреть на такие важные аспекты как: точность и качество ответа, скорость ответа, стоимость, удобство оплаты, техническую поддержку вендора и возможности аналитики. Подобрать модель можно в приложении Multi Chat.
Как выбрать, каким сервисом пользоваться, если нет глубинных знаний в LLM? Например, есть задача обучить модель на базе знаний компании и подключить к чатам, для ответов клиентам на вопросы и продажи.
Для начала рекомендуем попробовать различные модели вручную. Сервисы в каталоге Caila.io сгруппированы по типам, среди которых вы сможете выбрать нужный. Затем можно провести автоматизированные сравнительные тесты, если требуется более глубокий анализ.
Описываемый кейс полностью закрывает наш специальный продукт Knowledge Hub. А если останутся дополнительные вопросы или решите сформировать полноценную стратегию, напишите нам на почту genai@just-ai.com или воспользуйтесь услугами GenAI-консалтинга.
Как взаимодействуют LLM и RAG?
RAG (Retrieval Augmented Generation) — метод, который комбинирует генеративные модели с поисковыми системами или базой данных для генерации ответов, обогащенными внешними данными.
RAG объединяет внутренние знания LLM с обширными и постоянно обновляющимися внешними источниками данных, такими как базы данных, веб-сайты и другие информационные ресурсы.
C помощью RAG можно повысить точность и достоверность генерации ответов, особенно для задач, требующих глубоких знаний. Механизм также позволяет постоянно обновлять знания и интегрировать информацию, специфичную для конкретной области.
Какие ресурсы требуются для обучения и запуска популярных моделей?
Для запуска больших языковых моделей типа Qwen 72B или Llama 70B в нашей практике чаще всего используются конфигурации с 1-2 GPU A100-80, или 4-8 карт 4090. Конфигурация 8xA100-80 зачастую используется для обучения.
Возможно ли распознавание изображений на фото? Например, определить перечень объектов на фото и выдать их список по API.
С такой задачей справляются мультимодальные модели, например GPT-4o. Качество работы необходимо проверять на реальных данных. Из открытых моделей можно отметить LLaVA, Qwen-VL, PaliGemma.
Имеются ли рейтинги моделей?
В сети есть множество открытых рейтингов и бенчмарков. Самый известный для русского языка — Лидерборд на основе MERA (Multimodal Evaluation for Russian-language Architectures).
Как протестировать ИИ и на какие количественные метрики можно опираться при выборе наиболее оптимальной модели?
Основные метрики:
- Точность работы на вашей задаче.
- Скорость работы: время обработки запроса и количество одновременно обрабатываемых запросов.
- Стоимость и ресурсоёмкость.
Как измеряется точность моделей?
Для оценки применяются различные методы, в зависимости от задачи. Это может быть простое сравнение сгенерированного ответа с целевым значением — можно сделать в нашем приложении MultiChat, либо использование другой LLM со специальным промптом для проверки. Наиболее универсальный подход — написать промпт с вопросом: «Оцени по 10-балльной шкале, насколько ответ верен».
[ HACK GPT ]
Как найти оптимальную модель GenAI для проекта
Петр Мицов
Руководитель продукта
Александр Шпагин
Руководитель отдела по работе с клиентами и партнерами
Смотреть в записи
Генеративный ИИ в ботах
Генеративный ИИ в ботах открывает новые возможности для взаимодействия с пользователями, предлагая более гибкие и адаптивные решения, а также обеспечивая сложное, естественное общение.
Выбор подходящей модели для чат-бота зависит от бизнес-контекста, языка взаимодействия, требований безопасности и функциональных возможностей. Чтобы определить, какую LLM выбрать, важно провести исследования и эксперименты, оценить модели по ключевым показателям и протестировать их на конкретных задачах.
Мы собрали самые частые вопросы и ответы на них, чтобы помочь сориентироваться в этой области.
Какую LMM выбрать для чат-бота с генеративным ИИ?
Ответ на этот вопрос нельзя дать однозначно, т.к. это зависит от многих факторов:
- Бизнес-контекст — цель, которую будет решать промт. Необходимо провести эксперименты, которые покажут, как отрабатывает каждая из моделей для определённой задачи, сколько это стоит при использовании конкретного промта, а также просчитать приблизительную экономику решения.
- Язык целевой коммуникации. Некоторые модели лучше отрабатывают в конкретных языковых группах.
- Необходимостью хостинга (self-hosted или облачная модель) — зависит от политики безопасности компании, возможностей хостить модель внутри контура компании или использовать провайдера, например Caila.io.
- Функциональными возможностями модели. Например, не все модели поддерживают tool calling.
Перед началом разработки теперь в классический процесс разработки бота необходимо добавить этап исследований.
Примерный порядок действий при выборе LLM:
- Определить задачу, которую необходимо решать с помощью LLM.
- Выбрать подходящую метрику. Для определения названия метрики можно воспользоваться данным списком задач.
- Выбрать подходящую модель(и):
- Посмотреть в лидербордах результаты моделей на этой задаче/метрике. Например, это можно посмотреть на странице «Лидерборд» сайта mera.a-ai.ru.
- Проверить подходят ли технические характеристики под задачу.
- Протестировать модели на промптах, подходящих под задачу.
Как избежать галлюцинаций и искажения информации у бота с генеративным ИИ?
Следуйте рекомендациям:
- Четкие инструкции: пишите ясно и точно, избегая двусмысленности в запросах.
- Контекст: предоставьте боту вводную информацию для генерации ответа. Опишите, в чем его обязанности, какие пользователи к нему будут обращаться, какие есть тематики общения с клиентами.
- Источники данных: если возможно, то передайте в промте или при обучении RAG-источник данных, на основе которого нужно сформировать ответ.
- Роли ИИ: назначайте роль ИИ для повышения его ответственности и точности. Также это позволит боту использовать этот контекст при ответах на пользовательские вопросы.
- Если необходимо, укажите темы и ограничения по ответам на вопросы, которых нейросеть должна избегать и пример ответа на такие темы/вопросы. Стоит попросить бота не выдумывать информацию, а говорить, что не знает ответа, если у него его нет.
- Понизить температуру: высокие параметры будут способствовать креативным, вариативными и более творческим ответам, низкие — более жесткому следованию инструкции. Если риск навредить галлюцинациями велик, то этот параметр можно уменьшить.
Как решается проблема о похожих описаниях продуктов/индикаторов (например, названия банковских карт или описания предоставляемых услуг), когда LLM может неправильно понять о чем спрашивают и ответить по другому продукту/индикатору?
В отличие от классического NLU на интентах, генеративный ИИ справляется с подобными кейсами значительно лучше. Если описывать схему решения проблемы кратко, то при использовании LLM и решении задач классификации, на вход модели подается информация об описаниях продуктов/индикаторов и запрос пользователя. Исходя из смысла запроса модель распределяет его в необходимый класс.
Из чего складывается стоимость создания бота с генеративным AI?
Из нескольких компонентов:
- Стоимость работ по реализации бота.
- Стоимость дальнейших затрат на жизнеспособность бота.
Второй параметр зависит от трафика бота, количества обрабатываемых сообщений и стоимости токенов у конкретной модели. В случае self-hosted моделей вместо этой стоимости будут затраты на сервера и их обслуживание.
Стоимость самой реализации и контентной поддержки зависит от функционального наполнения, но уже сейчас мы можем сказать, что эта стоимость меньше, ввиду сокращения трудозатрат на добавление NLU, чем классическая реализация бота без генеративного ИИ.
Конкретная стоимость экономии будет видна в ближайшем будущем, так как решения с LLM и RAG-ботами только появляются на рынке и им нужно время, чтобы наработать бенчмарки.
Можно ли применить LLM для автоматизации IT Service Desk? Например, для помощи агентам технической поддержки в поиске решений в базе знаний, а также в части запроса дополнительной информации у пользователей, классификации и маршрутизации обращений.
Да, LLM-продукты, в частности, база знаний на RAG или бот с агентом, который фиксирует обращения в Service Desk. Также специалистам техподдержки может помочь суфлёр.
Как собрать базу знаний (источники информации) для AI чат-бота и как технически интегрировать его в существующий чат-бот?
Для создания генеративного бота на нашей платформе JAICP существует интеграция с продуктом Jay Knowledge Hub. В таком случае для обучения бота понадобятся файлы, технические ограничения к которым, указаны в документации.
Какая задержка в речи голосовых ботов в решениях Just AI?
Здесь стоит вспомнить, что задержка в классических NLU ботах при синтезе речи сейчас около 300 мс. Текущая задержка (включая синтез) в решении с генеративным ИИ, которую удалось достичь — примерно 500 мс, с применением кэширования. Но мы работаем над тем, чтобы этот показатель улучшился.
Может ли бот текстовый или голосовой обработать в одном вопросе несколько тематик и выдать ответ сразу на все?
Да, это возможно и это одна из особенностей и отличий LLM ботов от классических.
В каком случае нужен суфлер/ассистент, обученный на данных компании?
На наш взгляд, суфлер/ассистент может принести пользу, если операторы контактного центра вашей компании часто ищут ответ на вопрос клиента в различных документах — в базе знаний, во внутренних документах, на сайте компании и в других источниках.
Также признаком необходимости суфлера может быть то, что операторы часто обращаются к более опытным коллегам за помощью — к наставнику или к супервизору группы. Тогда линейка продуктов Just AI поможет перенаправить поток консультаций на генеративную сеть и сделает это удобно для оператора и эффективно для метрик контактного центра. Например, JAICP для создания суфлера, Knowledge Hub или Caila.io для обучения генеративных сетей на данных компании.
Как можно реализовать диалог с чат-ботом голосом?
Для этого на платформе JAICP есть несколько разных возможностей. Если мы говорим про классических ботов, то там используется детерминированной сценарий (стейты, интенты), а также синтез и распознавание речи. Если мы говорим про ботов с генеративным ИИ, то есть несколько разных опций реализации:
- бот на RAG базе знаний (Knowledge Hub)
- бот с частичным подключением LLM в рамках части сценария или агентский подход — создание целиком бота для решения бизнес-задачи или проблемы. К этим ботам так же подключается синтез речи.
В чем отличия использования NLU + ML от LLM в диалоге с абонентом?
Основные отличия заключаются в гибкости, способах обучения и уровне понимания и обработки человеческого языка.
В отличие от классического подхода c NLU, боты с LLM:
- Не требуют заранее составлять полный список распознаваемых тематик и размечать объемные датасеты с примерами запросов.
- Лучше понимают контекст и могут поддерживать более естественные диалоги.
- Позволяют решать некоторые задачи обработки человеческой речи, которые были трудоемки или невозможны ранее: извлечение сложных сущностей, считывание семантики диалога и настроения клиента по смыслу текста, ответы на мультипотентные запросы.
Возможно ли применение генеративных ботов в Telegram и в WhatsApp?
Да, здесь нет ограничений по каналам вывода, т.к. LLM подключается к ботам как дополнительная функциональность.
Как часто вы просматриваете вручную чаты для отлова ошибок?
На проектах мы смотрим чаты по запросу наших заказчиков. В целом нет единого подхода к тому, насколько часто это нужно делать — регулярность зависит от количества пользователей и сессий.
Также хочется подметить, что необязательно смотреть чаты вручную — отчеты об ошибках в ответах можно собирать от пользователей автоматически, если добавить в скрипт бота просьбу оценить ответ, а затем анализировать только неуспешные или неудачные по мнению пользователей диалоги. После этого уже вносить изменения в бота. Кроме того, сейчас LLM позволяет оценивать качество или успешность диалога по своей сути, без явной оценки пользователя.
Существует ли образовательный контент для создания своих ботов?
У нас есть курс по JAICP на сайте youtube.com и на геткурсе, учебный центр, записи вебинаров и практические кейсы на youtube.com в специальных плейлистах на канале Just AI. Также мы проводим платное обучение по нашим продуктам по запросу.
[ HACK GPT ]
Генеративный ИИ в ботах новые возможности для диалоговых решений
Андрей Грабарник
Руководитель продукта JAICP
Ирина Степанова
Оунер прикладного применения GenAI в ботах
Смотреть в записи
Генеративный ИИ в госучреждениях
Генеративный ИИ может значительно улучшить эффективность работы государственных учреждений за счёт автоматизации рутинных задач, сокращения времени на обработку обращений граждан и упрощения доступа к необходимой информации.
Мы рассмотрели несколько популярных вопросов на основе вебинара по Генеративному ИИ в Госучреждениях, чтобы помочь вам разобраться в вопросе.
Как можно применить ИИ в госучреждениях?
ИИ может способствовать улучшению обслуживания граждан: автоматизация процессов, использование чат-ботов, сокращение времени ожидания и упрощение доступа к информации.
Уже существуют проекты с использованием Генеративного ИИ:
- Ситуационный центр губернатора Смоленской области — проект внедрения приложения Jay Copilot в Центре информационных технологий Смоленской области.
- Федеральный фонд ОМС — голосовой помощник для умных колонок, который будет напоминать о записи к врачу и собирать обратную связь.
- Минюст — интеллектуально-правовой помощник и система экспертизы нормативных правовых актов на базе ИИ.
- Минпромторг — проект по анализу документов заявителей с помощью ИИ и введению чат-бота для консультации пользователей.
Какие преимущества есть у GigaChat?
GigaChat автоматизирует рутинные задачи, помогает в генерации контента для госпабликов, предоставляет умных помощников для ведомств и анализирует данные. Это позволяет существенно ускорять процессы и повышать эффективность сотрудников.
Как обеспечивается защита данных и конфиденциальность при использовании нейросетей в госучреждениях?
Задачу по защите персональных данных решает установка onprem-моделей в контур компании.
Если же нужна работа с облачными моделями, то тут поможет наш продукт для маскирования персональных данных Jay Guard.
Сколько по времени занимает внедрение генеративного ИИ?
Внедрение генеративного ИИ может занимать от одного дня до нескольких месяцев. Это зависит от специфики конкретного кейса и способа внедрения — будь то локальная установка (on-premises) или облачное решение.
Облачные сервисы предоставляют возможность практически мгновенного доступа к необходимым инструментам и ресурсам. Это устраняет необходимость в настройке и поддержке сложной инфраструктуры и позволяет быстрее приступить к использованию технологий.
Какие процессы в деятельности органа муниципальной власти помогут оптимизировать нейросети?
- Автоматизация рутинных задач: это включает создание отчетов, написание писем и работа с документами. Нейросети помогут ускорить эти процессы и снизить нагрузку на сотрудников.
- Генерация контента для госпабликов: нейросети могут помочь в создании и редактировании текстов для официальных страниц органов власти в социальных сетях и других публичных ресурсах.
- Анализ данных: это может включать анализ юридических документов, извлечение данных из крупных наборов данных, а также создание аналитических отчетов.
- Поддержка принятия решений: нейросети помогают в систематизации данных, предоставлении рекомендаций и анализа альтернативных решений, что ускорит процесс принятия решений.
- Записи и обработка обращений граждан: интеллектуальные системы смогут быстрее и точнее обрабатывать запросы граждан, предоставлять им необходимую информацию и отслеживать статус их обращений.
- Контроль выполнения задач: нейросети могут помочь в отслеживании выполнения задач, контроле процесса выполнения и своевременном уведомлении ответственных лиц о необходимости действий.
- Поиск и маршрутизация запросов: системы ИИ помогут быстро найти необходимую информацию и перенаправить запрос в соответствующее отделение или к ответственному сотруднику, что сократит время ожидания.
- Обработка документов заявителей: нейросети могут быть использованы для анализа документов, поданных заявителями, и предоставления предварительной оценки еще до рассмотрения компетентными лицами.
Есть ли возможность выиграть гранты на внедрение ИИ?
Да, в России есть возможность выиграть гранты на внедрение искусственного интеллекта. Фонд «Сколково» продолжает поддержку проектов российских компаний, внедряющих отечественные решения на базе технологий искусственного интеллекта.
Размер гранта может составлять от 20 до 100 миллионов рублей. Эта мера поддержки предусмотрена федеральным проектом «Искусственный интеллект» нацпрограммы «Цифровая экономика РФ».
Источник: Фонд «Сколково» sk.ru.
[ HACK GPT ]
Российские нейросети для госучреждений. Как GigaChat и Jay Copilot помогают вести госпаблики
Антропова Александра
Главный специалист, «Ситуационный центр губернатора Смоленской области»
Стемпаржевская Алёна
Руководитель направления развития бизнеса, GigaChat, Sber
Светлова Екатерина
Менеджер по развитию клиентов, Just AI
Смотреть в записи
Генеративный ИИ в юриспруденции
Введение генеративного ИИ в юриспруденцию может менять привычный подход к юридическим задачам. Приложения Jay Copilot в разделе «Ассистенты юриста» предлагают упростить и оптимизировать работу с юридической информацией и документами. С помощью них вы можете быстро и точно находить ответы на вопросы, связанные с законодательной базой РФ, сравнивать различные версии юридических документов и отслеживать их изменения.
Чтобы глубже понять возможности и особенности использования генеративного ИИ в юриспруденции, мы собрали часто задаваемые вопросы по этой теме.
Что такое «Ассистенты юриста»?
Это категория приложений с которыми вы легко сможете работать с юридической информацией и документами. Получать быстрые и точные ответы на вопросы, связанные с законодательной базой РФ, сравнивать различные версии юридических документов, чтобы быстро найти изменения и обновления.
Какие рутинные юридические задачи способен автоматизировать ИИ?
Анализ и подготовка юридических заключений, составление документов, оценка правовых рисков, проверка на соответствие нормативным требованиям, анализ судебных решений и т.д.
Ассистенты юриста в Jay Copilot позволяют получать быстрые и точные ответы на вопросы, связанные с законодательной базой РФ.
Приложение подберет ответы, например, по таким нормативно-правовым актам: Гражданскому и Налоговому кодексу РФ, КоАП РФ, различным федеральным законам. Полный список документов вы сможете получить в диалоге с приложением. Также с приложением вы сможете сравнивать различные версии юридических документов, чтобы быстро найти изменения и обновления.
Можно ли установить все модули AI-ассистента юриста в контуре организации без доступа в интернет?
Да, можно. В этом случае в качестве LLM для обработки информации нужно использовать открытые модели, например Qwen 2 или T-Pro.
Также нужно учитывать, что обновление базы НПА будет осуществляться в дискретном режиме по запросам организации. Мы постоянно проводим работы по адаптации решения к работе в закрытом контуре и готовы делится своей экспертизой в этом вопросе.
Стоит ли перепроверять достоверность информации после работы с АI?
Да, необходимо перепроверять достоверность информации после работы с ИИ. Перепроверка должна включать собственный анализ и верификацию полученных данных и выводов. Но также можно попросить модель предоставить ссылки-источники или ссылки на конкретную часть документа, откуда она взяла информацию. Важно понимать, что приложение является помощником юриста, но не заменяет его.
Кто несет юридическую ответственность за решение ИИ?
Юридическую ответственность за решения, предложенные ИИ несет юрист, который использует этот инструмент. ИИ является лишь вспомогательным средством, и, несмотря на его возможности, окончательное решение и рекомендации для клиента принимает именно юрист.
Какими средствами контролируется содержание ответов модели?
Модели ИИ настраиваются и обучаются на юридических данных, адаптированных к конкретным требованиям и стандартам компании, что повышает точность и релевантность ответов. Также модели настраиваются на поиск ответов только по указанным источникам и при отсутствии в них данных о вопросе сообщать об этом.
Как технически организовано взаимодействие ИИ с базой нормативных актов?
Создается огромная векторная база знаний по которой осуществляется поиск информации, а на основании найденной информации, при помощи LLM, формируется ответ на запрос.
Как загрузить все разрозненные черновики и выписки в ИИ, чтобы на их основе получить оформленный иск?
Ключом к успеху будет структурирование сообщений и указание формата документа:
- Соберите черновики исков, выписки из дел, а также другие судебные документы. Убедитесь, что они в удобочитаемом формате.
- Используйте текстовые форматы, такие как TXT или DOCX, без сложной разметки и графиков.
- Четко формулируйте задачу, например, попросив сгенерировать иск на основании загруженных данных.
- Задавайте вопросы, чтобы получить дополнительную информацию, например, о применимости определенных законов или о структуре иска.
- После обмена сообщениями сгенерируйте полный текст иска на основе собранной информации.
[ HACK GPT ]
AI-ассистент для юриста: автоматизированная работа с документацией и нормативными актами
Алексей Насанбаев
Старший юрист, i-Legal
Иван Степнов
Менеджер решения, Just AI
Смотреть в записи
Jay Knowledge Hub
Каким образом производится аналитика качества обученной модели по корпоративным данным и на какие метрики ориентируетесь для аналитики качества?
Аналитика качества производится с помощью генерации вопросно-ответных пар на основании текущих данных в базе знаний. Затем эти пары проходят тестирование — система генерирует ответы, которые сравниваются с эталонными. Каждый ответ оценивается по шкале от 1 до 10, и среднее значение формирует общую оценку системы. Основная метрика — это соотношение точности ответов системы с эталонными ответами.
Как удостовериться, что система обучилась именно на загруженных данных?
Уверенность в обучении на загруженных данных обеспечивается тем, что система ограничивается в использовании лишь тех данных, которые были загружены в нее посредством промт-инжиниринга. Это предотвращает генерацию ответов на основе данных, которые изначально не были учтены.
Как определяются и скрываются чувствительные данные?
Чувствительные данные идентифицируются и защищаются с помощью продукта Jay Guard. В системе можно настроить правила для скрытия чувствительных данных, например, используя регулярные выражения или просто включить предустановленные параметры для скрытия адресов, имен и прочих конфиденциальных данных. При отправке запроса в LLM такие данные заменяются случайными символами, а при возврате ответа — декодируются обратно.
Jay Knowledge Hub — это инструмент для хранения информации или это для поиска данных компании?
Jay Knowledge Hub — это скорее инструмент для поиска и обработки данных. Он отличается от Confluence тем, что основная его задача — упрощение поиска и доступа к информации в корпоративных документах, а не их структурирование и хранение.
Инструмент может синхронизироваться с базой знаний компании или обучение работает только через подгрузку новых документов?
Jay Knowledge Hub поддерживает интеграцию с такими платформами, как Confluence, что позволяет автоматически синхронизировать данные. Кроме того, в планах расширение интеграций с другими платформами.
Как считываются данные из изображений, аудио и видео, загруженных в базу знаний?
Аудио и видео преобразуются в текст, который индексируется как обычные текстовые данные. Изображения анализируются через лингвистическую модель, преобразующую их в текстовые описания, пригодные для поиска.
Можно ли настроить разграничения прав доступа к документам разным пользователям?
Да, это возможно. Система позволяет создавать несколько баз знаний и настраивать права доступа к этим базам для разных пользователей и департаментов, тем самым разграничивая доступ к различной информации.
Выдает ли бот информацию о том, какие данные в нем есть, а каких нет, чтобы пользователь мог понимать, что именно не стоит в нем искать?
Да, система позволяет пользователям запросить информацию о том, какие данные доступны в базе знаний, предоставляя краткий список возможных вопросов и тем, чтобы ориентировать пользователя в поиске информации.
Как обучить базу знаний Jay Knowledge Hub?
Для обучения базы данных нужно загрузить необходимые файлы в раздел «Источники» и выбрать опцию «Обучить». Система автоматически разбивает файлы на части, переводит их в векторную форму и сохраняет в векторной базе данных для последующего поиска.
Какие модели для векторизации поддерживаются в Jay Knowledge Hub?
Система поддерживает как облачные, так и open source модели, предоставляя пользователям возможность выбора модели, наиболее подходящей под их бизнес-задачи.
Есть ли необходимость переобучать модель после удаления файла?
Нет, переобучение после удаления файла не требуется, но оно необходимо после добавления новых данных в базу.
Можно ли внедрить Jay Knowledge Hub в контур компании?
Jay Knowledge Hub может работать и в on-premise режиме, то есть система полностью разворачивается на оборудовании компании, обеспечивая полную изоляцию и безопасность данных, и в облачном — всё зависит от потребностей бизнеса.
Стоимость установки и работы on-premise решения обсуждается индивидуально с клиентами, так как зависит от множества факторов, включая объем данных и количество запросов.
Можно ли на основе загруженных в систему данных автоматически создать тестирование для сотрудников или ваш продукт только предоставляет информацию в формате вопрос-ответ?
На данный момент продукт предоставляет информацию в формате вопрос-ответ, но в ближайшем будущем мы планируем добавить функцию автоматического создания тестов и обучающих материалов на основе загруженных данных.
Каким образом производится аналитика качества обученной модели по корпоративным данным и на какие метрики ориентируетесь для аналитики качества?
Аналитика качества производится с помощью генерации вопросно-ответных пар на основании текущих данных в базе знаний. Затем эти пары проходят тестирование — система генерирует ответы, которые сравниваются с эталонными. Каждый ответ оценивается по шкале от 1 до 10, и среднее значение формирует общую оценку системы. Основная метрика — это соотношение точности ответов системы с эталонными ответами.
Как удостовериться, что система обучилась именно на загруженных данных?
Уверенность в обучении на загруженных данных обеспечивается тем, что система ограничивается в использовании лишь тех данных, которые были загружены в нее посредством промт-инжиниринга. Это предотвращает генерацию ответов на основе данных, которые изначально не были учтены.
Как определяются и скрываются чувствительные данные?
Чувствительные данные идентифицируются и защищаются с помощью продукта Jay Guard. В системе можно настроить правила для скрытия чувствительных данных, например, используя регулярные выражения или просто включить предустановленные параметры для скрытия адресов, имен и прочих конфиденциальных данных. При отправке запроса в LLM такие данные заменяются случайными символами, а при возврате ответа — декодируются обратно.
Jay Knowledge Hub — это инструмент для хранения информации или это для поиска данных компании?
Jay Knowledge Hub — это скорее инструмент для поиска и обработки данных. Он отличается от Confluence тем, что основная его задача — упрощение поиска и доступа к информации в корпоративных документах, а не их структурирование и хранение.
Инструмент может синхронизироваться с базой знаний компании или обучение работает только через подгрузку новых документов?
Jay Knowledge Hub поддерживает интеграцию с такими платформами, как Confluence, что позволяет автоматически синхронизировать данные. Кроме того, в планах расширение интеграций с другими платформами.
Как считываются данные из изображений, аудио и видео, загруженных в базу знаний?
Аудио и видео преобразуются в текст, который индексируется как обычные текстовые данные. Изображения анализируются через лингвистическую модель, преобразующую их в текстовые описания, пригодные для поиска.
Можно ли настроить разграничения прав доступа к документам разным пользователям?
Да, это возможно. Система позволяет создавать несколько баз знаний и настраивать права доступа к этим базам для разных пользователей и департаментов, тем самым разграничивая доступ к различной информации.
Выдает ли бот информацию о том, какие данные в нем есть, а каких нет, чтобы пользователь мог понимать, что именно не стоит в нем искать?
Да, система позволяет пользователям запросить информацию о том, какие данные доступны в базе знаний, предоставляя краткий список возможных вопросов и тем, чтобы ориентировать пользователя в поиске информации.
Как обучить базу знаний Jay Knowledge Hub?
Для обучения базы данных нужно загрузить необходимые файлы в раздел «Источники» и выбрать опцию «Обучить». Система автоматически разбивает файлы на части, переводит их в векторную форму и сохраняет в векторной базе данных для последующего поиска.
Какие модели для векторизации поддерживаются в Jay Knowledge Hub?
Система поддерживает как облачные, так и open source модели, предоставляя пользователям возможность выбора модели, наиболее подходящей под их бизнес-задачи.
Есть ли необходимость переобучать модель после удаления файла?
Нет, переобучение после удаления файла не требуется, но оно необходимо после добавления новых данных в базу.
Можно ли внедрить Jay Knowledge Hub в контур компании?
Jay Knowledge Hub может работать и в on-premise режиме, то есть система полностью разворачивается на оборудовании компании, обеспечивая полную изоляцию и безопасность данных, и в облачном — всё зависит от потребностей бизнеса.
Стоимость установки и работы on-premise решения обсуждается индивидуально с клиентами, так как зависит от множества факторов, включая объем данных и количество запросов.
Можно ли на основе загруженных в систему данных автоматически создать тестирование для сотрудников или ваш продукт только предоставляет информацию в формате вопрос-ответ?
На данный момент продукт предоставляет информацию в формате вопрос-ответ, но в ближайшем будущем мы планируем добавить функцию автоматического создания тестов и обучающих материалов на основе загруженных данных.