В создании Олега использовались глубокие нейросетевые модели распознавания и синтеза
речи Tinkoff VoiceKit, разработанные в Тинькофф в рамках стратегии AI First.
Об этом пишет Live24.ru.
Голосовой помощник Олег функционирует как полноценный пользователь — заходит в
комнаты, расшифровывает речь спикеров в онлайн-режиме и передает текстовые
трансляции в своем телеграмм-канале «Олег в Клабхаузе».
Олегу под силу самому быть модератором комнат в ClubHouse, озвучивать вопросы
участников, отслеживать тайминг и т. д.
Директор по технологиям искусственного интеллекта «Тинькофф» Павел Калайдин рассказал,
что Олег успешно отработал на первой в истории трансляции с текстовой расшифровкой в
комнате Тинькофф Инвестиций 11 марта, где проходил конференц-звонок топ-менеджеров
группы Тинькофф под председательством Оливера Хьюза с участием журналистов и
инвесторов.
Участники обсуждали финансовые результаты и рекордную прибыль группы в 2020 году.
Благодаря использованию голосового помощника «Олег» модераторы комнат получают
дополнительный функционал для общения с пользователями ClubHouse.
Олег распознает и параллельно синтезирует речь спикеров в реальном времени, а
также транслирует текст в своём телеграмм-канале «Олег в Клабхаузе». В зависимости
от поставленных задач, Олег может сам модерировать комнаты в ClubHouse, озвучивать
вопросы спикеров, контролировать тайминг и т. д.
Сейчас создатели Олега тестируют голосовой помощник на различных пользовательских
сценариях в Клабхаусе. В пресс-службе «Тинькофф» отметили, что будут рады совместным
экспериментам с сообществами в голосовой соцсети.
Что может Олег в ClubHouse.
Помощник будет полезен в ситуациях, когда у слушателей нет возможности задать вопрос
голосом — например, мешает шум, не хотят перебивать спикера или хотят задать вопрос
анонимно. Тогда слушатель может отправить вопрос в чат с Олегом в Телеграме и
ассистент четко озвучивает его.
В Тинькофф решают вопрос по суммаризации информации, когда даже в хорошо распознанной
стенограмме присутствуют междометия, слова-паразиты, мешающие восприятию смысла
сказанного. Разработчики ищут способы очистить от них текст.
Технология Tinkof VoiceKit позволит облегчить процесс создания голосовых помощников
или роботов для колл-центра, или приложений в помощь людям с ограниченными возможностями.
Также Tinkof VoiceKit сделает более быстрыми запись аудиокниг, озвучку и редактирование
видеороликов, полнотекстовой поиск по аудио и видеозаписям.
Вопросы по использованию ассистента Олега в ClubHouse можно направить на media@tinkoff.ru,
заявки на подключение Tinkoff VoiceKit — на http://voicekit.tinkoff.ru.
