ХАКАТОН ОБРАЗОВАТЕЛЬНОГО ФОРУМА ПО МАТЕМАТИКЕ И ИСКУССТВЕННОМУ ИНТЕЛЛЕКТУ
Задача 2:
Определи тему разговора
Задача 2:
Определи тему разговора
Задача предложена командой открытой платформы Deeppavlov.ai
(Лаборатория нейронных систем и глубокого обучения МФТИ)
(Лаборатория нейронных систем и глубокого обучения МФТИ)
Итоги
Победителем трека стала Команда свфу (Неустроев Аркадий, Хохолов Алексей)
Место проведения
Московский физико-технический институт, Главный корпус, Красный читальный зал
Описание задачи:
Даны три датасета - очищенные корпуса текстов на разговорные темы на английском языке. Каждый из них содержит чуть больше 500 реплик из корпуса Topical-Chat. Первый и второй датасеты - тренировочные (при этом из них размечен только первый), третий - валидационный. Третий датасет будет доступен в 10 часов дня 15 апреля. По нему мы будем проводить оценку.
Ваша цель – научиться определять темы реплик на протяжении диалога.
Дополнительная задача: предложить алгоритм определения момента, когда бот теряет пользователя внутри заданной темы в процессе диалога. Для неё будет предоставлен дополнительный датасет из диалогов между ботом и пользователями в рамках соревнования Alexa Prize 3. За дополнительную задачу будут ставиться отдельные баллы.
Ваша цель – научиться определять темы реплик на протяжении диалога.
Дополнительная задача: предложить алгоритм определения момента, когда бот теряет пользователя внутри заданной темы в процессе диалога. Для неё будет предоставлен дополнительный датасет из диалогов между ботом и пользователями в рамках соревнования Alexa Prize 3. За дополнительную задачу будут ставиться отдельные баллы.
Метрики по которым мы будем определять лучшее решение:
*Для разметки валидационного датасета будет отведено 15 минут. То есть в 10:15 необходимо в группе телеграмм обратно от команды отправить уже размеченный третий датасет.
- Для определения тем реплик будет использоваться метрика качества для классификатора - сравнение с ground truth по balanced accuracy. Чем выше точность, тем больше оценка за задачу.
*Для разметки валидационного датасета будет отведено 15 минут. То есть в 10:15 необходимо в группе телеграмм обратно от команды отправить уже размеченный третий датасет.
- Для задачи определения момента потери пользователя специалист будет оценивать алгоритм, разработанный для принятия решения о смене топика.
Контакты с организатором хакатона
Ссылка на Telegram для информации и вопросов:
https://t.me/joinchat/_kJbwO03wCU3NGJi
Здесь будем выкладывать данные, отвечать на вопросы.
https://t.me/joinchat/_kJbwO03wCU3NGJi
Здесь будем выкладывать данные, отвечать на вопросы.
Организация-партнер
