Лучшая в России NLP-модель создана финалистами профиля «Искусственный интеллект» Олимпиады КД НТИ и Академии ИИ

Созданный школьниками алгоритм, способный решать задачи по обработке естественного языка с учетом логики, здравого смысла, целеполагания и других важных элементов мышления, справляется с поставленными задачами на 15 % лучше, чем модели, разработанные сильнейшими командами взрослых и профессиональных специалистов в Data Science. Таким образом, сделан большой вклад в науку исследования данных и, возможно, важный шаг к решению задачи создания более сильного искусственного интеллекта.

Natural language processing (NLP) или обработка естественного языка - область, находящаяся на пересечении компьютерных наук, искусственного интеллекта и лингвистики. Ее цель - понимание и воспроизведение смысла языка человека. С развитием голосовых помощников, чат-ботов, автоматических переводчиков и других решений NLP стала одной из важнейших технологий искусственного интеллекта.

В ходе Олимпиады участникам было предложено решить две задачи, которые входят в систему тестов Russian SuperGLUE - платформы для оценки русскоязычных моделей по объективным параметрам и методологии, позволяющей выбрать самую подходящую под нужды конкретной задачи, например, создание чат-ботов или анализ пользовательских запросов.

Первая задача отборочного этапа предполагала создание вопросно-ответной системы, которая могла ответить на вопрос по тексту, предполагающий построение причинно-следственных связей. Вторая (задача финала) - построение алгоритма, который при ответе на вопрос учитывает не только доступную информацию, но и здравый смысл.

Еще при решении задачи отборочного этапа девятиклассник из Санкт-Петербурга Степан Шабалин показал впечатляющий результат: точность его модели превосходила результат человека: 96,5% против 80,6%. Финальную задачу Степан решал в команде с десятиклассником из Липецка Андреем Кузнецовым. Их разработка тоже всех удивила: точность модели составила 92,6%, в то время как люди справляются с этой задачей с точностью 93%.

После завершения олимпиады Степан Шабалин создал модель, основанную на полученных в ходе соревнований разработках. Она решила все девять тестов Russian SuperGLUE с показателями, следующими сразу за результатом человека.

По словам одного из разработчиков Russian SuperGLUE Татьяны Шавриной, в рамках олимпиадной задачи школьники продемонстрировали абсолютно взрослый уровень, сделав то, что научное сообщество не сделало за год: выжали абсолютный максимум из существующих технологий.

«Для русского языка достигнут исторический максимум в решении iq-тестов машиной - теперь общий уровень понимания текстов выше на целых 15 баллов из 100. Основной рост при этом пришелся на задания теста, требующие фактических знаний о мире и внимательном чтении длинных документов. Технология открытая, и сообщество будет развивать ее дальше» Татьяна Шаврина Лидер команды AGI NLP Сбера, главный эксперт по технологиям SberDevices

Об олимпиаде

Совместный профиль «Искусственный интеллект» олимпиады Кружкового движения НТИ и Академии искусственного интеллекта для школьников организуется при поддержке благотворительного фонда Сбербанка «Вклад в будущее» и Сбера. Он является вторым по популярности среди всех направлений инженерных соревнований движения. В этом году общее количество участников олимпиады составило свыше 4,7 тыс. из 84 регионов России, а также из Казахстана, Киргизии, Молдавии, Латвии и Белоруссии.

Кружковое движение НТИ - всероссийское сообщество технологических энтузиастов. Его цель - сформировать следующее поколение предпринимателей, инженеров, ученых и управленцев. Задачи НТИ интегрированы в нацпроект «Наука», согласно целям которого Россия должна войти в пятерку ведущих стран, осуществляющих научные исследования и разработки в областях, определяемых приоритетами научно-технологического развития.