Студент кафедры инженерной кибернетики НИТУ МИСИС Арсений Иванов совместно с командой разработал архитектуру для управления роботом посредством естественной речи. Проект был признан лучшим среди 32 исследовательских инициатив Летней школы Института искусственного интеллекта AIRI на территории Университета Иннополис в Татарстане.
Арсений Иванов под руководством куратора проекта Алексея Ковалева вместе с Николаем Калмыковым (магистр Сколтеха), Михаилом Долгушиным (магистр СПбГУ), Александром Корчемным (магистр МФТИ) и Алексеем Староверовым (аспирант МФТИ) успешно реализовали проект по управлению роботом с помощью предобученных языковых моделей. В ходе работы была использована miniGPT4 с Q-Former для получения визуальных признаков, LLAMA-2 для токенизации изначального промпта от человека. Высокоуровневый пайплайн предоставил текстовые описания по шагам для робота, после чего подключалась модель RT1 для заземления текстовых описаний конкретных задач на actions для робота.
«Если вспомнить историю развития искусственного интеллекта, то она также началась с Летней школы, которая проходила в Дартмутском колледже. Там был и придуман сам термин — искусственный интеллект. Интересно, что проект наших ребят буквально напрямую продолжает тематику тех времен — как научить роботов действовать в физическом мире. Сейчас мы начинаем нащупывать очень интересный подход в связке между робототехникой и большими языковыми моделями. Летняя школа позволяет талантливым ребятам сосредоточится на важных вещах, обсуждая их с новыми друзьями и наставниками», — сказал Альберт Ефимов, канд. философских наук, вице-президент — директор управления исследований и инноваций Сбербанка, заведующий кафедрой инженерной кибернетики НИТУ МИСИС.
Презентация проекта состоялась 29 июля в Университете Иннополис. Команда планирует довести проект до финального прототипа и применить его на реальном роботе. Ранее на базе кафедры Инженерной кибернетики и Лаборатории робототехники Сбера студенты совместно с индустриальными экспертами уже начали исследовать возможности управления роботами с помощью LLM и они планируют применить наработки, полученные в ходе летней школы в развитии проекта.
Также в летней школе приняли участие студенты Института компьютерных наук НИТУ МИСИС Лев Новицкий и Николай Калязин, которые вошли в составы других команд.
Команда Николая Калязина решала задачу под названием «Исследование генерации изображений с помощью диффузионных моделей по множеству условий». По его мнению, к главным активностям школы можно отнести постерную сессию и итоговый командный проект.
«Нашей команде необходимо было сравнить различные методы обусловливания диффузионных моделей для генерации изображений. Было очень круто погрузиться в командную работу с незнакомыми тебе людьми и быстро ее наладить», — отметил Николай Калязин.
В ходе двухнедельного мероприятия команды вместе с ведущими учеными из AIRI, МФТИ, ВШЭ, Сколтеха, МИСИС и других учебных и научно-исследовательских организаций проработала широкий спектр современных методов искусственного интеллекта и машинного обучения.
