• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Красота в деталях: ученые Вышки и AIRI разработали метод высококачественного редактирования изображений

Энди Уорхол. Диптих Мэрилин, 1962г.

Энди Уорхол. Диптих Мэрилин, 1962г.
crossarea.ru/art

Исследователи Центра ИИ НИУ ВШЭ, AIRI и Бременского университета разработали новый метод редактирования изображений на основе глубинного обучения — StyleFeatureEditor. Он позволяет точно воссоздавать мельчайшие детали изображения и сохранять их при редактировании. С его помощью пользователи смогут изменять цвет волос или выражение лица без потери качества изображения. Результаты работы опубликованы на самой цитируемой конференции по компьютерному зрению CVPR 2024. 

Искусственный интеллект уже научился генерировать изображения и редактировать их. Это стало возможным благодаря генеративно-состязательным нейросетям (GANs — generative adversarial networks). Архитектура предполагает две независимые сети: генератор производит изображения, дискриминатор различает реальные и сгенерированные образцы, и они соревнуются друг с другом. Новым этапом в развитии генеративно-состязательных сетей стала модель StyleGAN. Она может генерировать изображения и изменять их отдельные части по запросу пользователя, но не умеет работать с реальными фото или картинками.

Исследователи Центра ИИ НИУ ВШЭ, AIRI и Бременского университета предложили способ быстро и качественно редактировать реальные изображения. Ученые создали метод (StyleFeatureEditor) с двумя модулями: первый воссоздает (реконструирует) исходное изображение, а второй редактирует эту реконструкцию. Результат работы модулей передается в StyleGAN в понятном для нейросети наборе внутренних представлений, из которых и создается редактированное изображение. При этом разработчикам удалось решить проблемы, которые возникали в предыдущих исследованиях: при небольшом наборе представлений нейросеть хорошо редактировала изображение, но теряла детали исходного изображения, а при большом наборе все детали сохранялись, но нейросеть не понимала, как их правильно преобразовать с учетом поставленной задачи. 

Для решения этой проблемы исследователи предложили следующее: первый модуль ищет и большие, и маленькие представления, а второй учится редактировать большие на примере редактуры маленьких представлений. 

Однако, чтобы обучить эти модули правильно редактировать представления, нейросети нужны настоящие изображения и их отредактированные версии. 

Денис Бобков

«Нам нужны были образцы, например одно и то же лицо с разной мимикой, прической, деталями. К сожалению, таких пар изображений не существует на данный момент. И мы придумали хитрость: с помощью метода, работающего с малыми представлениями, мы создали реконструкцию настоящего изображения и пример редактирования этой реконструкции. Несмотря на то что получились довольно простые примеры без деталей, модель четко поняла, как правильно совершать редактирования», — рассказывает один из авторов статьи, стажер-исследователь Центра глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук ФКН, младший научный сотрудник лаборатории Fusion Brain AIRI Денис Бобков. 

Однако обучение только на сгенерированных (простых) примерах ведет к потере деталей при работе с реальными (сложными) изображениями. Чтобы этого не происходило, ученые добавили реальные изображения в обучающую выборку. И нейросеть училась воссоздавать их в деталях. 

Таким образом, показав модели и как редактировать простые, и как воссоздавать сложные изображения, ученым удалось создать условия, при которых нейросеть научилась редактировать сложные изображения. В частности, разработанный подход справляется с добавлением новых элементов стиля, а также лучше сохраняет детали исходных изображений по сравнению с другими существующими методами.

Рис. 1. Сравнение работы StyleFeatureEditor (SFE) с другими методами на наборе лиц с большим числом деталей.
© Высшая школа экономики

В случае простой реконструкции (первый ряд) StyleFeatureEditor аккуратно воспроизвел шляпку, в то время как большинство других методов ее практически потеряло. Лучшее качество разработанный метод показал в случае добавления аксессуаров (третий ряд): большинство методов справились с добавлением очков, но только StyleFeatureEditor сохранил исходный цвет глаз. 

Айбек Аланов

«Благодаря технике обучения на сгенерированных данных, мы получили модель с хорошим качеством редактирования, а также быструю скорость работы за счет использования подхода с достаточно легковесными нейросетями. Фреймворку StyleFeatureEditor требуется всего 0,07 секунды на редактирование одного изображения», — говорит Айбек Аланов, заведующий Центром глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук ФКН, руководитель научной группы «Контролируемый генеративный ИИ» лаборатории Fusion Brain AIRI. 

Исследование поддержано грантом для исследовательских центров в области искусственного интеллекта, предоставленным Аналитическим центром при Правительстве РФ. 

Результаты исследования будут представлены в докладе на ежегодной конференция по искусственному интеллекту и машинному обучению Fall into ML 2024, которая пройдет в НИУ ВШЭ 25-26 октября. На площадке Высшей школы экономики ведущие ученые в области искусственного интеллекта обсудят лучшие работы, опубликованные на конференциях А* в 2024 году — флагманских событиях этой области. Демо разработанного метода можно опробовать на HuggingFace, код — в Github репозитории.

Вам также может быть интересно:

Эксперты НИУ ВШЭ исследовали, как ведется подготовка специалистов в области ИИ

Институт статистических исследований и экономики знаний НИУ ВШЭ представил доклад, подготовленный на основе результатов специализированного обследования образовательных организаций высшего образования.  Целью впервые проведенной работы стало выявление масштабов и условий обучения технологиям искусственного интеллекта в рамках образовательных программ высшего образования и дополнительных профессиональных программ в вузовском секторе.

«Нам удалось провести настоящий хакатон, когда нет заранее понятного пайплайна, как получить решение»

С 13 по 20 октября в НИУ ВШЭ прошел хакатон “HSE AI Assistant Hack: Python”, организованный факультетом компьютерных наук и Центром искусственного интеллекта ВШЭ. За призовые места боролись 89 студенческих команд из ведущих вузов страны.

Ученые Вышки представили разработки, связанные с применением ИИ в медицине

Искусственный интеллект не заменит врача, но может стать ему отличным помощником. При этом здравоохранение нуждается в высокотехнологичных продуктах, которые способны быстро анализировать и контролировать состояние пациентов. Ученые Вышки применили ИИ для предоперационного планирования и постоперационной оценки результатов в спинальной хирургии и разработали автоматическую интеллектуальную систему для оценки биомеханики рук и ног.

Ученые Вышки представили проекты по этической экспертизе в сфере ИИ

Технологии искусственного интеллекта уже стали неотъемлемой частью повседневной жизни и активно применяются в различных отраслях экономики. Однако этические вопросы использования ИИ все еще требуют обсуждения и осмысления. Сегодня в России с участием ученых НИУ ВШЭ ведется работа над несколькими отраслевыми приложениями к национальному Кодексу этики в сфере ИИ, в которых будут конкретные рекомендации в помощь каждому, кто нуждается в понимании и анализе рисков и угроз со стороны ИИ.

Три команды ВШЭ стали победителями на всероссийском хакатоне «Цифровой прорыв»

В конце сентября в Москве состоялся всероссийский хакатон «Цифровой прорыв. Сезон: Искусственный интеллект». На соревнование собрались 314 команд и 1616 человек со всей страны. Они состязались в решении задач от партнеров хакатона — государственных организаций и компаний: «РЖД», «Росатома», Центра робототехники Сбера, «Сколтеха» и многих других. Три команды студентов факультета компьютерных наук НИУ ВШЭ приняли участие в хакатоне и выиграли в двух кейсах.

С помощью ученых НИУ ВШЭ и Сбера преподаватели смогут повысить качество онлайн-обучения

Ученые Центра искусственного интеллекта НИУ ВШЭ и исследователи Лаборатории искусственного интеллекта Сбербанка научились определять вовлеченность участников онлайн-мероприятий. Метод, основанный на анализе видео лица, помогает выявить, насколько слушатель заинтересован в материале. Научная статья о проведенном исследовании опубликована в рамках Международной конференции по искусственному интеллекту в образовании — AIED 2024.

Вышка расширит сотрудничество с Агентством стратегических инициатив для разработки передовых решений

В Высшей школе экономики прошел День знакомства университета и Агентства стратегических инициатив (АСИ). Стороны представили свои исследовательские и аналитические проекты и наметили направления совместной работы. Задача ученых и экспертов — повысить эффективность и ускорить внедрение в практику прорывных научных разработок по широкому спектру направлений — от экономических прогнозов до нейропротезирования.

Исследователи НИУ ВШЭ и Сбера добавят эмоций искусственному интеллекту

Ученые Центра искусственного интеллекта НИУ ВШЭ и исследователи Лаборатории искусственного интеллекта Сбербанка разработали специальную систему, которая с помощью больших языковых моделей сделает искусственный интеллект (AI) более эмоциональным при общении с человеком. Синтезом AI-эмоций займутся набирающие популярность мультиагентные модели. Научная работа о проведенном исследовании опубликована в рамках Международной совместной конференции по искусственному интеллекту — IJCAI 2024.

Вышка и «Яндекс» научат преподавателей российских вузов ИИ-грамотности

«Яндекс Образование» и факультет компьютерных наук НИУ ВШЭ (ФКН ВШЭ) создали совместный онлайн-гайд, посвященный промптингу — формулированию запросов к нейросетям. Он доступен всем на платформе «Яндекса» и в первую очередь будет полезен преподавателям, которые никогда не пользовались GPT в работе или только начинают применять ИИ-инструменты. Как правильно создать запрос к нейросети? Как грамотно использовать GPT-модели в образовательных целях? Какие задачи преподаватели могут решать с помощью искусственного интеллекта? Гайд отвечает на эти и другие вопросы по работе с нейросетями.

«Оставаться конкурентным специалистом без применения нейросетей может стать нелегкой задачей»

Цифровые технологии прочно вошли в нашу жизнь и продолжают стремительно развиваться. Неудивительно, что все чаще возникает вопрос, сможет ли однажды искусственный интеллект полностью заменить специалистов. О перспективах лингвистики в эпоху нейросетей рассуждает Даниил Осипов, кандидат филологических наук, доцент Школы иностранных языков НИУ ВШЭ.