Красота в деталях: ученые Вышки и AIRI разработали метод высококачественного редактирования изображений
Исследователи Центра ИИ НИУ ВШЭ, AIRI и Бременского университета разработали новый метод редактирования изображений на основе глубинного обучения — StyleFeatureEditor. Он позволяет точно воссоздавать мельчайшие детали изображения и сохранять их при редактировании. С его помощью пользователи смогут изменять цвет волос или выражение лица без потери качества изображения. Результаты работы опубликованы на самой цитируемой конференции по компьютерному зрению CVPR 2024.
Искусственный интеллект уже научился генерировать изображения и редактировать их. Это стало возможным благодаря генеративно-состязательным нейросетям (GANs — generative adversarial networks). Архитектура предполагает две независимые сети: генератор производит изображения, дискриминатор различает реальные и сгенерированные образцы, и они соревнуются друг с другом. Новым этапом в развитии генеративно-состязательных сетей стала модель StyleGAN. Она может генерировать изображения и изменять их отдельные части по запросу пользователя, но не умеет работать с реальными фото или картинками.
Исследователи Центра ИИ НИУ ВШЭ, AIRI и Бременского университета предложили способ быстро и качественно редактировать реальные изображения. Ученые создали метод (StyleFeatureEditor) с двумя модулями: первый воссоздает (реконструирует) исходное изображение, а второй редактирует эту реконструкцию. Результат работы модулей передается в StyleGAN в понятном для нейросети наборе внутренних представлений, из которых и создается редактированное изображение. При этом разработчикам удалось решить проблемы, которые возникали в предыдущих исследованиях: при небольшом наборе представлений нейросеть хорошо редактировала изображение, но теряла детали исходного изображения, а при большом наборе все детали сохранялись, но нейросеть не понимала, как их правильно преобразовать с учетом поставленной задачи.
Для решения этой проблемы исследователи предложили следующее: первый модуль ищет и большие, и маленькие представления, а второй учится редактировать большие на примере редактуры маленьких представлений.
Однако, чтобы обучить эти модули правильно редактировать представления, нейросети нужны настоящие изображения и их отредактированные версии.
Денис Бобков
«Нам нужны были образцы, например одно и то же лицо с разной мимикой, прической, деталями. К сожалению, таких пар изображений не существует на данный момент. И мы придумали хитрость: с помощью метода, работающего с малыми представлениями, мы создали реконструкцию настоящего изображения и пример редактирования этой реконструкции. Несмотря на то что получились довольно простые примеры без деталей, модель четко поняла, как правильно совершать редактирования», — рассказывает один из авторов статьи, стажер-исследователь Центра глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук ФКН, младший научный сотрудник лаборатории Fusion Brain AIRI Денис Бобков.
Однако обучение только на сгенерированных (простых) примерах ведет к потере деталей при работе с реальными (сложными) изображениями. Чтобы этого не происходило, ученые добавили реальные изображения в обучающую выборку. И нейросеть училась воссоздавать их в деталях.
Таким образом, показав модели и как редактировать простые, и как воссоздавать сложные изображения, ученым удалось создать условия, при которых нейросеть научилась редактировать сложные изображения. В частности, разработанный подход справляется с добавлением новых элементов стиля, а также лучше сохраняет детали исходных изображений по сравнению с другими существующими методами.
В случае простой реконструкции (первый ряд) StyleFeatureEditor аккуратно воспроизвел шляпку, в то время как большинство других методов ее практически потеряло. Лучшее качество разработанный метод показал в случае добавления аксессуаров (третий ряд): большинство методов справились с добавлением очков, но только StyleFeatureEditor сохранил исходный цвет глаз.
Айбек Аланов
«Благодаря технике обучения на сгенерированных данных, мы получили модель с хорошим качеством редактирования, а также быструю скорость работы за счет использования подхода с достаточно легковесными нейросетями. Фреймворку StyleFeatureEditor требуется всего 0,07 секунды на редактирование одного изображения», — говорит Айбек Аланов, заведующий Центром глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук ФКН, руководитель научной группы «Контролируемый генеративный ИИ» лаборатории Fusion Brain AIRI.
Исследование поддержано грантом для исследовательских центров в области искусственного интеллекта, предоставленным Аналитическим центром при Правительстве РФ.
Результаты исследования будут представлены в докладе на ежегодной конференция по искусственному интеллекту и машинному обучению Fall into ML 2024, которая пройдет в НИУ ВШЭ 25-26 октября. На площадке Высшей школы экономики ведущие ученые в области искусственного интеллекта обсудят лучшие работы, опубликованные на конференциях А* в 2024 году — флагманских событиях этой области. Демо разработанного метода можно опробовать на HuggingFace, код — в Github репозитории.
Вам также может быть интересно:
«Когда мир стремительно меняется, важно искать инструменты управления изменениями»
В начале апреля в Высшей школе экономики в Москве состоялась XIX Всероссийская научная конференция с международным участием «Параллельные вычислительные технологии» (ПаВТ). Конференция ПаВТ — ежегодное научное мероприятие, которое проводится в крупных научных центрах России. Форум в НИУ ВШЭ объединил более 200 ученых из пяти стран. Участники конференции представляли 55 организаций из 28 городов, в том числе 15 институтов РАН и НИИ, 30 университетов, 8 предприятий ИТ-индустрии и 2 промышленных предприятия.
ВШЭ — лидер конкурсного отбора Минцифры России по подготовке кадров в области ИИ
Министерство цифрового развития, связи и массовых коммуникаций Российской Федерации и Аналитический центр при Правительстве РФ завершили конкурсный отбор вузов, которые в 2025–2030 годах займутся подготовкой специалистов в сфере искусственного интеллекта. По итогам конкурсного отбора по программам высшего уровня «ТОП ДС» первое место заняла Высшая школа экономики.
Искусственный интеллект помогает точнее прогнозировать риски сложных заболеваний
Разработанные в Центре искусственного интеллекта НИУ ВШЭ нейросетевые модели значительно улучшают прогнозирование риска ожирения, диабета первого типа, псориаза и других многофакторных заболеваний. Совместное исследование с компанией Genotek показало, что алгоритмы глубокого обучения эффективнее традиционных методов, особенно при сложных взаимодействиях генов (эпистазах). Результаты опубликованы в журнале Frontiers in Medicine.
Искусственный интеллект может стать катализатором устойчивого развития
Искусственный интеллект трансформирует все сферы жизни, расширяя наши возможности и границы. В то же время технологии бросают человечеству новые вызовы, связанные с безопасностью, этикой и защитой окружающей среды. На сегодняшний день каждая нейросеть оставляет за собой большой углеродный след. Однако при грамотном управлении ИИ может принести пользу планете и стать залогом устойчивой экономики будущего. Об этом рассказал научный руководитель Лаборатории алгоритмов и технологий анализа сетевых структур НИУ ВШЭ в Нижнем Новгороде Панос Пардалос в рамках XXV Ясинской (Апрельской) международной научной конференции по проблемам развития экономики и общества.
В Вышке создали собственную MLOps-платформу
Ученые НИУ ВШЭ создали MLOps-платформу SmartMLOps. Она предназначена для исследователей в области искусственного интеллекта, которые хотели бы превратить свое изобретение в полноценный сервис. В будущем на платформе могут быть развернуты ИИ-помощники для упрощения образовательного процесса, оказания медицинской помощи, консультирования и решения многих других задач. Создатели ИИ-технологий смогут получить готовый к работе сервис в течение считанных часов. На суперкомпьютере Вышки этот сервис может быть запущен в несколько кликов.
«От нашей общей работы зависит будущее»: что несет человечеству развитие ИИ
Какие перспективы и вызовы для человечества несет развитие технологий искусственного интеллекта? Как его используют ученые? Каким будет мир, где доминирует ИИ? Эти и другие темы обсудили эксперты на форсайт-сессии «Будущее исследований в сфере искусственного интеллекта», которая прошла в НИУ ВШЭ.
ИИ позволит точно моделировать производительность систем хранения данных
Исследователи факультета компьютерных наук НИУ ВШЭ разработали новый подход к моделированию систем хранения данных на основе генеративных моделей машинного обучения. Он позволяет с высокой точностью предсказывать ключевые характеристики работы таких систем при различных условиях. Результаты опубликованы в журнале IEEE Access.
ИИ в образовании: как преодолеть соблазн готовых решений
Искусственный интеллект уже стал обыденностью для молодежи: как показал опрос, около 87% студентов ведущих вузов используют ИИ в процессе обучения. Большая часть из них отметила, что он помогает им экономить время, при этом они проверяют сделанную ИИ работу. Результаты исследования были представлены на конференции по анализу данных и технологиям ИИ Data Fusion. В ее работе приняли участие научный руководитель НИУ ВШЭ Ярослав Кузьминов и другие эксперты Вышки.
Большинство студентов не верят, что ИИ сможет заменить их на работе
Большинство студентов считают, что ИИ не сможет заменить их на работе в ближайшие десять лет. Низким такой риск называют 27,2% респондентов, 41,5% — крайне маловероятным. Эти оценки были получены НИУ ВШЭ в ходе опроса 4200 студентов в 2025 году. Они приводятся в докладе «Эпоха больших языковых моделей: почему они все еще не профессионалы», подготовленном научным руководителем НИУ ВШЭ Ярославом Кузьминовым и старшим преподавателем кафедры высшей математики НИУ ВШЭ Екатериной Кручинской. Доклад был представлен на XXV Ясинской (Апрельской) международной научной конференции по проблемам развития экономики и общества, которая проходит с 15 по 18 апреля в НИУ ВШЭ.
Точный ИИ-оракул: какие тренды интересуют бизнес
Современные технологии ежедневно меняют мир, автоматизируя бизнес-процессы в различных отраслях. Специалисты НИУ ВШЭ представили масштабный опыт команды iFORA по реализации ИИ-проектов в интересах крупных компаний и органов власти.