Система мониторинга эффективности задач на суперкомпьютере НИУ ВШЭ включена в Реестр российского ПО
Разработанная в Высшей школе экономики система мониторинга эффективности задач на суперкомпьютере HPC TaskMaster включена в Реестр российского программного обеспечения. Для этого был выполнен большой комплекс подготовительных работ. Доказав эффективность системы, Вышка готова распространять ее и в другие университеты и компании.
С момента появления суперкомпьютеров обеспечение эффективности их использования является важнейшей задачей. Для крупных вычислительных кластеров разрабатываются собственные системы мониторинга. Суперкомпьютер «cHARISMa», который используется сотрудниками, преподавателями и студентами Высшей школы экономики для проведения научных исследований, не стал исключением.
Отечественная программная система HPC TaskMaster была разработана с применением научного подхода и внедрена в 2022 году. Она помогает пользователям суперкомпьютера эффективнее выполнять вычисления: предоставляет информативные отчеты о выполненных задачах, указывает на ошибки, выдает рекомендации по повышению эффективности. Кроме того, система позволяет эффективнее использовать ресурсы суперкомпьютера в целом, экономя дорогостоящее машинное время. По статистике, в первом полугодии 2023 года система позволила повысить эффективную производительность суперкомпьютера на 20,5%.
Для включения в Реестр российского программного обеспечения пришлось выполнить довольно объемный комплекс работ по пересмотру используемых технологий и подробному документированию разработанной системы. Например, пришлось отказаться от использования в качестве базовой операционной системы Linux Ubuntu из-за лицензионных ограничений. Была улучшена безопасность кода, сформирован тестовый набор данных для демонстрации работы эксперту, разработаны варианты развертывания системы как в docker-контейнере, так и в виде образа виртуальной машины.
Далеко не всякая зарегистрированная российская программа может попасть в Реестр российского программного обеспечения. Это видно из статистики: в реестре на сегодняшний день около 18 тысяч программ, а количество обычных свидетельств о регистрации программ, выданных Роспатентом, приближается к 300 тысячам. Для включения в реестр программа должна удовлетворять множеству законодательных и технических требований.
Дмитрий Бондарь, старший директор по цифровой трансформации НИУ ВШЭ
«Продуктивная работа современного суперкомпьютерного комплекса в многопользовательском режиме невозможна без создания программной системы по контролю и оптимизации потока задач. В Вышке такой системой стал HPC TaskMaster. Над его разработкой на протяжении нескольких лет трудилась команда отдела суперкомпьютерного моделирования, при этом разработка базируется на опыте всего коллектива университета, выполняющего исследования при помощи суперкомпьютера.
В современном мире скорость проверки гипотез, обучения искусственного интеллекта и решения инженерных задач на высокопроизводительных машинах определяет конкурентоспособность организации в целом. Без автоматизации процессов взаимодействия с суперкомпьютером новые задачи могут просто не дождаться своей очереди или потерять актуальность.
Доказав эффективность системы у нас, мы готовы ее распространять и в другие университеты и компании. Таким образом мы хотим поделиться своим опытом и повысить эффективность заинтересованных научных и производственных коллективов.
Включение HPC TaskMaster в Реестр российского программного обеспечения — существенный шаг в этом направлении. Адаптация программного обеспечения и его описание под требования реестра — трудоемкий процесс, но он показывает, что продукт соответствует всем требованиям российского законодательства и готов к использованию за пределами Вышки».
Павел Костенецкий, начальник отдела суперкомпьютерного моделирования НИУ ВШЭ
«Наш отдел не просто вручную администрирует суперкомпьютер. Мы создали систему, которая теперь нам и помогает. Она в сотни раз превосходит инженера по скорости анализа эффективности вычислений, выполняющихся на вычислительном кластере. Соответственно, эффективность работы нашего суперкомпьютерного центра стала выше, чем классического центра с ручным отслеживанием ошибок пользователей.
Наша система сама может рекомендовать пользователям суперкомпьютера, что нужно улучшать в их вычислительных задачах, а при серьезных ошибках даже прекращать некорректно запущенные вычисления одного пользователя в пользу запуска эффективных задач другого. Этот подход позволяет не допускать простоя оборудования, повышает количество одновременно выполняемых исследований».
Вам также может быть интересно:
НИУ ВШЭ представил рейтинг регионов России по необходимости адаптации к изменению климата
В докладе Высшей школы экономики оценены шесть ключевых климатических рисков для страны: деградация вечной мерзлоты, лесные пожары, засухи, волны тепла, экстремальные осадки и водный стресс. Рейтинг позволяет оценить риски для каждого конкретного региона и скорректировать планы адаптации.
Лингвисты впервые описали историю подготовки переводчиков русского жестового языка
Команда исследователей из России и Великобритании впервые подробно описала, как формировалась и менялась система подготовки переводчиков русского жестового языка (РЖЯ). Это масштабное исследование охватывает период с XIX века до наших дней, раскрывая как достижения, так и проблемы профессиональной среды. Результаты работы опубликованы в сборнике “The Routledge Handbook of Sign Language Translation and Interpreting”.
Вышка запустила международный проект по изучению русского языка как иностранного
В середине октября состоялось торжественное открытие Международного образовательного онлайн-клуба по русскому языку как иностранному и русской культуре Школы иностранных языков ВШЭ. Проект GLAGOL’ объединил участников из 20 стран — иностранных студентов и преподавателей 10 факультетов Вышки, а также свыше 10 российских и зарубежных вузов.
ВШЭ наметила образ городов будущего
В ближайшие десятилетия муниципалитеты изменятся и станут пространствами здоровья, идентичности и цифровых решений. Ключевые тенденции городской трансформации обозначила проректор НИУ ВШЭ Вероника Минина, выступив в рамках Международного муниципального форума БРИКС — 2025. Также в рамках форума декан факультета географии и геоинформационных технологий НИУ ВШЭ Николай Куричев представил природно-климатические проекты ученых университета.
Ошибки, которые всё объясняют: ученые обсудили будущее психолингвистики
Мировая лингвистика сегодня переживает «многоязычную революцию»: эпоха англоязычного доминирования в когнитивных науках подходит к концу, все чаще исследователи изучают многообразие языков мира. Более того, мультилингвизм из экзотики становится нормой, что кардинально меняет представления о когнитивных возможностях человека. В Вышке обсудили будущее развитие экспериментальной лингвистики.
«Развернуть обсуждение политики в области высшего образования в доказательное русло»
29 октября в НИУ ВШЭ открылась XVI Международная конференция исследователей высшего образования (ИВО) на тему «Высшее образование: между частным и общественным благом». Для участия в конференции зарегистрировались более 600 человек из 32 регионов России и семи зарубежных стран, поступило рекордное число заявок на выступления с докладами — 242, из которых было принято 88.
Встреча с делегацией «Синьхуа»: в Вышке обсудили вопросы современной журналистики
22 октября в НИУ ВШЭ состоялась открытая встреча с представителями китайского информационного агентства «Синьхуа» во главе с руководителем аппарата генерального директора Сунь Чжипином. Обсуждались актуальные проблемы журналистики и особенности работы информационных агентств в современном медиапространстве. Многие студенты воспользовались возможностью задать вопрос и попрактиковаться в общении на китайском языке. Визит был организован факультетом мировой экономики и мировой политики совместно с Институтом медиа НИУ ВШЭ и информационным агентством ТАСС.
Исчезнувший сигнал: как солнечная активность заглушила радиоголос Земли
Исследователи из НИУ ВШЭ и ИКИ РАН проанализировали данные спутника ERG (Arase) за семь лет и впервые подробно описали новое радиоизлучение Земли — гектометровый континуум, открытый в 2017 году. Выяснилось, что это излучение возникает спустя несколько часов после заката и исчезает через 1–3 часа после восхода Солнца. Чаще всего его фиксировали в летние месяцы, реже — весной и осенью. Однако к середине 2022 года, когда Солнце вошло в фазу повышенной активности, излучение полностью исчезло, но ученые предполагают, что сигнал может вернуться. Исследованиео публиковано в журнале Journal of Geophysical Research: Space Physics.
Студенты-культурологи прошли полевую практику в исследовательской экспедиции Лицея ВШЭ
Две недели студенты образовательной программы «Культурология» Высшей школы экономики провели в старинном поморском поселке Умба на Мурманском берегу, где руководили проектными группами учеников Лицея Вышки. Учащиеся факультета гуманитарных наук помогли лицеистам в изучении местной культуры, исторической памяти и трансформации ценностей.
«Практика и опыт взаимодействия с профессионалами помогут подготовить будущего продюсера»
У магистерской программы двух дипломов «Продюсер в музыкальной индустрии», реализуемой Высшей школой экономики совместно с Российской академией музыки имени Гнесиных, появился индустриальный партнер — музыкальный лейбл KOALA MUSIC. Компания примет участие в разработке учебных дисциплин и привлечении экспертов из индустрии к подготовке студентов.