Новый метод кластеризации упрощает анализ больших массивов информации
Исследователи из ВШЭ и Института проблем управления РАН предложили новый метод анализа данных — туннельную кластеризацию. Он помогает быстро находить группы похожих объектов и требует меньше вычислительных ресурсов, чем традиционные методы. В зависимости от конфигурации данных алгоритм может работать в десятки раз быстрее аналогов. Исследование опубликовано в журнале «Доклады Российской академии наук. Математика, информатика, процессы управления».
С каждым годом объем информации, которую нужно обработать, становится все больше. Данные поступают из разных источников: научных исследований, финансовых отчетов, медицинских обследований и множества других. Для поиска закономерностей и структурирования информации в таких массивах применяют методы кластеризации — группировки данных по схожим характеристикам. Группы, полученные таким способом, называют кластерами.
Один из самых популярных методов кластеризации — метод k-средних. Он делит данные на заданное количество кластеров, предварительно выбирая их центры (центроиды). Однако у этого метода есть ограничение: перед началом работы необходимо знать, сколько кластеров должно получиться, что не всегда возможно при анализе сложных данных.Ученые из НИУ ВШЭ и Института проблем управления имени В.А. Трапезникова РАН предложили новый подход, который упрощает этот процесс, — туннельную кластеризацию. В отличие от метода k-средних, этот алгоритм не требует заранее задавать число кластеров: он сам определяет, сколько кластеров необходимо, анализируя структуру данных.
Фуад Алескеров
«Алгоритм формирует “туннели” данных — области в многомерном пространстве, в которых группируются объекты с похожими характеристиками, — объясняет руководитель департамента математики факультета экономических наук НИУ ВШЭ Фуад Алескеров. — Пользователь может выбрать один из трех вариантов работы алгоритма: с фиксированными границами кластеров, с адаптивными границами, которые подстраиваются под структуру данных, или комбинированный подход. Это делает метод гибким и подходящим для разных типов задач».
Метод протестировали на синтетическом (сгенерированном) наборе данных из 100 000 объектов, а также на реальных задачах в области государственного управления и банковского сектора.
Главное преимущество нового метода — скорость. В отличие от классических алгоритмов, требующих больших вычислительных ресурсов, туннельная кластеризация в зависимости от конфигурации данных может справляться с анализом в десятки раз быстрее.
Кроме того, ученые ввели понятие «степень перехода» — параметр, который показывает, сколько характеристик объекта нужно изменить, чтобы он оказался в другом кластере. Это помогает оценить четкость границ кластеров и выявлять объекты, находящиеся на стыке групп.
Алексей Мячин
«Люди создают все больше данных, и этот процесс только ускоряется. Согласно последнему отчету “Digital 2025: Global Overview Report”, в начале 2025 года в интернете насчитывалось 5,56 миллиарда пользователей — это почти 68% населения планеты. Взрослые проводят в Cети в среднем по 6 часов 38 минут в день, общаясь, работая, смотря видео и потребляя контент, — рассказывает старший научный сотрудник Международного центра анализа и выбора решений НИУ ВШЭ Алексей Мячин. — Компании, которые игнорируют анализ данных, теряют большие деньги».
Авторы продолжают работать над усовершенствованием алгоритма, включая исследования по снижению размерности данных, что позволит еще больше сократить временные затраты при поиске закономерностей в данных.
Работа выполнена при частичной поддержке РНФ.
Вам также может быть интересно:
«Наш коллектив состоит из настоящих лидеров в своих научных дисциплинах»
Международный центр анализа и выбора решений НИУ ВШЭ исследует широкий спектр методов изучения принятия решений и вероятных сценариев развития природных, социально-экономических и политических явлений, применяя различные математические модели. Использование методов высшей математики для прогнозирования позволяет избежать негативного развития событий и ошибочных решений. О деятельности центра новостная служба «Вышка.Главное» побеседовала с его директором профессором Фуадом Алескеровым.
Какие компетенции развивает аспирантура
Российская аспирантура, по оценкам ее выпускников, лучше развивает исследовательские навыки, чем сквозные компетенции, востребованные в различных, в том числе неакадемических, областях. К таким выводам пришли исследователи ИСИЭЗ НИУ ВШЭ Елизавета Маринина и Алена Нефедова, а также Галина Ефимова из Тюменского государственного университета. Результаты анализа были представлены на 38-й ежегодной международной конференции Консорциума исследователей высшего образования CHER 2026.
«Время на содержательные вопросы у нас не лимитировалось»
Международная лаборатория атомистического суперкомпьютерного моделирования и многомасштабного анализа НИУ ВШЭ провела масштабную конференцию «Молекулярная динамика». Участники могли услышать всех докладчиков, а сами докладчики — ответить на любое количество содержательных вопросов. О подготовке конференции и дискуссиях «Вышка.Главное» поговорила с заведующим лабораторией Григорием Смирновым и ее главным научным сотрудником Генри Норманом.
НИУ ВШЭ расширяет сотрудничество с Малайзией в сфере технологического форсайта
Ученые НИУ ВШЭ примут участие в исследовании перспектив инженерного образования в Малайзии, а Малайзийская промышленно-правительственная группа высоких технологий (MIGHT) использует для валидации результатов их форсайт-исследований систему анализа больших данных iFORA. Таковы результаты визита представителей Вышки в Куала-Лумпур.
Ученые ВШЭ разработали алгоритм, позволяющий производить более надежные процессоры для ЦОД
Ученые из МИЭМ ВШЭ и Самарского университета создали алгоритм LRF-3D для автоматического обхода неработающих узлов в трехмерных сетях на кристалле. Благодаря своей иерархической организации он превосходит аналоги по быстродействию и точности пути, повышая надежность процессоров для использования в ЦОД, суперкомпьютерах и ИИ-вычислениях. Исходные коды алгоритмов и тестов опубликованы в открытом доступе.
Социальная интеграция: на перекрестках знаний и ценностей
Международная лаборатория исследований социальной интеграции (МЛИСИ) НИУ ВШЭ занимается изучением проблем уязвимых слоев населения и поиском методов их вовлечения в полноценную повседневную жизнь. Для поиска решений ученые лаборатории сочетают разработку передовых методов с практической работой «в поле». О деятельности лаборатории новостной службе «Вышка.Главное» рассказала ее заведующая Елена Ярская-Смирнова.
«Я бы назвал атмосферу в лаборатории и в университете творческой и стимулирующей»
Научный сотрудник Международной лаборатории стохастического анализа и его приложений НИУ ВШЭ французский ученый Жан-Франсуа Жабир работает в НИУ ВШЭ с 2017 года. Его привлекла возможность вести исследования совместно с ведущими зарубежными и российскими учеными, свобода академических дискуссий и открытость университета. Своими впечатлениями о Вышке и Москве Жан-Франсуа Жабир поделился с новостной службой «Вышка.Главное».
Ученые НИУ ВШЭ выяснили, почему любители сладкого чаще делают импульсивный выбор
Любовь к сладкому может быть связана не только с пищевыми привычками, но и с тем, как человек принимает решения. Исследователи НИУ ВШЭ объяснили, почему любители сладкого ведут себя импульсивно: дело не в стремлении получить все немедленно, а в нежелании мириться с неопределенностью. Результаты могут помочь улучшить терапию зависимостей. Результаты исследования опубликованы в журнале Frontiers in Psychology.
«Самый результативный метод не теряться — делать хорошие исследования»
Эксперты Международной лаборатории проектирования и исследований в онлайн-обучении ВШЭ изучают и разрабатывают методы образования, предполагающие большую вовлеченность студентов и школьников в процесс обучения. Лаборатория активно исследует поведение учащихся через их цифровые следы в онлайн-системах, отношение педагогов к применению современных технологий и коммуникаций в обучении и разрабатывает принципы продуктивного применения ИИ в образовании. О деятельности лаборатории «Вышка.Главное» побеседовала с ее заведующей Анастасией Капузой.
«Нам бы хотелось, чтоб наши корпуса использовались больше»
Созданные в Международной лаборатории языковой конвергенции и Школе лингвистики НИУ ВШЭ корпуса абхазо-адыгских языков, на которых говорят народы Западного Кавказа, позволяют изучить их особенности, показывают возможности современного использования. Создание корпусов стало возможным благодаря серии экспедиций ученых и студентов Вышки на Кавказ, современным методам лингвистической обработки и взаимодействию с коллегами из региональных университетов. О работе лингвистов новостной службе «Вышка.Главное» рассказал ведущий научный сотрудник Международной лаборатории языковой конвергенции, доцент Школы лингвистики Юрий Ландер.