Стартовал второй день крупнейшей международной онлайн-конференции по искусственному интеллекту, которую организовал Сбер. Там представили новый суперкомпьютер "Кристофари Neo". В России действует и помогает решать серьёзные задачи один из самых мощных суперкомпьютеров в мире. Яндекс рассказал о создании трех мощнейших в России суперкомпьютеров, все они вошли в новую версию мирового рейтинга TOP500, заняв в нем 19-е, 36-е и 40 места. Причём в первых реализациях таких гибридных суперкомпьютеров могут потребоваться квантовые сопроцессоры на различных физических платформах для различных алгоритмов. В рейтинге Тор500 самых мощных мировых суперкомпьютеров проект «Яндекс» под названием «Червоненкис» занял 19 место в общемировом зачёте, и, таким образом, стал самым мощным решением в России и Восточной Европе.
В России создан суперкомпьютер «Жорес»
В России действует и помогает решать серьёзные задачи один из самых мощных суперкомпьютеров в мире. Главная/Республика Марий Эл/Новости/Суперкомпьютер МарГУ вошёл в ТОП-20 России. Суперкомпьютер в МГУ имени М.В. Ломоносова стал важным звеном в системе ведущих суперкомпьютерных центров России. Президент РФ Владимир Путин поручил правительству разработать и реализовать комплекс мер, направленный на увеличение вычислительных мощностей суперкомпьютеров в России. Минобрнауки России сообщило о разработанном в Московском государственном техническом университете (МГТУ) им. Н. Э. Баумана новом российском суперкомпьютере, получившем название «Телеграф». В России появится очень быстрый суперкомпьютер – фотонный. Над ним работают ученые Научно-исследовательского центра супер ЭВМ и нейрокомпьютеров в Таганроге.
В россии осуществили сборку нового "суперкомпьютера" из китайских комплектующих!
Например, у «Сбера» в своё время на создание суперкомпьютера ушло всего три-четыре месяца. Как отметили в «Яндексе», при строительстве суперкомпьютера ISEG интеллектуальная собственность и технологии «Яндекса» не использовались, потому как они там не требуются. Тестирование суперкомпьютера для TOP500 проводилось на «голом железе», но для реального применения потребуется уже специальное ПО, и Nebius может использовать как собственные разработки, так и решения с открытым кодом. Айламазяна Российской академии наук, член-корреспондент РАН, сокоординатор Национальной суперкомпьютерной технологической платформы Сергей Абрамов. Учёный отметил, что для создания «серьёзных систем» необходима тесная кооперация с мировыми производителями процессоров, ускорителей, интерконнекта, о чём в условиях санкций говорить не приходится.
В новом рейтинге TOP500 всего семь суперкомпьютеров из России. Все они утратили прежние позиции. Наиболее мощный российский суперкомпьютер «Червоненкис», созданный «Яндексом» в 2021 году, опустился с 27-го на 36-е место. В свою очередь «Галушкин» опустился с 46-го на 58-е, а «Ляпунов» — с 52-го на 64-е.
Это тоже системы «Яндекса». На 67-е место с 55-го упал суперкомпьютер «Кристофари Нео», а на 119-е место переместился с 96-го «Кристофари» — обе системы принадлежат «Сберу». Источник Forbes назвал утрату российскими компаниями прежних позиций в TOP500 «естественным результатом санкций». С уходом американских корпораций с российского рынка у оставшихся в стране компаний нет «объективных технологических возможностей выступать с какими-то новыми результатами» в рейтинге TOP500, считает собеседник Forbes.
В «Яндексе» объяснили изменение места в рейтинге тем, что организаторы использовали старые данные. Поэтому организаторы использовали наши старые данные от ноября 2021 года». Первое место сохранила система Frontier на базе процессоров и ускорителей AMD с производительностью 1,194 Эфлопс. А вот второе место претерпело изменения.
Здесь, уступив лидеру более чем вдвое, оказался основанный на чипах Intel суперкомпьютер Aurora Аргоннской национальной лаборатории США — он показал 585,34 Пфлопс. Источник изображения: intel. Intel и Аргоннская лаборатория продолжают работу по расширению Aurora: на момент выхода последней версии рейтинга суперкомпьютер составляли 10 624 процессора и 31 874 графических ускорителя Intel, обеспечивших производительность в 585,34 Пфлопс при суммарной мощности 24,69 МВт. Для сравнения, лидер рейтинга в лице Frontier на чипах AMD имеет производительность в 1,194 Эфлопс, более чем двукратно опережая систему на втором месте и потребляя при этом относительно скромные 22,70 МВт энергии.
Из-за этого Aurora не попал в рейтинг самых энергоэффективных суперкомпьютеров Green500 , а Frontier удерживает здесь восьмое место. Ожидается, что в конечном итоге Aurora выйдет на производительность в 2 Эфлопс — её обеспечат 21 248 процессоров Xeon Max и 63 744 графических ускорителя Max Ponte Vecchio в 166 стойках и 10 624 вычислительных модулях. Это будет самый крупный массив графических процессоров в мире. Тем временем AMD занимается строительством суперкомпьютера El Capitan в Ливерморской национальной лаборатории имени Лоуренса США , который, как ожидается, превысит показатель в 2 Эфлопс, и, возможно, Aurora уже не поднимется до первого места.
Источник изображения: olcf. Его строительство планировали завершить в 2018 году — тогда ожидалось, что он будет работать на процессорах Knights Hill, выход которых впоследствии был отменён. В 2019 году был анонсирован обновлённый проект Aurora с производительностью около 1 Эфлопс, который намеревались завершить к 2021 году. Но в конце 2021 года проектную производительность повысили до 2 Эфлопс, а сроки продлили до 2024 года.
Третьим в рейтинге оказался новый суперкомпьютер Eagle 561,20 Пфлопс от Microsoft, развёрнутый в облаке Azure — облачный суперкомпьютер обогнал прежнего серебряного лауреата в лице японского суперкомпьютера Fugaku 442,01 Пфлопс , который опустился на четвёртое место. Власти КНР не стесняются даже в сложных условиях ставить перед национальной вычислительной инфраструктурой амбициозные цели. К концу текущего года мощность должна составить уже 220 Эфлопс. За два ближайших года в Китае также появится 20 дополнительных центров обработки данных новейшего поколения.
Попутно будут развиваться оптические сети передачи информации и системы хранения данных, по замыслу китайских чиновников, среднее время задержки при передаче информации в критически важных системах не должно превышать 5 мс. За счёт этого предполагается придать дополнительный импульс развитию производства, образования, транспорта, здравоохранения, энергетики и финансовой сферы. Отдельное внимание будет уделяться развитию отечественного программного обеспечения, повышающего надёжность функционирования всей этой инфраструктуры.
Владимир Путин добавил, что это критически нужно для будущего развития генеративного искусственного интеллекта. Глава российского государства призвал правительство и организации страны обратить внимание на данное поручение, которое будет отражено в готовящемся нацпроекте по формированию экономики данных. Поделиться Путин заявил, что мечтает о быстрой эволюции в сфере ИИ Путин заявил, что мечтает о быстрой эволюции в сфере ИИ Также на полях конференции Путин заявил, что запретить развитие искусственного интеллекта нельзя. Наряду с прочим, в рамках конференции Владимир Путин призвал расширить подготовку кадров в сфере искусственного интеллекта. Президент РФ назвал очевидным то, что с внедрением искусственного интеллекта ИИ человечество начинает новую главу.
МГУ использует Lomonosov-2 для собственных проектов, а также задач третьих лиц. На нем проводятся исследования в области наносистем и новых материалов, информационно-телекоммуникационных систем, энергетики и др. Мощность: Lomonosov-2 241 место — 2,478 Пф. МТС использует суперкомпьютер для развития собственной цифровой экосистемы и искусственного интеллекта. В компании уверены, что система сможет ускорить создание продуктов в области машинного зрения и промышленной аналитики, обработки естественного языка, интеллектуального видеонаблюдения, а также будет полезна в вузах и научных центрах. Мощность: Grom 294 место — 2,258 Пф. Почему развитие суперкомпьютеров важно? Введение новых машин «Яндекса» в несколько раз улучшило показатели вычислительной мощности России, отмечает сокоординатор Национальной суперкомпьютерной технологической платформы Сергей Абрамов. Тем не менее говорить о полноценной государственной суперкомпьютерной инфраструктуре пока нельзя, так как большинство машин принадлежит компаниям, и работают они в коммерческих интересах, отмечает Абрамов. Эксперты уверены , что технология продолжит стремительно развиваться: в 1994 году суперкомпьютер работал с такой же скоростью, как современный смартфон сегодня. С годами производительность суперкомпьютеров будет только увеличиваться, а размеры, напротив, уменьшаться.
Её бывший директор Томас Закария Thomas Zacharia теперь займёт пост старшего вице-президента AMD, помогая компании развивать партнёрские отношения в сфере высокопроизводительных вычислений. В пресс-релизе отдельно подчёркивается наличие у Томаса Закарии 35-летнего опыта работы в данном научно-исследовательском учреждении, который может быть полезен AMD для продвижения своих систем искусственного интеллекта на рынках разных стран. Этого ветерана отрасли компания собирается привлекать для развития частно-государственного партнёрства в сфере создания систем искусственного интеллекта. Полное наименование должности Закарии подразумевает курирование стратегических партнёрских проектов и публичной политики в данной сфере. Компания хочет сотрудничать с государственными структурами разных стран, некоммерческими организациями и компаниями, чтобы предлагать им адаптированные под нужды конкретных клиентов серверные системы, предназначенные для работы с искусственным интеллектом. Томас Закария взаимодействовал с AMD на этапе строительства суперкомпьютера Frontier, и уже тогда получил представление о технологических возможностях компании и потенциале команды управленцев. Построенный на ускорителях AMD Instinct и центральных процессорах EPYC суперкомпьютер Frontier первым в истории преодолел барьер производительности вычислений в один эксафлопс, он с мая 2022 года считается самым мощным в мире. Томас Закария получил высшее образование в Индии по профилю инженера-механика, а затем прошёл магистратуру в области материаловедения в США, и там же получил степень доктора технических наук. Об этом было сказано во время оглашения послания Федеральному Собранию, а на официальном сайте Кремля уже опубликован список поручений , сформированный по итогам конференции «Путешествие в мир искусственного интеллекта». Источник изображения: pixabay. Кабинет министров также должен разработать механизмы использования архивов государственных и муниципальных органов и библиотечных фондов для создания наборов данных, которые могут быть использованы на безвозмездной основе. Ответственным за исполнение поручений назначен премьер-министр России Михаил Мишустин, а доклад об исполнении поручений глава государства ждёт к 1 марта. Я прошу правительство предложить конкретные меры поддержки компаний и стартапов, которые производят оборудование для хранения и обработки данных, а также создают программное обеспечение», — сказал Владимир Путин во время оглашения послания Федеральному Собранию. Стоит отметить, что на данный момент в суперкомпьютерный рейтинг TOP500 входит лишь семь отечественных суперкомпьютеров. Самый мощный из них, принадлежащий «Яндексу» «Червоненкис» находится на 36-м месте в рейтинге с производительностью 21,5 Пфлопс. При этом лидер рейтинга, американский экзафлопсный суперкомпьютер Frontier превосходит российскую систему по производительности более чем в 50 раз. Отметим, что в этом году в стране началась реализация национального проекта, направленного на развитие экономики на основе данных, генерируемых в цифровых системах — как бизнеса, так и государства. Этот проект является продолжением национального проекта «Цифровая экономика». Помимо прочего новая инициатива предполагает разработку программы по созданию и закупке комплектующих, а также созданию суперкомпьютеров на территории России. Также суперкомпьютер включает 1152 процессора Intel Xeon Platinum 8480C, каждый из которых предлагает 56 ядер. Источник изображения: nvidia. Компания анонсировала его почти год назад и рассказывала подробнее о нём на выставке Supercomputing 2023 в ноябре минувшего года — теперь он готов начать работу. Разработчик отмечает, что Eos способен справиться с самыми большими рабочими нагрузками в области ИИ для обучения больших языковых моделей, рекомендательных алгоритмов, квантового моделирования и многого другого. Суперкомпьютер занимает девятое место в рейтинге TOP500. В то время как корпорации и разработчики по всему миру стремятся задействовать возможности ИИ, Eos становится основным ресурсом, который обещает ускорить путь к приложениям на базе ИИ для каждой организации», — отметила NVIDIA. Производитель обещает, что новинка обеспечит выдающийся уровень производительности и сможет потягаться с самыми мощными ускорителями вычислений NVIDIA. Источник изображения: Tachyum Разработчик заявляет, что её 192-ядерный чип, выполненный на основе 5-нм технологического процесса, обеспечивает в 4,5 раза более высокую производительность, чем любой другой процессор, предназначенный для вычислительных нагрузок в облачной среде. Кроме того, он до трёх раз быстрее любого GPU, предназначенного для высокопроизводительных вычислений и до шести раз энергетически эффективнее специализированных GPU для ИИ-задач. Tachyum анонсировала чип Prodigy Universal Processor в 2022 году и пообещала с его помощью трансформировать узкоспециализированные ЦОДы в универсальные компьютерные центры, способные обеспечить необходимую вычислительную мощность и эффективность для различных ИИ-нагрузок. В декабре 2023 года компания выпустила видео, показывающее способность Prodigy эмулировать работу в x86-совместимых приложениях. Однако есть одно существенное «но»: несмотря на внушительные цифры производительности и заявления Tachyum, процессоры Prodigy существуют только на бумаге и в виде эмулируемой с помощью FPGA платформы с небольшим количеством ядер. Мы с нетерпением ждём возможности выполнить наше обещание и обязательство по преобразованию обычных центров обработки данных в универсальные вычислительные центры в ближайшем будущем», — заявил генеральный директор и основатель Tachyum Радослав Данилак Radoslav Danilak. Поскольку в составе Prodigy Universal Processor используются функциональные компоненты, предназначенные для разных типов нагрузок, он может динамически переключаться между вычислительными кластерами, исключая необходимость в использовании разнонаправленного и дорогостоящего аппаратного обеспечения для отдельных типов ИИ-нагрузок в составе вычислительной системы. По крайней мере, так говорится в свежем пресс-релизе компании. Компания заявила, что стоимость такого количества графических процессоров в составе семи серверов Supermicro GPU составит 2 349 028 долларов или в 100 раз больше, чем одна система с Prodigy Universal Processor и 2 Тбайт оперативной памяти DDR5. Tachyum также заявила, что уже планирует разработку более передового универсального процессора Prodigy 2 на базе 3-нм техпроцесса, который получит поддержку интерфейсов PCIe 6.
На пути к зеттафлопсу: в НЦФМ осваивают новые технологии для создания суперкомпьютеров
Наряду с прочим, в рамках конференции Владимир Путин призвал расширить подготовку кадров в сфере искусственного интеллекта. Президент РФ назвал очевидным то, что с внедрением искусственного интеллекта ИИ человечество начинает новую главу. Ранее он назвал монопольное доминирование в России западных платформ искусственного интеллекта опасным и недопустимым явлением. По мнению президента, в сфере создания систем искусственного интеллектам необходимо использовать российские решения. Еще Путин заявил, что в ближайшее время будет утверждена новая стратегия развития искусственного интеллекта.
Благодаря параллелизму при обработке сложных моделей данных процессор способен обрабатывать до 120 млн вершин графов в секунду. Что касается системы «Тераграф», то она может работать с графами сверхбольшой размерности — до одного триллиона вершин. Такие графы могут использоваться при анализе больших данных в биоинформатике, медицине, системах безопасности городов, компьютерных сетях, финансовом секторе, при контроле сложного промышленного производства, для анализа информации социальных сетей и во многих других областях.
В передовых странах нащупаны основные направления решений технологических трудностей предыдущего десятилетия — и для аппаратных, и для программных средств суперкомпьютеров эксафлопсного масштаба. На сегодняшний день успех трёх систем в США Frontier, Aurora, Eagle и одной — в Японии Fugaku достигнут за счёт мощной государственной и межгосударственной поддержки, наличия нескольких альтернативных конкурентных подходов, консолидации передовых технологических решений по разным направлениям. В России нет новых суперкомпьютерных разработок переднего края в последние десять лет.
Создание отечественных супер-ЭВМ закончилось в 2014 году и лучшие из них относятся к петафлопсному классу. Но у России тем не менее есть возможность и ресурсы для преодоления кризиса в суперкомпьютерной отрасли — это, в том числе, разработки, которые всё еще находятся на переднем крае технологий, необходимых для создания эксафлопсных систем. Это технологии охлаждения, интерконнекта, процессоров, ускорителей, программного обеспечения, математические методы и модели. Более того, в нашей стране существуют проекты, реализация которых поможет создать системы, «превышающие эксамасштаб».
Создание ЦФВМ может быть выполнено силами отечественных предприятий и позволит занять лидирующие позиции в мире в области суперкомпьютеров. Есть и другие перспективные проекты, способные привести к практическим решениям экса- и зета-масштабного класса. По информации Института программных систем имени А. Айламазяна РАН 17 декабря 2023.
Новые суперкомпьютеры Яндекса названы в честь советских и российских учёных, которые внесли вклад в теорию машинного обучения и компьютерные науки. Суперкомпьютер «Червоненкис» в дата-центре Яндекса в Сасове, Рязанская область Яндекс использует суперкомпьютеры, чтобы обучать нейросетевые модели с миллиардами параметров. Такие модели настолько сложны, что для их обучения суперкомпьютер должен работать на пиковой мощности несколько дней, а иногда даже недель, но они позволяют лучше решать целый ряд задач. Например, благодаря им Переводчик точнее и быстрее переводит тексты, картинки и видео, а Директ отбирает более релевантную рекламу. Поиску языковые модели из семейства YaLM помогают составлять и ранжировать быстрые ответы, а Алисе — поддерживать живой диалог с пользователем. Каждая система объединяет больше сотни серверов, или узлов, связанных высокоскоростной сетью Infiniband HDR.
Что такое суперкомпьютеры и как они изменят нашу жизнь?
В российском подходе используется иной принцип: все коэффициенты определяются чисто математически. Суперкомпьютер в МГУ имени М.В. Ломоносова стал важным звеном в системе ведущих суперкомпьютерных центров России. Этот суперкомпьютер разработан на основе передовых технологий, и он войдёт в систему с ведущими научными центрами России.
Суперкомпьютеры
«Проскочило в новостях, что его мощность 400 петафлопс, и это был бы действительно второй-третий суперкомпьютер в мире по производительности, но это не так. Сейчас семь российских суперкомпьютеров входят в мировой рейтинг Топ500. Ректор МГУ некоторое время назад заявлял о том, что «МГУ-270» не имеет аналогов среди подобных систем в университетах мира и является вторым или третьим по мощности среди всех действующих суперкомпьютеров.
На пути к зеттафлопсу: в НЦФМ осваивают новые технологии для создания суперкомпьютеров
Им удалось объединить кремниевые технологии и спинтронику. Новое открытие позволит также снизить энергопотребление для гаджетов будущего.
А что нам показывают другие анализы? Человек — тоже система. Нельзя ли было предсказать развитие заболевание заранее с помощью других исследований? И это не единственный проект такого рода в Сколтехе. Так, группы Александра Берштейна, Евгения Бурнаева и Михаила Гельфанда совместно с клиницистами из ведущих медицинских организаций активно работают над проектом по разработке новых методов машинного обучения для диагностики, предсказания и профилактики развития психических заболеваний. Второе мнение По словам Максима Федорова, речь не идет о том, чтобы машина могла, фиксируя какие-то данные, самостоятельно предсказывать начало развития аномальных процессов в мозге.
В принципе суть работы не в том, чтобы заменить врача, а в том, чтобы создать для него цифрового советчика. Мое мнение: заменить врача в ближайшее время, в том числе, в диагностике, будет невозможно. Все-таки опыт человека, его мышление бесценны. Но цифровой советчик — это подсказка врачу: возможно, что-то идет не так. Однако машина не заменит врача в плане диагностики и тем более — в плане назначения лечения. Мне кажется, здесь можно использовать те же методы, что мы используем для предсказательного технического обслуживания сложных систем: это предсказательное обслуживание людей, или предсказательная диагностика». Руководитель Центра называет апгрейд суперкомпьютера Сколтеха «совместной историей», имея в виду взаимодействие университета и Фонда «Сколково»: «Машина закуплена для совместных проектов, чтобы резиденты Технопарка Фонда имели доступ к вычислительным мощностям. Одна из наших задач — развивать инфраструктуру больших данных и суперкомпьютерных вычислений всей экосистемы «Сколково».
То есть это экосистемное решение, - настаивает он. И это работа на перспективу, или, если можно так выразиться, на вырост. Только в ИТ-кластера «Сколково» 700 с лишним компаний. Большое количество из них так или иначе связано с машинным обучением, искусственным интеллектом, математическим моделированием. Сколтех и Технопарк «Сколково» создают для них инфраструктуру. И это, конечно, не замыкается на собственно ИТ-компании: биомедицинские стартапы, компании, занимающиеся разработкой промышленных технологий, - это также потенциальные пользователи обновленного суперкомпьютера. Николай Суетин приводит другой пример экосистемного взаимодействия. Известно, что в России для создания суперкомпьютеров используют импортную компонентную базу.
Большинство существующих машин имеет воздушное охлаждение: в дата-центрах шум стоит жуткий, а КПД использования очень низкое. Решение нашего участника, компании РСК-технологии дочка большой компании РСК : через небольшие трубочки вода подводится к теплоотводу, который непосредственно контачит с процессором. За счет того, что вода прокачивается только вокруг него, ее температура поднимается до 60 градусов, а потом во внешнем контуре охлаждается. Такие компьютеры стоят уже в нескольких местах, в частности, в Гидрометцентре, в Академии наук, Петербуржском политехническом университете. Совершенно бесшумная, достаточно эффективная штука, экономит энергию. В рейтинге «зеленых» компьютеров наш участник один из первых по этому параметру. Хотя используют продвинутые, но классические процессоры Intel. Это настолько интересная технология, что Intel имеет с ними соглашение о сотрудничестве и продвигает эти решения по всему миру.
В России есть компания, которая занимается развитием собственного процессора. Есть архитектуры х86, ARM и др. Чтобы пользоваться ими, надо покупать лицензию. А это open source: как есть open source в софте, так он появился в железе. RISC V — сообщество, куда выкладываются все решения, связанные с архитектурой микропроцессоров. В «Сколково» есть компания Sintacor, один из первых членов этого консорциума, что получилось не без нашего участия: когда компания Intel хотела вывезти свою лабораторию из Петербурга, часть людей с этим не согласилась, и мы предложили им сделать компанию, которая стала нашим участником и сейчас активно занимается разработкой новых процессоров на архитектуре RISC V». Качественные изменения Возвращаясь к суперкомпьютеру Сколтеха, наращивание его производительности приведет к качественным изменениям, уверен профессор Максим Федоров.
К примеру, теперь именно на них обучаются гигантские нейросетевые модели Поиска, Алисы и других наших сервисов. Может показаться, что для запуска такого кластера самое сложное — это купить вагон GPU-карточек. В условиях «чипагеддона» это отчасти правда, но нет, самое сложное не в этом. Тут-то и начинается наша история. Пробный подход к снаряду В 2019 году произошла так называемая «революция трансформеров»: был опубликован ряд статей, которые показали, что применение гигантских нейросетей-трансформеров даёт удивительные результаты на задачах анализа текста. В частности, эти сети очень хорошо подходят для решения задачи ранжирования документов по запросу и для машинного перевода. Более того, их применение не ограничивается сугубо языковыми задачами: трансформерная архитектура позволяет генерировать голос из текста и наоборот, предсказывать действия пользователя и многое другое. В общем, именно трансформеры сейчас определяют качество основных продуктов Яндекса. Если вам интересны детали, коллеги уже рассказывали на Хабре о внедрении этой архитектуры в нашем поиске. Но проблема была в том, что обучение таких моделей требует огромных вычислительных мощностей. Например, если обучать модель с нуля на обычном сервере, на это потребуется 40 лет, а если на одном GPU-ускорителе V100 — 10 лет. Но хорошая новость в том, что задача обучения легко параллелится, и если задействовать хотя бы 256 тех же самых V100, соединить их быстрым интерконнектом, то задачу можно решить всего за две недели. Сейчас мы такую задачу можем решить за несколько часов, но об этом позже. Мы попробовали собрать «нулевой» кластер буквально из того, что было под рукой. Результаты замеров показали низкий КПД масштабирования. В попытках понять причину придумали методику оценки, которая не требовала глубокого понимания алгоритма работы конкретного обучения. Достаточно построить график потребления энергии и обмена трафиком в одном масштабе. Обучение идет повторяющимися итерациями: 1. Каждый GPU получает свой batch и обсчитывает его синяя ступенька 2. Затем GPU обменивается по сети с соседями посчитанными результатами зелёная ступенька 3. GOTO 1 На графике сразу же виден корень проблемы. Не самый эффективный способ использовать железо, согласитесь. Эксперименты на таком кластере проводить можно, но считать что-то серьёзное — нереально. Поэтому стали собирать новое решение, «расшивая» все узкие места интерконнекта. Попутно столкнулись и с другими сложностями. Яндекс, в свою очередь, уже много лет живёт в дата-центрах IPv6-only. Фиксы, кстати, выкладываем в опенсорс. Первые кластеры Первый мини-кластер GPU, созданный специально под задачи применения трансформеров c учётом описанных выше узких мест, появился у нас во владимирском дата-центре летом 2020 года. В кластере было 62 узла по 8 GPU в каждом — всего 496 видеокарт. Казалось бы, сотни видеокарт! Но этого по-прежнему было мало для наших задач, хотя кластер и помог нам начать внедрять трансформеры для улучшения Поиска. Затем в другом нашем ДЦ, в городе Сасово в Рязанской области, появился первый большой кластер. Мы назвали его в честь Алексея Ляпунова — знаменитого математика, чьи работы лежат в основе кибернетики и теории машинного обучения. Пришлось искать причины и оптимизировать. Коллеги из локального офиса NVIDIA посоветовали потратить ещё несколько дней на замеры производительности, чтобы зарегистрировать кластер в списке Top500. Но в тот момент мы от этого отказались: торопились отдать кластер нашим ML-инженерам, чтобы загрузить его работой уже на новогодние праздники. Тем более, что тогда мы ещё не осознавали никакой практической пользы от замеров. Логично было распространить этот опыт и на GPU. Для размещения кластеров выбрали недавно переданные в эксплуатацию модули в дата-центрах Сасово и Владимира. Сами кластеры назвали соответственно «Червоненкис» в честь Алексея Червоненкиса, одного из крупнейших теоретиков машинного обучения и «Галушкин» Александр Галушкин — один из главных исследователей теории нейронных сетей. Размер обусловлен встроенной системой охлаждения. Они связывают GPU для вычислений. Это продиктовано энергопотреблением — до 20 кВт. Cloud, но об этом поговорим в другой раз. Обратите внимание на отсутствие любых декоративных пластиковых элементов. Зато есть много свободного места, чтобы воздух мог обдувать огромные радиаторы GPU в центре, именно за счёт этого получается экономить электричество на охлаждении.
Значительная часть мощности машины задействована в видеокартах, которые позволят решать сложные задачи в различных областях науки, включая математику, физику и биологию. Исполняющий обязанности директора ИМ СО РАН Андрей Миронов отметил, что новый компьютер способен моделировать объёмные процессы и предсказывать поведение сложных математических систем. Напомним, ранее в Новосибирске была разработана система защиты от дронов.
Самый мощный суперкомпьютер в России
Одним из предназначений суперкомпьютера российского Министерства обороны является моделирование и прогнозирование развития военных конфликтов. Суперкомпьютер в МГУ имени М.В. Ломоносова стал важным звеном в системе ведущих суперкомпьютерных центров России. Таким образом, новый суперкомпьютер должен стать третьим по мощности в России и войти в мировой топ-500, сообщает C-News. На днях на выставке «Цифровая индустрия промышленной России» в Нижнем Новгороде, доцент кафедры компьютерных систем и сетей МГТУ имени Баумана Алексей Попов представил 24-ядерный микропроцессор «Леонард Эйлер» и суперкомпьютер «Тераграф». Российский президент Владимир Путин сообщил, что необходимо не менее чем на порядок нарастить мощности суперкомпьютеров России.
Путин поручил увеличить вычислительные мощности суперкомпьютеров в России
В России самый мощный из общественно известных отечесвтенных суперкомпьютеров — "Червоненкис" находится в Сасове Рязанская область. Там же находится и "Ляпунов". Суперкомпьютер "Галушкин" находится во Владимире, а "Кристофари" и "Кристофари Нео" в Москве, в Сколково, следует из данных открытых источников. Организатором мероприятия выступает Сбербанк.
Суперкомпьютер "Галушкин" находится во Владимире, а "Кристофари" и "Кристофари Нео" в Москве, в Сколково, следует из данных открытых источников.
Организатором мероприятия выступает Сбербанк. В 2023 году конференция проходит в Москве с 22 по 24 ноября.
Нам еще далеко до этого. С аналогичным заявлением выступил глава американского производителя чипов Nvidia. И я сам говорил в 2017 году, что в 2022 году мы увидим первые компьютеры, которые выглядят так, как будто они думают независимо — даже если на самом деле это не так. Этот прогноз оказался верным для ChatGPT. Даже если система будет запрограммирована этически обоснованным образом — к примеру, с учетом принципа, что жертв среди гражданского населения следует избегать любой ценой.
Интересно, что разработчики не успели измерить реальную производительность на всём смонтированном объёме оборудования, из-за чего Aurora не смогла превзойти производительность системы Frontier. Конечно, за полгода инженеры решат эту проблему, и установка Aurora покажет лидерскую производительность, близкую к 2 EFlops. И, скорее всего, в июне 2024 года она займет первое место в рейтинге, потеснив нынешнего лидера — суперкомпьютер Frontier в Национальной лаборатории Oak Ridge National Laboratory, США. Если производитель вычислительных компонент в системе Aurora — компания Intel, то инфраструктурная часть интерконнект, электропитание, охлаждение, компоновка обеспечена компанией Hewlett Packard Enterprise — так же как и в системе Frontier. Третье место в текущем рейтинге занимает система Eagle, созданная компанией Microsoft, и собранная из совершенно стандартных модулей, которые штатно используются компанией в её центрах обработки данных для организации облачного сервиса Microsoft Azure.
Установка создана всего за полгода, что в четыре раза быстрее средней продолжительности создания систем уровня Top1, то есть это своеобразный «временной» рекорд. Таким образом, тройка лидеров иллюстрирует всё многообразие технологических подходов к созданию систем эксамасштабного уровня, то есть с производительностью более 1018 Flops. В рейтинге Top500 сохраняется тенденция жёсткого расслоения систем. Производительность первой системы в 500 раз больше производительности последней. И этот разрыв растёт из года в год.
Кризис, с которым столкнулась суперкомпьютерная отрасль мира в 2016—2017 годах, сейчас преодолён: сегодня можно сказать, что производительность высших систем будет вырастать в 1000 раз за 17—18 лет против 23—24 лет в проблемные годы.
Самые производительные
- Top50 | Суперкомпьютеры
- Один из самых мощных суперкомпьютеров в России работает в СевГУ
- Фотонный суперкомпьютер запатентовали в России
- Суперкомпьютер Сколтеха войдет в десятку самых мощных в РФ
- Национальный суперкомпьютерный форум. Краткая информация