Современные тренды в высокопроизводительных вычислениях

ПостНаука и Сколковский институт науки и технологий представляют курс «Математическое моделирование», составленный на основе магистерской программы «Вычислительные системы в науке и технике».

Для понимания высокопроизводительных вычислений и больших данных нужно обратиться к тому, как человечество продвигается по пути своего развития. Важно указать на четыре столпа науки. Прежде всего, это измерения, которые мы производим с помощью большого количества сенсоров и инструментов, а также за счет наших ощущений, которые позволяют нам судить, что такое реальность. Затем — построение модели. Есть математический аппарат, по которому строятся модели и создаются компьютерные программы. По компьютерным программам вычисляются предсказания. И по этим предсказаниям генерируется новая реальность с помощью данных, которые создаются на компьютере и могут быть проанализированы точно так же, как анализируются данные с сенсоров и научных инструментов. Эти четыре столпа науки составляют основу нашей научной и технологической деятельности.

Высокопроизводительные вычисления являются элементом в этой деятельности, позволяющим нам понимать модели, создавать вычисления и генерить данные, которые сравниваются с реальностью и дают нам возможность понять эту реальность. Большие данные — это те данные, которые по количеству или сложности превышают возможности обработки. Это либо очень много данных в одном месте, либо эти данные распределены географически. Источник этих данных — результаты научной деятельности как инструменты, данные моделирования или данные от технологических процессов.

Высокопроизводительные вычисления — это задачи с вычислительным объемом, недоступным самым быстрым суперкомпьютерам. Вычислительный объем — это количество операций, необходимых для получения решения. Суперкомпьютеры — это компьютеры, которые находятся в списке ТОП500. В нем есть график увеличения производительности процессоров по вертикали и год, когда компьютер был установлен, для того чтобы на нем считать. На этой картинке есть три кривые. Красная показывает номинанта на первую позицию в этом списке. Это всегда самый быстрый компьютер в мире на момент установки. Зеленая — это самый медленный компьютер в списке, номер 500. И сумма показана синей линией. На сегодняшний день мы почти приблизились к экзафлопу суммарной производительности всех компьютеров на Земле.

Компьютеры в этом списке измеряются с помощью программы, которая решает линейные уравнения. Решение линейных уравнений — это очень распространенный метод решения научных задач, но не единственный. Поговорим о том, что означает эффективность компьютера и какие проблемы можно решать на разных компьютерах. Сами компьютеры строятся по кластерной архитектуре — это наиболее общий метод, который сейчас все применяют. Кластерная архитектура состоит из собственно узлов. Это обычные процессоры и память, которые могут быть использованы и в домашних системах. Эти узлы соединяются в высокопроизводительной сети определенной топологии, то есть соединения, которые обладают размерностью, скоростью, необходимой для того, чтобы узлы могли обмениваться между собой данными.

По списку ТОП500 рассмотрим четыре первых номинанта списка 2017 года. Первые два номинанта — это компьютеры, установленные в Китае. Начиная с компьютера номер два там используются технологии Intel и векторный ускоритель Intel. В свое время китайцы собирались апгрейдировать этот компьютер с более новыми технологиями Intel. Это было запрещено американским правительством, поэтому они создали свой собственный компьютер со своими собственными процессорами, и он занимает теперь первую строчку в ТОП500. На позиции номер три компьютер в Швейцарии, который использует технологии Intel, графические ускорители для получения своей производительности. И на четвертом месте компьютер в США. Он был номинантом первого места 2011 года. Там используются тоже ускорители фирмы Intel, но предыдущего поколения.

Поколения отличаются друг от друга очень важным параметром — параметром количества вычислений на ватт. Если в 2011 году этот параметр равнялся 3–3,5 гигафлопа на ватт, то мы уже видим в 2016 году 11 гигафлоп на ватт, и самый большой компьютер на Земле — около 8 гигафлоп на ватт. Эффективность решения системы линейных уравнений составляет около 70%. В то же время решение задач теплопроводности (conjugate gradient — то, что здесь называется HPCG) составляет только около 1–2% эффективности. Это значит, что большая часть мощности компьютера тратится не на то, чтобы вычислять, а на что-то еще. И вот это печально. Это одно из направлений того, как мы развиваем высокопроизводительные вычисления, добиваясь эффективности работы компьютеров.

Трудности получения суперкомпьютеров экзафлопного уровня основаны на ограничениях, которые появились в 2006 году. Вот два наблюдения, которые важно иметь в виду: закон Мура, который говорит о том, что удвоение плотности транзисторов на чипе происходит каждые два года, и закон масштабирования Деннарда, который говорит о том, что при уменьшении ширины проводника уменьшается напряжение и ток, увеличивается частота и увеличивается производительность структур транзисторов в чипе. Увеличение производительности компьютеров до 2006 года было связано с масштабированием Деннарда и законом Мура как геометрическим воплощением уменьшения ширины проводника.

Начиная с 2006 года масштабирование Деннарда перестало работать. Дело в том, что ток утечки достигает до 40% и заставляют уменьшать потребление и уменьшать скорость, с которой работают транзисторы в чипе. Поэтому производительность чипов не растет, а растет по закону Мура все еще количество транзисторов в процессорах.

На графике показаны изменения в масштабах и производительности в зависимости от ввода в эксплуатацию процессоров. Зеленым показано количество транзисторов в чипе. У нас уже больше миллиарда транзисторов на чипе, и закон Мура продолжает действовать, и их будет еще больше. На синем графике показана тактовая частота процессоров. Она стагнирует и остается на уровне где-то трех гигагерц. Синим показано электрическое потребление процессоров. Оно остается тоже на прежнем уровне, и это так и должно оставаться. Красным показано количество инструкций, приведенное к тактовой частоте. Этот параметр остается на том же уровне, а это значит, что производительность процессоров не увеличивается.

В 2017 году был выведен на рынок процессор с почти 4,5 миллиардами транзисторов. Он используется в телефонах фирмы Apple. В 2018–2019 годах мы ожидаем возникновения, прихода процессоров с технологией 7 нанометров, то есть транзисторов будет еще больше. Но производительность как приведенная к количеству вычислений на тактовую частоту останется тем же самым. Здесь проявляется ограничение, связанное с тем, что масштабирование Деннарда больше не работает. План США — построить компьютер в 2018 году фирмой IBM с именем Summit. И собственно целевая система на один экзафлоп.

Количество вычислительных устройств в будущей системе 2018 года увеличивается на порядок по сравнению с китайским процессором. Это естественно, потому что за этим стоит и масштабирование Мура. Оно должно будет еще увеличиться, чтобы дойти до уровня экзафлопа. Но самый важный параметр, который стоит рассмотреть, — это количество операций на электрическую мощность, которая используется, чтобы этот компьютер работал. Китайский компьютер работает с количеством операций на ватт 8 гигафлоп на ватт. Предполагаемый компьютер в 2018 году будет работать с 14 гигафлопами на ватт. Чтобы получить целевую систему, этот параметр нужно улучшить еще в 5–6 раз. Возможно, технология и дойдет до этих значений с помощью закона Мура и улучшения производительности путем перепрограммирования систем, увеличения эффективности программ. Это мы увидим в ближайшие годы. Сейчас нам важно посмотреть, как улучшается и увеличивается производительность с точки зрения архитектуры систем.

Рассмотрим смещение акцентов в высокопроизводительных вычислениях и эти четыре столпа науки, о которых мы говорили раньше. Суперкомпьютеры строятся по уже известной схеме из достаточно широкодоступных узлов — это процессоры, графические ускорители, которые могут быть в единичном экземпляре тоже и в настольных системах, домашних компьютерах. Интерконнект, который достаточно специален, но по своим характеристикам будет приближаться к тому, что используется в интернете и в более доступных компьютерах. Вычисления, в частности высокопроизводительные вычисления не слишком большого объема, можно заказать в облачных ЦОДах.

Высокопроизводительные вычисления на суперкомпьютерах остаются актуальными, но акцент смещается на обработку данных, которые производятся высокопроизводительными вычислениями, инструментами и технологическими процессами. Обработка данных выделяется как самостоятельная дисциплина и становится во главу угла для нашей деятельности в этой области. А высокопроизводительные вычисления скорее рассматриваются как возможность увеличить эффективность уже существующих систем. И как технология будет давать нам новые процессоры, увеличивать эффективность работы этих новых устройств с помощью программирования, с помощью увеличения скорости данных, перепаковки и собственно эффектов деятельности, не имеющей отношения к технологии как таковой.

Рассматривая перспективные технологии на горизонте до пяти лет, следует отметить направление упаковки, новой упаковки систем, которая использует трехмерную координату. До сих пор все чипы использовались как одномерные, двухмерные структуры на подложке, когда фиксируются транзисторы и выводятся на системную плату все те сигналы, которые нужны, чтобы использовать этот процессор или другие электронные структуры. Штабелирование чипов, штабелирование внутри одного корпуса — это новое направление, которое позволяет уменьшить размер проводников, а значит, уменьшить потери, увеличить эффективность работы устройств. Потому что потери на передачу сигналов, на движение данных сейчас играют гораздо большую роль, чем потери и электричество, которые требуются для производства вычислений.

Чтобы уменьшить потери передачи, трехмерные структуры необходимы. И уже есть процессоры, которые объединяют в одном корпусе как память, так и вычислительные элементы. Таких упаковок будет все больше и больше. И это развивается как самостоятельное направление, в котором могут соединяться не только процессоры и память, но и процессоры и ускорители различного рода, а также другие структуры, которые позволят нам увеличить эффективность работы машин высокопроизводительных вычислений и других компьютеров.

К этому добавляется новый аспект — иерархия памяти, связанная с энергонезависимой памятью. Энергонезависимая память уже существует как флеш-память, которая может работать вместе или вместо магнитных накопителей. Речь идет о том, что новая энергонезависимая память будет работать наравне с оперативной памятью компьютера. Это дает возможности для улучшения эффективности работы компьютеров для задач, как они возникают в высокопроизводительных вычислениях.

В перспективе на горизонте до десяти лет мы видим совсем новое направление по разбивке архитектуры процессоров и компьютеров. До сегодняшнего времени была жесткая связка между процессором, памятью, периферийными устройствами. Всегда нужен был процессор, чтобы управлять всеми добавочными элементами. Уже существуют в лабораториях архитектуры, которые выделяют память как отдельное независимое устройство, выделяют ускорители как независимый ресурс, позволяют создавать соединения между ними по объединенным протоколам. Это направление в архитектуре, возможно, позволит нам создать более эффективные компьютеры, чем-то, что существует сегодня.

Фотоника — одно из перспективных направлений, которое будет очень широко использоваться в ближайшие годы. Сейчас волноводы используются для передачи сигналов на расстояние больше одного метра. За счет увеличения скорости передачи и увеличения объема передачи волноводы начнут играть ведущую роль на более коротких расстояниях, там, где сейчас более выгодно использовать медные соединения. Чем больше скорость и чем больше объем, тем выгоднее волноводы. В перспективе до 2025 года мы видим объединение оптических элементов с элементами логики внутри корпуса чипа. Волноводы могут начинаться от корпуса чипа и соединять структуры как на материнской плате, так и в суперкомпьютерах, соединять узлы между собой.

Новый элемент фотоники — это вычисления с помощью преобразований света. Если до сих пор фотоника использовалась только для передачи информации, новая область — это вычисления с помощью преобразований света. Такие математические алгоритмы, как преобразование Фурье, естественным образом перекладываются на элементы фотонных преобразований. И мы в будущем увидим ускорители, встроенные в компьютеры классического типа для вычисления такого рода алгоритмов.

Альтернативные технологии на горизонте больше десяти лет — это прежде всего возможности создания вычислительных устройств, объединенных с памятью. То, что невозможно было до сих пор по технологии создания процессоров и памяти, — это две различные технологии с упаковкой в 3D. Использование новых упаковочных технологий позволит нам приблизить процессор еще больше к памяти и, возможно, объединить процессор вместе с логикой, которая управляет памятью.

Глубокое охлаждение процессоров позволит возродить масштабирование Деннарда. Дело в том, что токи утечки сейчас ограничивают это масштабирование, оно становится маленьким с уменьшением температуры. И в уходе на -100 градусов или к 77 градусам Кельвина — температуре жидкого азота — позволяет создать процессоры с очень высокой тактовой частотой. Возможно использование новых элементов и материалов в этом режиме. Мы можем получить гораздо более высокопроизводительные системы, используя глубокое охлаждение процессоров.

Большое внимание сейчас уделяется квантовым технологиям. В квантовых технологиях биты, которые теперь называются кубиты, принимают значения нуль и единица, как и в классических системах, но теперь их промежуточное состояние описывается волновой функцией, которая является суперпозицией нуля и единицы. Для одного кубита это неважно. Для большого количества таких устройств промежуточные состояния, когда они связаны между собой, позволяют мгновенно производить вычисления. И в этом будущее вычислительных машин, когда мы найдем возможности применить эту технологию.

По смене ориентиров вычислительных технологий, конечно, продолжается тренд на улучшение компьютеров и увеличение производительности суперкомпьютеров. Мы видим принципиально новые подходы в этой области. Но особенно важно подчеркнуть смещение фокуса использования вычислительных технологий в обработку данных. Главный потребитель обработки данных — это сектор услуг, такие гиганты, как Google и Amazon, которые вводят свои собственные технологии и проекты с обработкой данных. Это видео, голос, другие технологии, позволяющие оформить сферу услуг. Там есть большой задел по большим данным. И объединение больших данных с вычислениями является главным направлением нашей области в данный момент. Конвергенция задач обработки данных, сетевой передачи и объединение данных в единый функционал с вычислениями — вот главное столбовое направление вычислительных технологий сегодня.