Так называемые «горячие чипы» NVIDIA на самом деле являются «горячими платформами»

Sep 03, 2024

Оставить сообщение

 

NVIDIA фокусируется на инженерных проектах на уровне систем и центров обработки данных, направленных на создание передовых систем и платформ, способных решать сложные задачи генеративного ИИ.

 

Ранее в этом месяце NVIDIA столкнулась с редкими плохими новостями, когда появились сообщения о том, что долгожданные ускорители GPU "Blackwell" компании могут быть задержаны на целых три месяца из-за недостатков конструкции. Однако представитель NVIDIA заявил, что все идет по плану. Некоторые поставщики указали, что ничего не изменилось, в то время как другие отметили некоторые обычные задержки.

 

Инсайдеры отрасли ожидают, что, когда в следующую среду NVIDIA опубликует финансовые результаты за второй квартал 2025 финансового года, пользователи получат более подробную информацию о состоянии Blackwell.

 

Сообщается, что чипы Blackwell-B100, B200 и GB200- станут изюминкой конференции Hot Chips этого года, которая пройдет на следующей неделе в Стэнфордском университете в Калифорнии. NVIDIA представит свою архитектуру, подробно расскажет о некоторых новых инновациях, расскажет об использовании ИИ в проектировании чипов и обсудит исследования в области жидкостного охлаждения в центрах обработки данных, используемых для выполнения этих растущих рабочих нагрузок ИИ. По словам директора NVIDIA по продуктам ускоренных вычислений Дэйва Сальватора, компания также продемонстрирует чипы Blackwell, которые уже работают в одном из ее центров обработки данных.

 

Blackwell chips

▲ Чипсы Блэквелл

 

Многое из того, что NVIDIA обсуждает о Blackwell, уже известно, например, Blackwell Ultra GPU, который будет запущен в следующем году, и следующее поколение Rubin GPU и Vera CPU, которые начнут выпускаться в 2026 году. Однако Сальватор подчеркнул, что, говоря о Blackwell, важно рассматривать его как платформу, а не как отдельный чип. Сальватор высказал эту точку зрения на брифинге для журналистов и аналитиков на этой неделе в рамках подготовки к Hot Chips.

 

«Когда вы думаете о NVIDIA и платформах, которые мы создаем, GPU, сетевое взаимодействие и даже наш CPU — это только начало», — сказал он. «Мы занимаемся проектированием на уровне системы и центра обработки данных, чтобы создать эти системы и платформы, которые действительно могут выйти и справиться с этими действительно сложными задачами генеративного ИИ. Мы видели, как со временем растет масштаб моделей, и большинство приложений генеративного ИИ должны работать в режиме реального времени, а требования к выводу резко возросли за последние несколько лет. Вывод большой языковой модели в реальном времени требует нескольких GPU, а в ближайшем будущем для этого потребуется несколько серверных узлов».

 

ANNOUNCING NVIDIA BLACKWELLPLATFORM FOR TRILLION-PARAMETER SCALE GENERATIE AI

 

Сюда входят не только графические процессоры Blackwell и центральные процессоры Grace, но и чипы коммутатора NVLink, процессоры Bluefield-3 DPU, сетевые карты ConnextX-7 и ConnectX-8, коммутаторы Spectrum-4 Ethernet и коммутаторы Quantum-3 InfiniBand. Сальватор также предоставил различные сведения о коммутаторе NVLink (ниже), вычислительных устройствах, Spectrum-X800 и Quantum-X800.

 

NVIDIA представила долгожданную архитектуру Blackwell на своей конференции GTC 2024 в марте этого года, и поставщики гипермасштабных решений и OEM-производители быстро подключились. Компания нацелена на быстрорастущую область генеративного ИИ, где большие языковые модели (LLM) становятся еще более массивными. Llama 3.1 от Meta, выпущенная в июне, является свидетельством этой тенденции, представляя модель с 4,05 триллионами параметров. Сальватор отметил, что по мере того, как LLM становятся больше, сохраняется спрос на вывод в реальном времени, что требует большего количества вычислений и меньшей задержки, что требует платформенного подхода.

 

«Как и в случае с большинством других LLM, ожидается, что сервисы, работающие на основе этой модели, будут работать в режиме реального времени. Чтобы добиться этого, вам понадобится несколько графических процессоров. Задача состоит в том, как найти огромный баланс между высокой производительностью графических процессоров, высокой степенью использования графических процессоров и предоставлением хорошего пользовательского опыта для конечных пользователей, использующих эти управляемые ИИ сервисы», — сказал он.

 

 

Жажда скорости

 

С Blackwell NVIDIA удвоила пропускную способность каждого коммутатора, увеличив ее с 900 ГБ/с до 1,8 ТБ/с. Технология Scalable Hierarchical Aggregation and Reduction Protocol (SHARP) компании обеспечивает больше вычислений в системах, которые фактически находятся внутри коммутаторов. Она позволяет нам разгрузить некоторые задачи с графического процессора, чтобы повысить производительность, а также помогает сгладить сетевой трафик через структуру NVLink. Это инновации, которые мы продолжаем внедрять на уровне платформы.

 

Многоузловой GB200 NVL72 — это шасси с жидкостным охлаждением, которое соединяет 72 графических процессора Blackwell и 36 центральных процессоров Grace в стоечном исполнении. NVIDIA утверждает, что он обеспечивает более высокую производительность вывода для триллионов параметров LLM, таких как GPT-MoE-1.8T, эффективно функционируя как один графический процессор. Его производительность в 30 раз выше, чем у системы HGX H100, а скорость обучения в четыре раза выше, чем у H100.

 

NVIDIA также добавила собственную поддержку FP4, используя Quasar Quantization System компании, которая обеспечивает ту же точность, что и FP16, при этом сокращая использование полосы пропускания на 75%. Quasar Quantization System — это программное обеспечение, которое использует Transformer Engine от Blackwell для обеспечения точности. Salvator продемонстрировал это, сравнив изображения генеративного ИИ, созданные с использованием FP4 и FP16, с незначительной или нулевой заметной разницей между ними.

 

Используя FP4, модели могут использовать меньше памяти и работать даже лучше, чем FP8 в графическом процессоре Hopper.

 

 

Системы жидкостного охлаждения

 

Что касается жидкостного охлаждения, NVIDIA представит метод прямой подачи теплой воды от кристалла к кристаллу, который может сократить энергопотребление центра обработки данных на 28%.

 

Сальватор сказал: «Что интересно в этом методе, так это некоторые из его преимуществ, которые включают повышенную эффективность охлаждения, более низкие эксплуатационные расходы, более длительный срок службы сервера и возможность повторного использования собранного тепла для других целей. Это определенно помогает повысить эффективность охлаждения. Один из способов, которым это достигается, как следует из названия, заключается в том, что эта система фактически не использует охладители. Если вы подумаете о том, как работает холодильник, он работает довольно хорошо. Но он также требует электричества. Приняв это решение с теплой водой, нам не нужно использовать охладители, что экономит нам энергию и снижает эксплуатационные расходы».

 

Другая тема — как NVIDIA использует ИИ для разработки своих ИИ-чипов с использованием Verilog, языка описания оборудования, который использовался в течение сорока лет для описания схем в коде. NVIDIA продвигает эту работу с помощью автономного агента Verilog под названием VerilogCoder.

 

AI chips

 

Он сказал: «Наши исследователи разработали большую языковую модель, которая может ускорить создание кода Verilog, описывающего наши системы. Мы будем использовать ее в будущих поколениях продуктов, чтобы помочь в создании этих кодов. Она может делать многое. Она может помочь ускорить процесс проектирования и проверки. Она может ускорить ручные операции проектирования и принципиально автоматизировать многие задачи».

 

 

 

Отправить запрос