Синьчуаньский сервер | Поставщик оборудования для корпоративных серверов
По-прежнему самый распространенный графический процессор для обучения искусственному интеллекту в производственных центрах обработки данных.
H100 попадает в заголовки газет. A100 выполняет свою работу. Несмотря на запуск H100, NVIDIA A100 80 ГБ остается наиболее широко используемым графическим процессором для обучения искусственному интеллекту в корпоративных центрах обработки данных — и не зря. Он поддерживает тензорные ядра FP64 для HPC., МНЕ (Многоэкземплярный графический процессор) для безопасного многопользовательского вывода, и NVLink для масштабного обучения с использованием нескольких графических процессоров. Примерно 55-65% от цены H100, это прагматичный выбор для обучения моделей параметров 13B-70B и выполнения смешанных рабочих нагрузок HPC и AI..
Технические характеристики
| Параметр | Спецификация |
|---|---|
| Архитектура графического процессора | NVIDIA Ампер (GA100) |
| Цвета CUDA | 6,912 |
| Тензорные ядра | 432 (3третий генерал) |
| Память | 80 ГБ HBM2e |
| Пропускная способность памяти | 2,039 ГБ/с (HBM2e, 5 стопки) |
| Шина памяти | 5,120-кусочек |
| Интерфейс | PCIe 4.0 х16 (или SXM4 для NVLink) |
| НВЛинк | 600 ГБ/с (вариант PCIe: через мост NVLink для 2 графические процессоры; вариант SXM4: вплоть до 8 графические процессоры) |
| Производительность ФП64 (Тензорное ядро) | 19.5 терафлопс |
| Производительность ФП32 | 19.5 терафлопс |
| Тензорное ядро TF32 (с редкостью) | 312 терафлопс (624 терафлопс с разреженностью) |
| Тензорное ядро FP16 (с редкостью) | 312 терафлопс (624 терафлопс с разреженностью) |
| Тензорное ядро INT8 (с редкостью) | 624 ТОПЫ (1,248 TOPS с разреженностью) |
| МНЕ (Многоэкземплярный графический процессор) | Вплоть до 7 изолированные экземпляры графического процессора (10/20/40/80 ГБ каждый) |
| TDP (Макс) | 300Вт (PCIe) / 400Вт (SXM4) |
| Фактор формы | PCIe: двухслотовый FHFL, пассивное охлаждение | SXM4: мезонинный модуль |
| Разъем питания | 1x PCIe CEM 8-контактный разъем питания процессора (вариант PCIe) |
| ECC-память | Полное ECC HBM2e (не является обязательным — всегда включено для целостности данных) |
| Физические размеры | PCIe: 267 Икс 112 мм (двухслотовый), 1.24 кг |
| Рабочая температура | 0от °С до 45 °С |
| Гарантия | 3-год (производитель) |
A100 против H100 против L40S — когда выигрывает каждый
| Фактор принятия решения | А100 80 ГБ | H100 80 ГБ | L40S 48 ГБ |
|---|---|---|---|
| Лучше всего для полноценного обучения (70Модели B+) | Хорошо с NVLink | Лучший. РП8 + Трансформаторный двигатель + НВСвитч | Не рекомендуется |
| Лучше всего для вывода (7Б-13Б) | Хороший. 80высота ГБ | Излишнее убийство для большинства выводов | Лучшее соотношение цены и качества |
| Лучшее для высокопроизводительных вычислений (ФП64) | Лучший. Тензорные ядра FP64 = 19.5 терафлопс | Ограниченная версия FP64. A100 — графический процессор HPC. | Нет тензорных ядер FP64 |
| Лучшее для меня / мультиарендатор | Отличный. 7 Экземпляры ME | Отличный. 7 Экземпляры ME, более высокая пропускная способность | Не поддерживается |
| NVLink с несколькими графическими процессорами | Вплоть до 8 графические процессоры (SXM4) | Вплоть до 8 графические процессоры (SXM5 + НВСвитч) | Не поддерживается |
| Память | 80 ГБ HBM2e | 80 ГБ HBM3 | 48 ГБ GDDR6 ECC |
| Пропускная способность памяти | 2.0 ТБ/с | 3.35 ТБ/с | 864 ГБ/с |
| Цена (относительно H100) | ~55-65% | 100% (базовый уровень) | ~25-30% |
Где A100 все еще превосходит H100
У A100 есть одна возможность, которую H100 намеренно ограничил.: полноскоростной FP64. H100 обеспечивает производительность ~34 терафлопс FP64., но только на своих тензорных ядрах и на сниженных скоростях по сравнению с A100. Для рабочих нагрузок, требующих математических вычислений двойной точности — вычислительная гидродинамика., молекулярная динамика, моделирование климата, моделирование финансовых рисков — A100 на самом деле быстрее в расчете на доллар, чем H100. Если ваша рабочая нагрузка включает в себя как обучение искусственному интеллекту, так и традиционные высокопроизводительные вычисления, A100 может подойти лучше даже в той же ценовой категории.
МНЕ: Функция, которая делает A100 облачным графическим процессором
Мультиэкземплярный графический процессор разделяет один A100 на до 7 полностью изолированные экземпляры графического процессора, каждый со своей выделенной памятью, кеш, и вычислительные ресурсы. Поставщик облачных услуг может продать один физический A100 семи разным клиентам с гарантированной изоляцией производительности.. Предприятие может запускать семь различных моделей вывода на одном графическом процессоре без перекрестных помех.. MIG поддерживается на A100, но устарел на L40S — если MIG имеет значение для вашего развертывания., А100 (или H100) это единственный путь.
Совместимые серверные платформы
Вариант PCIe, совместимый с Dell PowerEdge R760xa, 770 рэндов, Р7715, XE9680, xFusion G5500 V7, 2288Х V7, и любой сервер с мощностью графического процессора 300 Вт и достаточным воздушным потоком корпуса.. Для варианта SXM4 требуется SXM4-совместимая материнская плата — свяжитесь с нашей командой инженеров для проверки совместимости платформы..
Источник через Синькуань
Мы поставляем графические процессоры A100, предварительно установленные в серверах Dell и xFusion., или в виде комплектов обновления для существующих платформ. Прямые цены с завода, 3-год гарантии, глобальная доставка, и бесплатная консультация по архитектуре графического процессора.
