Синьчуаньский сервер | Поставщик оборудования для корпоративных серверов
Инфраструктура искусственного интеллекта не должна обходиться дорого
Каждый ИТ-руководитель, с которым мы разговариваем, задает один и тот же вопрос.: как построить стек искусственного интеллекта, не тратя при этом весь бюджет центра обработки данных. Ответ не в том, чтобы покупать самый большой сервер с графическим процессором на рынке., оно соответствует вашему оборудованию вашему фактическому профилю рабочей нагрузки ИИ..
Занимаетесь ли вы точной настройкой моделей с открытым исходным кодом, выполнение вывода в масштабе, или обучение с нуля, Серверы Dell PowerEdge предлагают многоуровневый подход, который масштабируется от узлов с одним графическим процессором для проверки концепции до 8-процессорных кластеров H100..
Спектр рабочих нагрузок ИИ
| Рабочая нагрузка | Потребности графического процессора | Рекомендуемая платформа | Диапазон стоимости |
|---|---|---|---|
| Тонкая настройка модели (7Б-13Б) | 1-2x NVIDIA L40S или A100 | R760xa с 2x L40S 48 ГБ | Средний уровень |
| Обслуживание выводов (производство) | 1-4x NVIDIA L40S или H100 | R760xa с 4x L40S | От среднего до высокого |
| Полное обучение (70B+) | 8x NVIDIA H100 или H200 SXM | XE9680 с 8x H100 80 ГБ | Высокий |
| Трубопроводы и вставки RAG | 1-2x NVIDIA A100 или L40S | R760xa с 2x A100 | Средний уровень |
| Гибрид HPC и ИИ | 2-4x NVIDIA H100 или MI300X | R770 с 2 графическими процессорами DW мощностью 450 Вт | Высокий |
Точка входа: PowerEdge R760XA
R760xa — это платформа Dell высотой 2U с графическим ускорением, построенная на масштабируемых процессорах Intel Xeon 4-го и 5-го поколения.. При поддержке до 4 графические процессоры двойной ширины, он идеально подходит для большинства корпоративных задач искусственного интеллекта, включая тонкую настройку., обслуживание выводов, и развертывания RAG, без стоимости системы с 8 графическими процессорами.
Ключевые характеристики: 2x Xeon Масштабируемый (вплоть до 64 ядра), 32 DDR5 DIMMS (8 ТБ макс. 5600 МТ/с), вплоть до 24 Диски NVMe U.2, 8 Слоты PCIe Gen4 и Gen5. Воздушное охлаждение и конструкция шасси Smart Flow., не требуется дорогостоящее жидкостное охлаждение.
Максимальная пропускная способность: PowerEdge R770 с процессором Xeon 6
Для команд, расширяющих границы производительности вывода ИИ, R770 оснащен Intel Xeon 6 процессоры с производительностью до 144 Электронные ядра или 86 P-ядер на сокет. С поддержкой 2 графических процессоров двойной ширины мощностью 450 Вт и до 40 Диски E3.S Gen5 NVMe, он создан для высокопроизводительных конвейеров вывода.
Память R770 DDR5, работающая на 6400 МТ/с обеспечивает запас пропускной способности, необходимый для крупных моделей внедрения и векторных баз данных..
Флагманское обучение: PowerEdge XE9680, 8 графические процессоры
Когда ваша команда перейдет от тонкой настройки к полному обучению модели, XE9680 — это платформа. С 8 графическими процессорами NVIDIA H100 или H200 SXM5, соединенными через NVLink и NVSwitch., плюс до 10 слоты PCIe Gen5 на передней панели, он обрабатывает модели с миллиардом параметров без узких мест в инфраструктуре.
Ключевое преимущество: 8-процессорная структура графического процессора создает единый пул памяти емкостью до 1.5 ТБ HBM3, важно для больших языковых моделей, которые не помещаются на одном графическом процессоре.
Альтернатива AMD: PowerEdge R7715 с EPYC 9005
Для рабочих нагрузок искусственного интеллекта, связанных с высокопроизводительными вычислениями, R7715 содержит AMD EPYC 9005 процессоры с производительностью до 160 ядра в однопроцессорном форм-факторе 2U с поддержкой 3 графических процессоров двойной ширины мощностью 450 Вт.. Идеально подходит для команд, отдающих приоритет плотности ядер над тактовой частотой каждого ядра..
Три распространенные ошибки в инфраструктуре искусственного интеллекта
- Избыточное выделение памяти графического процессора: L40S емкостью 48 ГБ поддерживает большинство моделей с параметрами 13B.. Не платите за H100 80 ГБ, кроме случаев обучения моделей 70B+ или обслуживания в условиях экстремального параллелизма..
- Недостаточная пропускная способность хранилища: Хранилище NVMe Gen5 в форм-факторе E3.S не является обязательным для обучения искусственному интеллекту.. Это разница между графическими процессорами на 90% использование и графические процессоры, ожидающие данных.
- Игнорирование сети: Для многоузлового обучения требуется как минимум 100GbE или InfiniBand.. Бюджет на сетевые адаптеры включен в ту же закупку, что и графические процессоры..
Создайте свой стек искусственного интеллекта с помощью Xincuan
Мы настраиваем серверы Dell PowerEdge AI в соответствии с вашей рабочей нагрузкой., от узлов POC с одним графическим процессором до 8-процессорных обучающих кластеров H100. Прямые цены с завода, 3-гарантия производителя год, пользовательская конфигурация, и глобальная логистика с полной страховкой. Включена бесплатная консультация по архитектуре инфраструктуры искусственного интеллекта..
Запросите консультацию и расценки по инфраструктуре искусственного интеллекта
Изучите нашу линейку: Серверы Dell PowerEdge | Серверы, оптимизированные для искусственного интеллекта | Все продукты