Xinchuan 서버 | 엔터프라이즈 서버 하드웨어 공급업체
프로덕션 데이터 센터에서 여전히 가장 많이 배포된 AI 훈련 GPU
H100이 헤드라인을 장식합니다.. A100으로 작업 완료. H100 출시에도 불구하고, NVIDIA A100 80GB는 엔터프라이즈 데이터 센터에서 가장 널리 배포된 AI 훈련 GPU로 남아 있으며 그럴 만한 이유가 있습니다.. HPC용 FP64 Tensor 코어를 지원합니다., 나 (멀티 인스턴스 GPU) 안전한 다중 테넌트 추론을 위해, 대규모 다중 GPU 교육을 위한 NVLink. 대략적으로 55-65% H100 가격의, 13B-70B 매개변수 모델을 교육하고 혼합 HPC와 AI 워크로드를 실행하기 위한 실용적인 선택입니다..
기술 사양
| 매개변수 | 사양 |
|---|---|
| GPU 아키텍처 | 엔비디아 암페어 (GA100) |
| 쿠다 색상 | 6,912 |
| 텐서 코어 | 432 (33세대) |
| 메모리 | 80 GB HBM2e |
| 메모리 대역폭 | 2,039 GB/초 (HBM2e, 5 스택) |
| 메모리 버스 | 5,120-조금 |
| 인터페이스 | PCIe 4.0 x16 (또는 NVLink용 SXM4) |
| NV링크 | 600 GB/초 (PCIe 변형: NVLink 브리지를 통해 2 GPU; SXM4 변형: 까지 8 GPU) |
| FP64 성능 (텐서 코어) | 19.5 테플롭스 |
| FP32 성능 | 19.5 테플롭스 |
| TF32 텐서 코어 (희박하게) | 312 테플롭스 (624 희소성이 있는 TFLOPS) |
| FP16 텐서 코어 (희박하게) | 312 테플롭스 (624 희소성이 있는 TFLOPS) |
| INT8 텐서 코어 (희박하게) | 624 탑 (1,248 희소성이 있는 TOPS) |
| 나 (멀티 인스턴스 GPU) | 까지 7 격리된 GPU 인스턴스 (10/20/40/80 각 GB) |
| TDP (최대) | 300승 (PCIe) / 400승 (SXM4) |
| 폼 팩터 | PCIe: 듀얼 슬롯 FHFL, 수동 냉각 | SXM4: 메자닌 모듈 |
| 전원 커넥터 | 1x PCIe CEM 8핀 CPU 전원 (PCIe 변형) |
| ECC 메모리 | 전체 HBM2e ECC (선택 사항이 아님 - 데이터 무결성을 위해 항상 켜져 있음) |
| 물리적 크기 | PCIe: 267 엑스 112 mm (듀얼 슬롯), 1.24 킬로그램 |
| 작동 온도 | 0° C ~ 45 ° C |
| 보증 | 3-년도 (제조업체) |
A100 vs H100 vs L40S — 각각이 승리할 때
| 결정 요인 | A100 80GB | H100 80GB | L40S 48GB |
|---|---|---|---|
| 전체 교육에 가장 적합 (70B+ 모델) | NVLink에 적합 | 최상의. FP8 + 변압기 엔진 + NV스위치 | 권장되지 않음 |
| 추론에 가장 적합 (7B-13B) | 좋은. 80GB 헤드룸 | 대부분의 추론에 과잉 | 최고의 가격 대비 성능 |
| HPC에 가장 적합 (FP64) | 최상의. FP64 텐서 코어 = 19.5 테플롭스 | 제한된 FP64. A100은 HPC GPU입니다. | FP64 Tensor 코어 없음 |
| 나에게 가장 적합 / 다중 테넌트 | 훌륭한. 7 ME 인스턴스 | 훌륭한. 7 ME 인스턴스, 더 높은 처리량 | 지원되지 않습니다 |
| NVLink 다중 GPU | 까지 8 GPU (SXM4) | 까지 8 GPU (SXM5 + NV스위치) | 지원되지 않습니다 |
| 메모리 | 80 GB HBM2e | 80 GB HBM3 | 48 GB GDDR6 ECC |
| 메모리 대역폭 | 2.0 TB/초 | 3.35 TB/초 | 864 GB/초 |
| 가격 (H100 대비) | ~55-65% | 100% (기준선) | ~25-30% |
A100이 여전히 H100보다 성능이 뛰어난 곳
A100에는 H100이 의도적으로 제한한 기능이 하나 있습니다.: 풀 스피드 FP64. H100은 ~34 TFLOPS FP64를 제공합니다., 하지만 Tensor 코어에서만 가능하며 A100에 비해 속도가 감소합니다.. 배정밀도 수학에 의존하는 워크로드의 경우 - 전산유체역학, 분자 역학, 기후 모델링, 금융 위험 시뮬레이션 — A100은 실제로 H100보다 달러당 속도가 더 빠릅니다.. 워크로드 혼합에 AI 교육과 기존 HPC가 모두 포함된 경우, 같은 가격대라도 A100이 더 잘 맞을 수도 있어요.
나: A100을 클라우드 GPU로 만드는 기능
멀티 인스턴스 GPU는 단일 A100을 최대 7 완전히 격리된 GPU 인스턴스, 각각은 전용 메모리를 가지고 있습니다., 은닉처, 및 컴퓨팅 리소스. 클라우드 제공업체는 성능 격리가 보장된 물리적 A100 1대를 7명의 고객에게 판매할 수 있습니다.. 기업은 누화 없이 하나의 GPU에서 7가지 추론 모델을 실행할 수 있습니다.. MIG는 A100에서 지원되지만 L40S에서는 더 이상 사용되지 않습니다. MIG가 배포에 중요한 경우, A100 (또는 H100) 유일한 길이다.
호환되는 서버 플랫폼
Dell PowerEdge R760xa와 호환되는 PCIe 변형, R770, R7715, XE9680, xFusion G5500 V7, 2288H V7, 300W GPU 전원 공급 및 적절한 섀시 공기 흐름을 갖춘 모든 서버. SXM4 변형에는 SXM4 호환 베이스보드가 필요합니다. 플랫폼 호환성 확인은 엔지니어링 팀에 문의하세요..
Xicuan을 통한 소스
Dell 및 xFusion 서버에 사전 설치된 A100 GPU를 공급합니다., 또는 기존 플랫폼을 위한 업그레이드 키트로 사용. 공장 직접 가격, 3-1년 보증, 글로벌 배송, 무료 GPU 아키텍처 상담.
