GPU 클러스터가 유휴 상태입니다. 문제는 GPU가 아니다.

XE9680 서버가 8대 있습니다., 각각 8x H100 GPU 포함. 즉 64 H100. 학습 작업은 에 완료되어야 합니다. 12 시간. 모니터링에 GPU 사용률이 표시됩니다. 45%. 병목 현상은 컴퓨팅이 아니라 노드 사이의 100GbE 패브릭입니다.. 모든 그래디언트 동기화 단계가 네트워크를 기다리면서 멈춥니다.. 이 패브릭은 NDR200 InfiniBand 어댑터가 자리를 잡는 곳입니다..

Mellanox ConnectX-7은 단일 포트 400Gb/s InfiniBand NDR200입니다. (또는 400GbE 이더넷) 다중 GPU AI 훈련에 필요한 노드 간 통신을 위해 제작된 어댑터. RDMA 사용, GPU다이렉트, 및 네트워크 내 컴퓨팅 가속화, 호스트 CPU나 시스템 메모리를 건드리지 않고 GPU 메모리와 네트워크 패브릭 간에 데이터를 이동합니다..

기술 사양

매개변수	사양
모델	멜라녹스 ConnectX-7 (MCX755106AS-HEAT 또는 동급)
포트 구성	1x QSFP112 (400Gb/s) 또는 2x QSFP56 (200Gb/s), 구성 가능
인피니밴드	NDR200 (400 포트당 Gb/s), HDR100/EDR/FDR과 역호환 가능
이더넷	400나르다 / 200나르다 / 100나르다 / 50나르다 / 25나르다 / 10나르다 (RoCE v2)
호스트 인터페이스	PCIe 5.0 x16 (512 Gb/s 이론상)
RDMA	인피니밴드 RDMA, RoCE v2, GPU다이렉트 RDMA, GPU다이렉트 스토리지
메시지 비율	까지 215 초당 백만 개의 메시지
숨어 있음 (IB)	< 600 nanoseconds (port-to-port)
네트워크 내 컴퓨팅	날카로운 (확장 가능한 계층적 집계 및 축소 프로토콜), MPI Allreduce 오프로드
암호화	인라인 TLS/DTLS, IPsec, MACsec (하드웨어 가속, 회선 속도)
CPU 오프로드	RDMA, NVMe-oF, SR-IOV, VirtIO, vDPA
엔비디아 네트워킹	엔비디아 빅IO, NCCL, UFM (통합 패브릭 관리자) 호환 가능
폼 팩터	로우 프로파일 PCIe, FHHL 브래킷 포함
힘	~25W 일반, 최대 38W
물리적	167 엑스 69 mm (표준 LP 카드)
온도	0°C ~ 55°C
OS 지원	RHEL 8.6+/9.x, 우분투 20.04/22.04/24.04, SLES 15 SP4+, VM웨어 ESXi 8.0+, Windows 서버 2022/2025
보증	3-년도 (제조업체)

NDR200 InfiniBand와 400GbE 이더넷 비교 — AI를 위한 패브릭?

결정 요인	NDR200 인피니밴드	400GbE RoCE v2
꼬리 지연 시간 (P99.9)	일관된, 예측 가능한. 네트워크 내 혼잡 제어.	DCQCN/ECN 튜닝에 따라 다름. 전문 지식이 필요함.
GPU 다이렉트 RDMA	완벽하게 지원되고 최적화되었습니다. (NVIDIA 매그넘 IO 스택)	지원되지만 신중한 버퍼 등록이 필요함.
날카로운 (네트워크 내 올리듀스)	지원됨. 그라디언트 동기화 시간을 최대로 줄입니다. 30%.	사용할 수 없음. Allreduce는 호스트 CPU에서 실행됩니다..
생태계 전환	NVIDIA Quantum-2 NDR 스위치. 관리형 패브릭 (UFM).	모든 400GbE 스위치 (까끄라기, 시스코, 엔비디아 스펙트럼-4).
학습 곡선	더 높은. InfiniBand 서브넷 관리자 및 패브릭 관리 필요.	낮추다. 친숙한 이더넷 도구, IP 기반 라우팅.
다음에 가장 적합	전용 AI 훈련 클러스터, HPC, GPU 집약적인 워크로드.	통합 데이터 센터 패브릭, 혼합 AI+엔터프라이즈 워크로드.
비용 (포트당, 어댑터 + 스위치)	프리미엄. 포트당 비용 증가.	낮추다. 이더넷 생태계 규모의 경제성.

호환되는 서버 플랫폼

PCIe 5.0 전체 대역폭을 위해서는 x16 슬롯이 필요합니다.. Dell PowerEdge R770과 호환 가능, R7715, XE9680, xFusion G5500 V7, 2488H V7, 5885H V7, PCIe가 있는 모든 서버 5.0 x16 전기 슬롯 및 적절한 섀시 공기 흐름. 단일 포트 QSFP112 구성에는 스위치에 대한 QSFP112 패시브 구리 DAC 또는 액티브 광 케이블이 필요합니다..