엔터프라이즈 서버를 위한 PCIe 레인 예산: 가장 일반적인 확장 실수를 피하는 방법

절대 설치되지 않는 서버 확장 카드

모든 데이터 센터에는 하나가 있습니다.: 8개의 빈 PCIe 슬롯과 함께 주문한 서버와 “나중에 카드를 더 추가하세요.” 언제 “나중에” 도착하다, IT 팀이 해당 슬롯을 발견했습니다. 4 슬롯과 레인을 공유 3, 슬롯의 GPU 2 블록 슬롯 1 육체적으로, 방금 구입한 100GbE NIC에는 x16 전기 슬롯이 필요합니다. – 하지만 서버의 빈 슬롯은 x8용으로 연결되어 있습니다.. 카드가 다시 상자에 들어갑니다. 다른 NIC를 주문하면서 프로젝트가 3주 지연됩니다..

PCIe 레인 예산 책정은 서버 구성에서 가장 이해하기 어려운 부분입니다.. 이 가이드에서는 확장 카드가 최대 속도로 작동하는지 여부를 결정하는 규칙을 다룹니다. – 아니면 전혀.

규칙 1: 물리적 슬롯 크기가 전기 레인 수와 같지 않음

이는 숙련된 시스템 관리자도 저지르는 실수입니다.. PCIe 슬롯은 물리적으로 x16일 수 있습니다. (전체 길이 커넥터) 하지만 x8에는 전기적으로 연결되어 있습니다., x4, 또는 x1 레인. 물리적 슬롯 크기에 따라 적합한 카드가 결정됩니다.. 전기 레인 수에 따라 카드 실행 속도가 결정됩니다.. x8용으로 전기적으로 연결된 x16 물리적 슬롯의 400GbE NIC는 절반 대역폭으로 실행됩니다. – 이 문제를 해결할 수 있는 BIOS 설정이나 드라이버 조정이 없습니다..

Dell R770 및 xFusion 2288H V7, 예를 들어, 슬롯이 있는 라이저 구성이 있습니다. 1 물리적으로는 x16이고 전기적으로는 x16입니다., 하지만 슬롯 2 같은 것을 공유합니다 16 차선을 이동하고 전기적으로 x8로 떨어짐. 두 슬롯 모두 채우기, 둘 다 x8에서 실행됩니다.. 이것은 결함이 아닙니다. – PCIe 분기입니다, 이는 플랫폼의 기술 가이드북에 문서화되어 있습니다..

규칙 2: 모든 플랫폼에는 레인 예산이 있습니다, 그리고 생각보다 작습니다

CPU는 고정된 수의 PCIe 레인을 제공합니다.. 4세대 Intel Xeon Scalable은 다음을 제공합니다. 80 소켓당 레인. 제온 6 제공한다 88 소켓당 레인. AMD EPYC 9005 제공한다 128 차선. 이 숫자는 관대하게 들립니다. – 온보드 장치가 소비하는 차선을 뺄 때까지:

실용적인 의미: 2개의 Xeon을 갖춘 듀얼 소켓 R770 6 프로세서가 제공하는 176 총 차선 (88 소켓당). 온보드 장치 및 OCP 슬롯이 할당량을 사용한 후, 대충 120 레인이 PCIe 슬롯에 도달함. 와 함께 6 3개의 라이저에 걸친 물리적 슬롯, 평균은 20 슬롯당 레인 – 하나의 x16 GPU와 여러 개의 x8 NIC에 충분합니다., 하지만 2개의 x16 GPU와 2개의 x16 NIC를 동시에 사용하는 경우는 해당되지 않습니다..

플랫폼별 PCIe 슬롯 예산

차선 예산을 초과하는 세 가지 실제 확장 시나리오

대본 1: 그만큼 “AI 추론” 섬기는 사람. 2x L40S GPU가 포함된 R770을 주문합니다. (각각 x16 = 32 차선), 2x ConnectX-7 400GbE NIC (각각 x16 = 32 차선), PERC H965i RAID 컨트롤러 (x8 = 8 차선). 총: 72 단지 확장을 위한 차선, 온보드 장치 전에. R770에는 ~120개의 사용 가능한 레인이 있습니다.. 이 구성이 적합합니다 – 간신히. 하지만 나중에 누군가 세 번째 GPU를 추가하면, 차선 예산이 폭발하다. 해결책: OCP를 사용하세요 3.0 사용 가능한 경우 NIC 중 하나를 위한 슬롯, 해방 16 GPU용 레인.

대본 2: 그만큼 “스토리지 서버.” ㅏ 5288 10x 12Gb/s SAS HBA 구동이 포함된 V7 100+ 드라이브. 각 SAS HBA에는 x8 레인만 필요, 하지만 에 10 HBA, 즉 80 차선. 그만큼 5288 V7은 160 차선 (듀얼 제온). 온보드 장치 후, ~140개 차선을 사용할 수 있습니다.. 10개의 x8 HBA가 소비합니다. 80 차선 – 퇴거 60 NVMe 캐싱 SSD 및 네트워킹을 위한 레인. 구성이 작동합니다, 하지만 거의. 해결책: SAS 확장기를 사용하여 HBA 수 줄이기, 또는 더 적은 수로 통합, 포트 수가 더 많은 HBA.

대본 3: 그만큼 “VDI 호스트.” 4x NVIDIA A2 GPU를 갖춘 2288H V7 (각각 x8 = 32 차선), 2x 100GbE NIC (각각 x16 = 32 차선), 및 2x NVMe RAID 카드 (각각 x8 = 16 차선). 총: 80 차선. 2288H V7에는 160 차선 – 이게 맞는다. 그러나 PCIe NIC 대신 100GbE 어댑터로 두 OCP 슬롯을 모두 채웁니다., 차선 예산이 확보됩니다. 32 차선. 그 공간은 2 CPU 레인 예산을 건드리지 않고 더 많은 A2 GPU.

확장 카드를 주문하기 전에 물어봐야 할 4가지 질문

1. “이 슬롯은 x16 전기적인가요?, 또는 물리적으로 x16?” 서버의 기술 가이드북을 확인하세요.. x8 전기를 포함하는 물리적 x16은 미드티어 라이저 카드에서 일반적입니다..
2. “이 슬롯과 차선을 공유하는 다른 항목?” 대부분의 플랫폼에는 레인을 공유하는 슬롯을 보여주는 PCIe 분기 테이블이 있습니다.. 두 개의 슬롯 공유 16 레인 = 채워지면 둘 다 x8로 떨어짐. x16의 슬롯 1개 = 다른 슬롯은 비활성화됨.
3. “네트워킹을 위해 PCIe 슬롯 대신 OCP 슬롯을 사용할 수 있습니까??” OCP 3.0 슬롯은 일반 PCIe 레인 풀에서 차감되지 않는 전용 레인을 사용합니다.. Dell R770 및 xFusion 2288H V7, OCP 슬롯은 100GbE+ 네트워킹을 추가하는 가장 레인 효율적인 방법입니다..
4. “내 GPU가 인접한 슬롯을 물리적으로 차단합니까??” 듀얼 슬롯 GPU가 그 아래 슬롯을 덮습니다.. 트리플 슬롯 GPU는 아래 슬롯 2개를 포함합니다.. 라이저에서 3 슬롯, 상단 슬롯에 듀얼 슬롯 GPU가 있다는 것은 해당 라이저에 사용 가능한 슬롯이 하나만 남아 있음을 의미합니다.. 물리적 클리어런스 계산, 슬롯 수뿐만 아니라.

Xincuan으로 서버 확장을 올바르게 구성하세요

확장 카드가 설치되고 레인 예산이 검증된 Dell PowerEdge 및 xFusion FusionServer 서버를 배송합니다. – 설치일에 현지 IT 팀이 정리할 수 있도록 남겨두지 않음. 공장 직접 가격, 3-1년 보증, 글로벌 배송, 무료 PCIe 토폴로지 상담.

구성에 대한 PCIe 토폴로지 확인을 요청하세요.

탐구하다: Dell PowerEdge 서버 | xFusion 서버 | 모든 제품