Name: NVIDIA Tesla T4 16GB | Low-Profile Inference GPU for Edge & VDI
Brand: NVIDIA

실행되는 GPU 80% 기업 AI 추론에 대해 — 그리고 아무도 그것에 대해 이야기하지 않습니다

H100이 기조연설을 받았습니다.. L40S는 데이터 센터를 확보합니다. T4는 실제 작업을 조용히 수행합니다., 효율적으로, 엣지 서버에서 GPU 가속 추론을 실행할 수 있는 가격대, VDI 배포, 및 지점 AI. 와 함께 16 GB GDDR6, 70승 TDP, 로우 프로파일 PCIe 폼 팩터, NVIDIA Tesla T4는 듀얼 슬롯 300W GPU를 물리적으로 수용할 수 없는 1U 서버에 적합합니다.. 다른 사람을 위한 추론 GPU입니다. 80% 데이터 센터 — 엣지 POP에서 실행되는 서버, 원격 사무실, 모든 와트가 중요한 코로케이션 랙.

기술 사양

매개변수	사양
GPU 아키텍처	엔비디아 튜링 (TU104-895-A1)
쿠다 색상	2,560
텐서 코어	320 (2세대)
메모리	16 GB GDDR6 (Tesla T4에는 ECC가 없습니다.)
메모리 대역폭	320 GB/초 (256-조금)
인터페이스	PCIe 3.0 x16
FP32 성능	8.1 테플롭스
FP16 성능	65 테플롭스 (텐서 코어)
INT8 성능	130 탑
INT4 성능	260 탑
TDP	70승 (수동 냉각 — 섀시 공기 흐름 필요)
폼 팩터	단일 슬롯, 저 프로파일 (LP), 절반 길이 PCIe
전원 커넥터	없음 — PCIe 슬롯을 통해 전적으로 전원 공급 (70PCIe를 통한 최대 W 3.0 x16)
NV링크	지원되지 않습니다
나	지원되지 않습니다
vGPU 지원	예 - NVIDIA vWS, vPC, 가상 데스크톱용 vApp
물리적 크기	168 엑스 69 mm (단일 슬롯 로우 프로파일)
작동 온도	0° C ~ 45 ° C (패시브 - 서버 팬이 냉각 기능을 제공합니다.)
호환 서버	델 R470, R660, R670, R760, R770, x퓨전 1288H/2288H V7 (PCIe가 있는 모든 서버 3.0 x16 및 적절한 공기 흐름)
보증	3-년도 (제조업체)

T4 vs L40S vs A2 — 추론 GPU 대결

특징	T4 16GB	L40S 48GB	A2 16GB
쿠다 색상	2,560	18,176	1,280
메모리	16 GB GDDR6	48 GB GDDR6 ECC	16 GB GDDR6 ECC
TDP	70승 (수동적인)	300승 (활동적인)	60승 (수동적인)
폼 팩터	단일 슬롯 LP	듀얼 슬롯 FHFL	단일 슬롯 HHHL
추론 처리량 (ResNet-50)	~4,000개 이미지/초	~16,000개 이미지/초	~2,000개 이미지/초
다음에 가장 적합	가장자리 추론, VDI, 비디오 트랜스코딩, 작은 모델 서빙	데이터 센터 추론, 13B+ LLM 서비스	보급형 VDI, 가벼운 추론
가격 (L40S에 비해)	~15%	100%	~10%

T4가 뛰어난 곳

엣지 AI: 실시간 객체 감지를 실행하는 소매점의 1U 서버에 있는 70W GPU 16 카메라 피드. 추가 전원 케이블 없음, 섀시 수정 없음, 열 재계산 없음. T4는 GPU 활성화 키트 없이 대부분의 1U 서버에 적합한 유일한 추론 GPU입니다..
NVIDIA vGPU를 사용한 VDI: 16 GB 지원 4-8 CAD용 GPU 가속 기능을 갖춘 동시 가상 데스크탑 사용자, GIS, 의료 영상. Dell R760에 T4 4개 배포 및 지원 32 하나의 2U 서버에서 동시 GPU 가속 VDI 사용자.
비디오 트랜스코딩: T4에는 최대 트랜스코딩을 수행하는 전용 NVENC/NVDEC 엔진이 포함되어 있습니다. 38 동시 1080p30 비디오 스트림. 라이브 스트리밍 플랫폼의 경우, 화상 회의 백엔드, 및 감시 분석, T4의 미디어 엔진은 CUDA 코어 수보다 더 중요합니다..
소규모 모델 추론 제공: 버트, 레스넷, 욜로, 속삭임 — 2B 매개변수 미만의 모델은 편안하게 맞습니다. 16 FP16 정밀도의 GB. 단일 T4는 70W를 초과하지 않고 수백 개의 동시 API 요청에 대해 이러한 모델을 제공할 수 있습니다..