4029GP-TRT2 (4U 8 GPU 서버) 상세정보

4029GP-TRT2 (4U 8 GPU 서버) 상세정보

슈퍼마이크로 8GPU 서버

슈퍼마이크로 GPU서버의 주력 모델인 4029GP-TRT2는 TESLA계열인 V100, P40, P100을 주력으로 장착하여 딥러닝에 특화된 서버인데요. 8개의 GPU 장착과 Mellanox IB Card를 추가 장착하여 RDMA(Remote direct memory access) 기술을 많이 사용하는데요.

 

아래 사진을 보며 좀더 정확한 설명을 이어 가도록 해보겠습니다.

 

1. 4029GP-TRT2 (Angled View)

전면에는 24x2.5인치 핫스왑 베이가 있는데요, SAS 및 SATA3의 2.5인치 디스크를 지원합니다. 하지만 일반적으로는 SSD 장착하여 OS 및 DATA영역을 RAID 구성하여 사용하는데요.

 

기본 구성으로는 8 bay까지 사용할 수 있는 구성으로 제품이 나오며, 8 Bay이상 사용하실 경우 AOC-3108-H8IR의 Raid Controller를 Optional Parts로 추가 후 이용할 수 있습니다.

 

2. 4029GP-TRT2 (Top View)

PCI-E 슬롯은 11 PCI-E 3.0 x 16, 1 PCI-E 3.0 x 8 배속으로 이루어져 있는데요, 기본적으로 GPU 8개 + Raid Controller + IB Card 조합으로 많이 사용 됩니다. 10x Double-Wide라고 GPU 10개를 꼽으시려는 분들도 있지만 추천하지 않습니다.

 

 

시스템에 기본적으로 인텔 Xeon Scalable CPU를 2세대가 사용되는데요. E5-2690v4가 좋은 성능을 내어 줄 수 있지만, 다른 CPU로 변경이 가능합니다.

 

memory slot은 총 24개로 2933|2666|2400|2133 MHz RDIMM/LRDIMM 지원이 가능하며, memory의 용량은 딥러닝용으로 사용하신다면 GPU 총 메모리의 3배 정도가 적당하다고 합니다.

 

8개의 시스템 미들 팬은 92mm로 핫스왑 역시 지원이 가능하며, FAN speed는 최대 11.5K RPM의 성능을 낼 수 있으며, IPMI를 통해 OPTIMAL/FULL/Heavy Io 등으로 변경이 가능하며, 기본 디폴트 OPTIMAL 설정으로 되어 있습니다.

 

3. 4029GP-TRT2 (Front View)

Power Button아래로 Status LED가 있으며, Power Fail혹은 온도센서가 올라가게 되면 적색 LED가 필요한 곳에 표시되며 랜 포트 1,2번의 LED 전원 LED가 존재합니다.

 

위에 설명했던 미들팬과 디스크 베이가 있으며, 2.5인치 NVME Drive Bay가 지원됩니다.

 

4. 4029GP-TRT2 (Rear View)

마지막 후면에는 4개의 Power Supplies가 있는데요. 각각 2000W의 파워로 2+2 Redundant형태로 작동을 합니다. 최대 출력 4000W로 풀 부하 작업이 발생할 시 16A이상의 전력이 소모되니 참고하셔서 Rack mount를 하셔야 합니다.

 

하단으로는 1개의 VGA 포트, 2개의 10GbE LAN Ports, 4개의 USB 포트 마지막으로 1개의 management port인 IPMI포트가 있습니다.

 

 

4029GP-TRT2 Block Diagram

4029GP-TRT2의 장점으로는 Single Root 동작을 하기 때문에 CPU 간의 UPI통신이 발생하지 않으며, GPU 간의 RDMA통신이 가능합니다.

 

마지막으로 4029GP-TRT2의 가장 큰 장점은 TESLA 계열의 GPU를 사용해야 하지만, 합리적인 소비를 위하여 RTX 2080, RTX Titan 등 RTX계열의 일반 GPU도 동작을 하기 때문에 고객의 needs에 맞는 OPTIMIZE가 가능합니다.

 

또한 4029GP-TVRT는 Docker, Anaconda를 통하여 개별 GPU 할당이 가능하며, Low Level환경에서의 Compile을 통해 Tensorflow, Pytorch, Caffe등을 이용 가능합니다.

 

Tensorflow 및 Python은 공식 Tensorflow사이트의 검증된 버전은 모두 가능합니다.