슈퍼마이크로 AS-4124GS-TNR 상세정보 PCI-E 4.0

슈퍼마이크로 AS-4124GS-TNR 상세정보 PCI-E 4.0

supermicro AMD 8 GPU PCI-E 4.0

서버 업체에서는 학교나 연구소 외에는 Intel CPU가 여태껏 주력이었다면, 최근에 AMD에서 출시한 PCI-E 4.0은 큰 화제가 되었는데요. supermicro 4124GS-TNR 8 GPU 서버에 AMD CPU 기반의 PCI-E 4.0을 장착한 A100 시스템 또한 많은 관심을 받고 있습니다.

 

PCI-E 3.0 과 PCI-E 4.0의 차이는 얼마 나지 않는다는 오해도 있지만 실제 적으로 여러 장의 Card를 장착 후 p2pbandwidth test를 하게 된다면 명확한 차이는 나는데요. 이 부분은 제가 supermicro 서버 4029GR-TRT2와 4124GS-TNR을 비교 후 업로드 후 확인시켜드리도록 하겠습니다.

 

1. 4124GS-TNR (Angled View)

24x 2.5 Hot-swap bays가 기본적으로 제공되며, 2x2.5" onboard raid 1을 제공 하는데요. 기존의 LSI나 Intel이 아닌 Marvell 9230 칩셋의 Raid를 제공합니다. 

 

마지막 4개의 drive bay는 NVME를 사용할 수 있으며, U.2 탑입의 NVME SSD이며, 슈퍼마이크로에서 검증하지 않은 NVME는 호환되지 않을 수 있으니, 개별적으로 구매 후 장착하실 분들은 필히 확인 하셔야 할 것 같습니다.

 

2. 4124GS-TNR (Top View)

---

PCI-E 4.0 x 16배속 슬롯에 CPU 0에 연결되는 GPU 4개, CPU 1에 연결되는 GPU 4개 장착 가능합니다. 서버 활용에 따라 GPU 8개 이외에 PCI-E Card 2장을 추가로 사용할 수 있습니다. 

 

Dual AMD EPYC CPU - 7002 Series 2개 사용이 가능하며, 메모리 슬롯 32개까지 장착 가능하며, 최대 8TB까지 가능하며. 3200 MHz Ecc DDR4 RDIMM/LRDIMM을 지원합니다.

 

또한 8개의 인터널 팬이 장착 되어있는데요. 이 역시 Hot-Swap을 지원하며 최대 11.5K RPM Cooling을 지원합니다. 미들 팬의 기본 모드는 Optimal이기 때문에 유동적으로 팬의 속도는 변경이 되는데요.

 

슈퍼마이크로에서 제공하는 IPMICFG 혹은 IPMIWEB, IPMIViewer를 통해 Heavy IO, Full Mode를 변경 가능합니다.

 

3. 4124GS-TNR (Front View)

---

Front Panel

1. 전원 버튼 - 4초 이상 누르면 강제 종료
2. 레셋 버튼
3. 전원 LED
4. HDD LED - Disk 사용될 때 점멸
5. NIC 1 LED 
6. NIC 2 LED 
7. overheat 및 fan/power fail시 적색 led
8. Power fail LED

HDD Drive bay

2.5인치 SATA/SAS drives이며 모두 사용하시려면 Optional Part인 Raid Controller를 사용하셔야 하면 마지막 색상이 다른 bay 4개는 hybrid hot-swap bay로 NVME사용이 가능합니다.

 

4. 4124GS-TNR (Rear View)

---

위 사진에 자세한 설명이 나와있으니 참조하시면 될 것 같습니다.

자세한 사항은 문의하시기 바라며, 이전에 Intel CPU를 사용하는 4029GP-TRT2와 같이 2000W Redundant Power를 사용하는데요. 

 

2+2 작동을 하며 GPU서버는 기본적인 전력 소모가 크다 보니 Rack장착 시 전력량을 확인하고 하셔야 해당 Rack에 있는 다른 서버에 피해를 입히지 않습니다.

 

많은 분들이 슈퍼마이크로 서버 8 GPU 서버의 전력을 많이 물어보는데요. 기본적으로 부하가 들어갔을 시 16A - 18A까지는 생각하셔야 합니다.

 

4124GS-TNR 사용 방법

---

슈퍼마이크로 서버 4124GS-TNR을 사용하시는 분들은 보통 NVIDIA의 A100 GPU를 사용하기 위함인데요. 기본 적으로 A100을 사용하기를 준비하는 분들께서는 NVIDIA_MIG의 기능을 확실히 알고 MIG에서 제공되는 GPU Instance Slice기능에 대해 정확히 알고 구매를 진행하실 필요가 있습니다.

 

MIG는 vm상황에서 사용함인데요. NVIDIA MIG는 GI/CI등을 구성 후 Docker 및 kubernetes까지 지원이 가능하다고 합니다. 현재까지는 Nvidia Docker의 Tensorflow 1.15.x 혹은 Tensorflow 2.x 버전에 호환이 가능합니다.

 

Nvidia는 Tensorflow 1.15.x 버전에 계속하여 update할 예정이라고 하니 참고하시기 바랍니다.

 

MIG에 대해 아셔야 한다면, 아래 포스팅을 통해 확인하시면 될 것 같습니다.

 

 

2020/12/17 - [supermicro] - 4029GP-TRT2 (4U 8 GPU 서버) 상세정보

2020/12/02 - [linux] - MIG GPU INSTANCE 구성

2020/12/02 - [linux] - NVIDIA A100 MIG