MIG GPU INSTANCE 구성

GPU INSTANCE 배치

MIG를 사용하기 전에는 GPU 인스턴스 프로필과 유효한 GPU 인스턴스 조합등을 상세히 알아보고 익혀 둘 필요가 있다.

 

GPU 인스턴스 프로필( GPU Instance Profiles)

Profile Name Fraction of Memory Fraction of SMs Hardware Units Number of Instances Available
MIG 1g.5gb 1/8 1/7 0 NVDECs 7
MIG 2g.10gb 2/8 2/7 1 NVDECs 3
MIG 3g.20gb 4/8 3/7 2 NVDECs 2
MIG 4g.20gb 4/8 4/7 2 NVDECs 1
MIG 7g.40gb Full 7/7 5 NVDECs 1

 

유효한 GPU 인스턴스 조합

8 memory, 7 comupute
4 memory, 4 compute 4 memory, 3 compute
2 memory, 2 compute 2 memory, 2 compute 2 memory, 2 compute N/A
1 memory,
1 compute
1 memory,
1 compute
1 memory,
1 compute
1 memory,
1 compute
1 memory,
1 compute
1 memory,
1 compute
1 memory,
1 compute
N/A

MIG 구성 확인 

lgip (List GPU Instance Profiles)

root@ubuntu:~# nvidia-smi mig -lgip
+--------------------------------------------------------------------------+
| GPU instance profiles:                                                   |
| GPU   Name          ID    Instances   Memory     P2P    SM    DEC   ENC  |
|                           Free/Total   GiB              CE    JPEG  OFA  |
|==========================================================================|
|   0  MIG 1g.5gb     19     3/7        4.75       No     14     0     0   |
|                                                          1     0     0   |
+--------------------------------------------------------------------------+
|   0  MIG 2g.10gb    14     1/3        9.75       No     28     1     0   |
|                                                          2     0     0   |
+--------------------------------------------------------------------------+
|   0  MIG 3g.20gb     9     0/2        19.62      No     42     2     0   |
|                                                          3     0     0   |
+--------------------------------------------------------------------------+
|   0  MIG 4g.20gb     5     0/1        19.62      No     56     2     0   |
|                                                          4     0     0   |
+--------------------------------------------------------------------------+
|   0  MIG 7g.40gb     0     0/1        39.50      No     98     5     0   |
|                                                          7     1     1   |
+--------------------------------------------------------------------------+

NVIDIA 드라이버는 사용자가 A100에서 MIG 기능을 구성 할 때 선택할 수 있는 여러 프로필을 제공한다. 프로필은 사용자가 만들 수 있는 GPU 인스턴스 크기와 기능이다. 또한 생성 할 수 있는 인스턴스의 유형과 수를 나타내는 배치에 대한 정보를 제공한다.

 

lgi (List GPU Instances)

root@ubuntu:~# nvidia-smi mig -lgi
+----------------------------------------------------+
| GPU instances:                                     |
| GPU   Name          Profile  Instance   Placement  |
|                       ID       ID       Start:Size |
|====================================================|
|   0  MIG 1g.5gb       19       11          4:1     |
+----------------------------------------------------+
|   0  MIG 1g.5gb       19       13          6:1     |
+----------------------------------------------------+
|   0  MIG 2g.10gb      14        3          0:2     |
+----------------------------------------------------+

사용 가능한 GPU 인스턴스 리스트를 보여준다. 내가 구성한 GPU Instance 목록이다.

      

 

lgipp (List GPU Instance Possibe Placements)

root@ubuntu:~# nvidia-smi mig -lgipp
GPU  0 Profile ID 19 Placements: {0,1,2,3,4,5,6}:1
GPU  0 Profile ID 14 Placements: {0,2,4}:2
GPU  0 Profile ID  9 Placements: {0,4}:4
GPU  0 Profile ID  5 Placement : {0}:4
GPU  0 Profile ID  0 Placement : {0}:8

 

사용가능한 배치를 나열하는 명령어이다. 배치의 구문은 {<index>} : <GPU 슬라이스 수>이며, GPU 인스턴스의 배치를 보여준다.

lcip (List Compute Instance Profiles)

root@ubuntu:~# nvidia-smi mig -lcip
+--------------------------------------------------------------------------------------+
| Compute instance profiles:                                                           |
| GPU     GPU       Name             Profile  Instances   Exclusive       Shared       |
|       Instance                       ID     Free/Total     SM       DEC   ENC   OFA  |
|         ID                                                          CE    JPEG       |
|======================================================================================|
|   0     11       MIG 1g.5gb           0*     0/1           14        0     0     0   |
|                                                                      1     0         |
+--------------------------------------------------------------------------------------+
|   0     13       MIG 1g.5gb           0*     0/1           14        0     0     0   |
|                                                                      1     0         |
+--------------------------------------------------------------------------------------+
|   0      3       MIG 1c.2g.10gb       0      0/2           14        1     0     0   |
|                                                                      2     0         |
+--------------------------------------------------------------------------------------+
|   0      3       MIG 2g.10gb          1*     0/1           28        1     0     0   |
|                                                                      2     0         |
+--------------------------------------------------------------------------------------+

사용 가능한 CI(Compute Instance)프로필을 나열한다. ex) -gi 3 옵션을 사용하여 GPU Instance ID로 조회도 가능하다.

 

lci (List Compute Instances)

root@ubuntu:~# nvidia-smi mig -lci
+--------------------------------------------------------------------+
| Compute instances:                                                 |
| GPU     GPU       Name             Profile   Instance   Placement  |
|       Instance                       ID        ID       Start:Size |
|         ID                                                         |
|====================================================================|
|   0     11       MIG 1g.5gb           0         0          0:1     |
+--------------------------------------------------------------------+
|   0     13       MIG 1g.5gb           0         0          0:1     |
+--------------------------------------------------------------------+
|   0      3       MIG 2g.10gb          1         0          0:2     |
+--------------------------------------------------------------------+

사용 중인 Compute Instances 리스트를 확인 가능하다.

 

반응형
  • 네이버 블러그 공유하기
  • 네이버 밴드에 공유하기
  • 페이스북 공유하기
  • 카카오스토리 공유하기

댓글을 달아 주세요

">