MIG GPU INSTANCE 구성

MIG GPU INSTANCE 구성

GPU INSTANCE 배치

MIG를 사용하기 전에는 GPU 인스턴스 프로필과 유효한 GPU 인스턴스 조합등을 상세히 알아보고 익혀 둘 필요가 있다.

 

GPU 인스턴스 프로필( GPU Instance Profiles)

Profile Name	Fraction of Memory	Fraction of SMs	Hardware Units	Number of Instances Available
MIG 1g.5gb	1/8	1/7	0 NVDECs	7
MIG 2g.10gb	2/8	2/7	1 NVDECs	3
MIG 3g.20gb	4/8	3/7	2 NVDECs	2
MIG 4g.20gb	4/8	4/7	2 NVDECs	1
MIG 7g.40gb	Full	7/7	5 NVDECs	1

 

유효한 GPU 인스턴스 조합

8 memory, 7 comupute
4 memory, 4 compute				4 memory, 3 compute
2 memory, 2 compute		2 memory, 2 compute		2 memory, 2 compute		N/A
1 memory, 1 compute	1 memory, 1 compute	1 memory, 1 compute	1 memory, 1 compute	1 memory, 1 compute	1 memory, 1 compute	1 memory, 1 compute	N/A

MIG 구성 확인 

lgip (List GPU Instance Profiles)

root@ubuntu:~# nvidia-smi mig -lgip
+--------------------------------------------------------------------------+
| GPU instance profiles:                                                   |
| GPU   Name          ID    Instances   Memory     P2P    SM    DEC   ENC  |
|                           Free/Total   GiB              CE    JPEG  OFA  |
|==========================================================================|
|   0  MIG 1g.5gb     19     3/7        4.75       No     14     0     0   |
|                                                          1     0     0   |
+--------------------------------------------------------------------------+
|   0  MIG 2g.10gb    14     1/3        9.75       No     28     1     0   |
|                                                          2     0     0   |
+--------------------------------------------------------------------------+
|   0  MIG 3g.20gb     9     0/2        19.62      No     42     2     0   |
|                                                          3     0     0   |
+--------------------------------------------------------------------------+
|   0  MIG 4g.20gb     5     0/1        19.62      No     56     2     0   |
|                                                          4     0     0   |
+--------------------------------------------------------------------------+
|   0  MIG 7g.40gb     0     0/1        39.50      No     98     5     0   |
|                                                          7     1     1   |
+--------------------------------------------------------------------------+

NVIDIA 드라이버는 사용자가 A100에서 MIG 기능을 구성 할 때 선택할 수 있는 여러 프로필을 제공한다. 프로필은 사용자가 만들 수 있는 GPU 인스턴스 크기와 기능이다. 또한 생성 할 수 있는 인스턴스의 유형과 수를 나타내는 배치에 대한 정보를 제공한다.

 

lgi (List GPU Instances)

root@ubuntu:~# nvidia-smi mig -lgi
+----------------------------------------------------+
| GPU instances:                                     |
| GPU   Name          Profile  Instance   Placement  |
|                       ID       ID       Start:Size |
|====================================================|
|   0  MIG 1g.5gb       19       11          4:1     |
+----------------------------------------------------+
|   0  MIG 1g.5gb       19       13          6:1     |
+----------------------------------------------------+
|   0  MIG 2g.10gb      14        3          0:2     |
+----------------------------------------------------+

사용 가능한 GPU 인스턴스 리스트를 보여준다. 내가 구성한 GPU Instance 목록이다.

      

 

lgipp (List GPU Instance Possibe Placements)

root@ubuntu:~# nvidia-smi mig -lgipp
GPU  0 Profile ID 19 Placements: {0,1,2,3,4,5,6}:1
GPU  0 Profile ID 14 Placements: {0,2,4}:2
GPU  0 Profile ID  9 Placements: {0,4}:4
GPU  0 Profile ID  5 Placement : {0}:4
GPU  0 Profile ID  0 Placement : {0}:8

 

사용가능한 배치를 나열하는 명령어이다. 배치의 구문은 {<index>} : <GPU 슬라이스 수>이며, GPU 인스턴스의 배치를 보여준다.

lcip (List Compute Instance Profiles)

root@ubuntu:~# nvidia-smi mig -lcip
+--------------------------------------------------------------------------------------+
| Compute instance profiles:                                                           |
| GPU     GPU       Name             Profile  Instances   Exclusive       Shared       |
|       Instance                       ID     Free/Total     SM       DEC   ENC   OFA  |
|         ID                                                          CE    JPEG       |
|======================================================================================|
|   0     11       MIG 1g.5gb           0*     0/1           14        0     0     0   |
|                                                                      1     0         |
+--------------------------------------------------------------------------------------+
|   0     13       MIG 1g.5gb           0*     0/1           14        0     0     0   |
|                                                                      1     0         |
+--------------------------------------------------------------------------------------+
|   0      3       MIG 1c.2g.10gb       0      0/2           14        1     0     0   |
|                                                                      2     0         |
+--------------------------------------------------------------------------------------+
|   0      3       MIG 2g.10gb          1*     0/1           28        1     0     0   |
|                                                                      2     0         |
+--------------------------------------------------------------------------------------+

사용 가능한 CI(Compute Instance)프로필을 나열한다. ex) -gi 3 옵션을 사용하여 GPU Instance ID로 조회도 가능하다.

 

lci (List Compute Instances)

root@ubuntu:~# nvidia-smi mig -lci
+--------------------------------------------------------------------+
| Compute instances:                                                 |
| GPU     GPU       Name             Profile   Instance   Placement  |
|       Instance                       ID        ID       Start:Size |
|         ID                                                         |
|====================================================================|
|   0     11       MIG 1g.5gb           0         0          0:1     |
+--------------------------------------------------------------------+
|   0     13       MIG 1g.5gb           0         0          0:1     |
+--------------------------------------------------------------------+
|   0      3       MIG 2g.10gb          1         0          0:2     |
+--------------------------------------------------------------------+

사용 중인 Compute Instances 리스트를 확인 가능하다.