# GPU

대시보드의 GPU 메뉴는 GPU 리소스 상세 정보를 제공하며, GPU 별 인덱스, GPU 활용률, GPU 메모리 사용량, 서비스 정보를 확인할 수 있습니다. 프로세스 단위로 GPU 사용량을 모니터링하여 리소스 사용 현황을 파악할 수 있습니다.

## GPU 대시보드 상세

<figure><img src="/files/AXudAaDFK9c5iUk0ZQpj" alt="GPU 대시보드"><figcaption><p>GPU 대시보드 상세 화면</p></figcaption></figure>

* 대시보드의 **GPU** 메뉴를 선택하면 GPU 서버별 상세 정보를 확인할 수 있습니다.
* 각 GPU 노드(예: mncsvr01)의 이름과 총 GPU 개수가 표시됩니다.
* GPU는 **Serving**과 **Training** 유형으로 구분되어 표시됩니다.
* 각 GPU 카드는 고유한 인덱스 번호(예: 1)로 구분됩니다.

### 서비스 정보 확인

<figure><img src="/files/2T0jTUO6p9flnGNvfuL7" alt="GPU 활용률 및 메모리"><figcaption><p>GPU 활용률 및 메모리 사용량</p></figcaption></figure>

* GPU 카드를 클릭하면 상세 정보를 확인할 수 있습니다.
* **할당된 서비스**: 현재 GPU를 사용 중인 서비스 정보
  * **기본 할당명**: 서비스 식별자 (예: baai-bge-m3)
  * **관리 그룹**: 서비스를 관리하는 그룹 (예: 공통 관리 그룹)
* **GPU 활용률**: 현재 GPU 사용률을 퍼센트로 표시 (예: 0%)
* **GPU 메모리 사용량**: 사용 중인 GPU 메모리와 전체 용량 표시
  * 예: 9 GB / 31.7 GB (28.4%)
  * 메모리 사용률을 시각적 바 차트로 표시

## 리소스 요약 정보 및 프로세스 상세

<figure><img src="/files/Ycyhp8YjLpcOJHI77ghf" alt="리소스 요약 및 프로세스 상세"><figcaption><p>리소스 요약 정보 및 프로세스 상세</p></figcaption></figure>

* **리소스 요약 정보** 섹션에서 GPU의 추가 정보를 확인할 수 있습니다.

### 메타 정보

* **할당량 GPU**: 할당된 GPU 타입 및 모델 (예: 서비스용 GPU V100)
* **할당 시각**: GPU가 할당된 시간 (예: 2025-12-15 18:04:42)

### 프로세스 목록

* GPU를 사용 중인 프로세스들을 상세하게 확인할 수 있습니다.
* 각 프로세스별로 다음 정보를 제공합니다:
  * **GPU 인덱스**: GPU 번호 (예: 1)
  * **PID**: 프로세스 ID (예: 6785)
  * **프로세스명**: 실행 중인 명령어 및 파라미터
  * **GPU 메모리 실사용량**: 프로세스가 사용하는 GPU 메모리 (예: 3.4 GB, 10.8%)
* 여러 프로세스가 동일한 GPU를 사용하는 경우 각 프로세스별 메모리 사용량을 개별적으로 파악할 수 있습니다.
* 이를 통해 GPU 리소스의 효율적인 관리 및 병목 현상 진단이 가능합니다.


---

# Agent Instructions: Querying This Documentation

If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://genos-docs.gitbook.io/default/v1.8.5/dashboard/overview/gpu.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.