> For the complete documentation index, see [llms.txt](https://genos-docs.gitbook.io/default/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://genos-docs.gitbook.io/default/v1.9.2/basic-tutorials/guides/metric.md).

# 평가 지표

평가지표는 데이터셋과 Python 채점 코드로 정의하는 평가 기준으로, 리더보드에서 서빙이나 워크플로우를 평가할 때 사용합니다. LLM(/evaluation/metric/llm)과 워크플로우(/evaluation/metric/workflow) 두 메뉴로 나뉘며, 두 화면의 구성은 같고 평가 대상만 LLM과 워크플로우로 다릅니다.

## 목록 화면

* **목록 컬럼:** ID, 제목, 설명, 데이터셋:리비전, 제작자, 관리 그룹, 등록일로 구성됩니다.
* **검색:** 검색 유형(제목, ID, 설명, 데이터셋:리비전, 제작자)을 선택하고 검색어를 입력해 조회합니다.
* **정렬:** 컬럼명을 클릭해 오름차순, 내림차순으로 정렬합니다.
* **페이지네이션:** 페이지 이동과 페이지당 표시 행수(10, 20, 50, 100)를 조정합니다.
* **상세 이동:** 목록에서 행을 더블 클릭하면 상세 화면으로 이동합니다.
* **카탈로그 보기:** 상단 버튼으로 평가지표 카탈로그 패널을 열어 등록된 카탈로그 지표를 조회합니다.
* **생성:** 상단 생성 버튼으로 평가지표 생성 창을 엽니다(생성 권한이 있을 때 노출).

## 평가지표 생성

생성 창에서 다음 항목을 입력합니다.

* **제목:** 필수 항목입니다.
* **설명:** 평가지표 설명을 입력합니다.
* **관리 그룹:** 필수 항목입니다.
* **데이터셋:** 채점에 사용할 데이터셋을 선택합니다.
* **데이터셋 리비전:** 필수 항목이며 데이터셋을 먼저 선택해야 활성화됩니다.
* **코드:** 필수 항목입니다. Python 채점 함수(evaluate)를 작성하며 return 문이 포함되어야 하고, 기본 예시 코드 그대로는 저장할 수 없습니다.

## 상세 화면

상세 화면은 기본 정보 탭과 리비전 이력 탭으로 구성됩니다.

#### 기본 정보 탭

* **기본 정보:** 제작자, 관리 그룹, 등록일과 데이터셋, 데이터셋 리비전(읽기 전용)을 확인합니다.
* **제목, 설명, 코드 수정:** 수정 권한이 있으면 제목, 설명, 코드를 편집합니다. 단, 해당 지표가 리더보드에서 사용 중이면 코드는 수정할 수 없습니다.

#### 리비전 이력 탭

* **리비전 목록:** ID, 제작자, 등록일시, 보기 컬럼으로 구성됩니다. 코드를 수정하면 새 리비전이 누적됩니다.
* **검색:** ID, 제작자 유형으로 검색합니다.
* **정렬:** ID, 제작자, 등록일시로 정렬합니다.
* **보기:** 보기 버튼으로 해당 리비전의 코드를 다이얼로그로 확인합니다.

## 테스트, 카탈로그, 삭제

* **테스트:** 상세 화면 상단의 테스트 버튼으로 실행 창을 엽니다. LLM은 서빙 API를, 워크플로우는 워크플로우를 선택해 테스트하며, 실행 결과 상위 3건이 JSON으로 표시됩니다(수정 권한이 있을 때 노출).
* **카탈로그:** 카탈로그 등록 신청, 신청 취소, 해제 신청, 카탈로그 이동 등 카탈로그 관련 동작을 상태에 따라 수행합니다(수정 권한이 있을 때 노출).
* **삭제:** 상세 화면 상단의 삭제 버튼으로 평가지표를 삭제합니다. 카탈로그가 등록 또는 처리 대기 상태이면 삭제할 수 없습니다.


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://genos-docs.gitbook.io/default/v1.9.2/basic-tutorials/guides/metric.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.