LLM 모델 서빙

LLM 모델 서빙하기

• LLM 서빙 생성 버튼을 클릭합니다.

• LLM 생성을 위한 필수 정보를 입력합니다.

• LLM 서빙 목록에서 생성한 항목을 더블클릭합니다.

• LLM 서빙 상세 메뉴에서 리비전 추가 버튼을 클릭합니다.

• LLM 서빙 리비전 생성에 필요한 정보를 입력합니다.

  • 도커이미지 : 서빙에 사용할 환경인 도커이미지를 선택합니다.

  • 인스턴스타입 : 서빙에 필요한 CPU, 메모리 사이즈인 인스턴스 타입을 선택합니다.

  • 모델, 모델 리비전 : 서빙에 사용할 모델과 모델 리비전을 선택합니다.

  • GPU 할당량 : 서빙에 사용할 할당량을 선택하고, 할당량에서 사용가능한 잔여 GPU 중 서빙에 사용할 GPU 수를 선택합니다.

  • args : 서빙 시 사용할 파라미터 정보를 입력합니다.

• 리비전 목록 탭에서 추가한 리비전을 더블 클릭합니다.

• LLM 리비전 상세 페이지에서 배포 버튼을 클릭합니다.

• LLM 서빙 리비전 배포가 승이되면 상태가 Online으로 바뀌고 모델 사용이 가능합니다.

LLM 서빙 확인하기

• 서빙 리비전이 배포 된 후 테스트 버튼을 클릭하여 모델의 동작을 확인할 수 있습니다.