모델 서빙 스케일 아웃

서빙 스케일아웃

• 서빙 리비전 추가를 진행합니다.

• 서빙 리비전 추가 방법은 LLM 모델 서빙 메뉴를 참고하세요.

• 리비전 목록에 서빙된 리비전이 2개가 되도록 하였습니다.

• 기본 정보 탭에서 수정버튼을 클릭합니다.

• 대표리비전 아이디 드롭다운 버튼을 눌러 서빙된 리비전을 2개 선택후 저장버튼을 누릅니다.

• 대표 리비전에 연결된 서빙 리비전이 2개로 설정되었습니다.

• 이제 대표리비전으로 호출하는 요청은 2개의 리비전으로 분산 처리 됩니다.