모델 서빙 스케일 아웃

서빙 스케일아웃

• 서빙 리비전 추가를 진행합니다.

• 서빙 리비전 추가 방법은 LLM 모델 서빙 메뉴를 참고하세요.

• 리비전 목록에 서빙된 리비전이 2개가 되도록 하였습니다.

• 기본 정보 탭에서 수정 버튼을 클릭합니다.

• 대표리비전의 트래픽을 분배하여 저장 버튼을 누릅니다.

• 대표 리비전에 연결된 서빙 리비전의 트래픽 분배를 설정하였습니다. 이제 대표리비전으로 호출하는 요청은 비율에 맞게 분산 처리 됩니다.