BentoML

1. BentoML

1.1 Introduction

만약 30개~50개의 모델을 만들어야 한다면?

많은 모델을 만들다보니 반복되는 작업이 존재(Config, FastAPI 설정 등)

여전히 Serving은 어렵다

 

더 쉬운 개발을 위해 본질적인 “Serving”에 특화된 라이브러리를 원하게 됨

이런 목적의 라이브러리들이 점점 등장하기 시작

1.2 BentoML 소개

위의 문제로인해 많은 라이브러리가 등장하고 있음

1.3 BentoML 특징

Serving에 집중하는 가벼운 Library, BentoML

- 쉬운 사용성

- Online / Offline Serving 지원

- Tensorflow, PyTorch, Keras, XGBoost 등 Major 프레임워크 지원

- Docker, Kubernetes, AWS, Azure 등의 배포 환경 지원 및 가이드 제공

- Flask 대비 100배의 처리량 - 모델 저장소(Yatai) 웹 대시보드 제공

- 데이터 사이언스와 DevOps 사이의 간격을 이어주며 높은 성능의 Serving이 가능하게 함

1.4 BentoML이 해결하는 문제

문제 1: Model Serving Infra의 어려움

문제 2: Online Serving의 Monitoring 및 Error Handling

문제 3: Online Serving 퍼포먼스 튜닝의 어려움

 

2. BentoML 시작하기

2.1 BentoML 설치하기

BentoML은 python 3.6 이상 버전을 지원

pip install bentoml

2.2 BentoML 사용 Flow

api서버를 만드는 high level 프레임워크

 

3. BentoML Component

3.1 BentoService

3.2 Service Environment

3.3 Model Artifact

3.4 Model Artifact Metadata

3.5 Model Management & Yatai

3.6 API Function and Adapters

3.7 Model Serving

3.8 Labels

3.9 Retrieving BentoServices

3.10 WEB UI

 

4. BentoML으로 Serving 코드 리팩토링하기

4.1 BentoService 정의하기

4.2 Model Pack