목차 설명하기에앞서 CICD를 위해 시도한 것들 project에 필요한 files Elastic Beanstalk 생성 CodePipeline 생성 1.설명하기에앞서 CICD를 위해 시도한 것들 githubaction ECR - ECS(EC2) - ALB Github Action은 사용하기 편했습니다. marketplace가 존재하여 원하는 flow는 쉽게 찾을 수 있었습니다. ECR - ECS(EC2)를 활용하여 배포를 했는데 t2-micro(프리티어용) 인스턴스로는 CD를 할 수 없었습니다. ENI가 최소 3개가 필요한데 t2-micro는 2개만 지원하기 때문에 아무리 soft memory를 줄여도 이를 해결할 수 없었습니다. fargate를 사용한다면 쉽게 해결할 수 있겠지만 사이드 프로젝트라서 비..
step1. root 아래에 .git-credentials 파일 생성 step2. github -> settings -> developer settings 에서 token 발행 (발행 권한 맨위에 1개만 체크해도 됨) - repo 권한 step3. step1에서 생성한 .git-credentials 아래에 https://[user id]:[token]@github.com 을 입력 ex) https://hojihun5516:ghp_ynQb3Y21Q1XdybCfoID4gq6j8pW3w1ubO@github.com step4. 터미널에 git config --global credential.helper store 입력
"eslint.codeAction.showDocumentation":{ "enable":true}, "eslint.alwaysShowStatus":true, "editor.formatOnSave":true, "editor.defaultFormatter":"esbenp.prettier-vscode", "editor.codeActionsOnSave":{ "source.fixAll":true}, 해당부분을 .vscode폴더를 만들어서 settings.json파일에 넣어주면된다 아래의 한줄은 현재 vscode경로에서 하위프로젝트들을 볼 때 추가해준다 "eslint.workingDirectories":[{"directory":"~~~","changeProcessCWD":true}]
1. 디자인 패턴 1.1 디자인 패턴이란? - 문제를 해결하는 방법을 패턴화해서 표현 - 반복적으로 발생하는 문제를 어떻게 해결할지에 대한 솔루션 - 추상화된 패턴 - 개발할 때 구조화된 패턴을 설명하는 용어 - 안티 패턴 : 좋지 않은 패턴 1.2 머신러닝 디자인 패턴 - Serving 패턴 : 모델을 Production 환경에 서빙하는 패턴 - Training 패턴 : 모델을 학습하는 패턴 - QA 패턴 : 모델의 성능을 Production 환경에서 평가하기 위한 패턴 - Operation 패턴 : 모델을 운영하기 위한 패턴 2. Serving 패턴 2.1 Web Single 패턴 장점 - 하나의 프로그래밍 언어로 진행 - 아키텍처의 단순함 - 처음 사용할 때 좋은 방식 단점 - 구성 요소 하나가 바..
1. Apache Airflow 소개 1.1 Batch Process란? 예약된 시간에 실행되는 프로세스 일회성(1회)도 가능하고, 주기적인 실행도 가능 ex. 이번 주 일요일 07:00에 1번 실행되는 프로세스 ex. 매주 일요일 07:00에 실행되는 프로세스 1.2 Batch Process - Airflow 등장 전 대표적인 Batch Process 구축 방법 : Linux Crontab 크론표현식 자주 사용되는 크론표현식 크론 메이커 http://www.cronmaker.com CronMaker www.cronmaker.com 크론 해석기 https://crontab.guru/ Crontab.guru - The cron schedule expression editor crontab.guru 크론탭의..
1. BentoML 1.1 Introduction 만약 30개~50개의 모델을 만들어야 한다면? 많은 모델을 만들다보니 반복되는 작업이 존재(Config, FastAPI 설정 등) 여전히 Serving은 어렵다 더 쉬운 개발을 위해 본질적인 “Serving”에 특화된 라이브러리를 원하게 됨 이런 목적의 라이브러리들이 점점 등장하기 시작 1.2 BentoML 소개 위의 문제로인해 많은 라이브러리가 등장하고 있음 1.3 BentoML 특징 Serving에 집중하는 가벼운 Library, BentoML - 쉬운 사용성 - Online / Offline Serving 지원 - Tensorflow, PyTorch, Keras, XGBoost 등 Major 프레임워크 지원 - Docker, Kubernetes, A..
1. CI/CD 1.1 현업 개발 프로세스 Local - 각자의 컴퓨터에서 개발 - 각자의 환경을 통일시키기 위해 Docker 등을 사용 Dev - Local에서 개발한 기능을 테스트할 수 있는 환경 - Test 서버 Staging - Production 환경에 배포하기 전에 운영하거나 보안, 성능 측정하는 환경 - Staging 서버 Production - 실제 서비스를 운영하는 환경 - 운영 서버 1.2 CI/CD 개념 Continuous Integration, 지속적 통합 - 새롭게 작성한 코드 변경 사항이 Build, Test 진행한 후 Test Case에 통과했는지 확인 - 지속적으로 코드 품질 관리 - 10명의 개발자가 코드를 수정했다면 모두 CI 프로세스 진행 =>빌드 테스트 자동화 Cont..
