Skip to content

Commit

Permalink
added sagemaker content
Browse files Browse the repository at this point in the history
  • Loading branch information
Gracechung-sw committed May 26, 2024
1 parent 8efba90 commit d7c9cb6
Show file tree
Hide file tree
Showing 4 changed files with 64 additions and 0 deletions.
64 changes: 64 additions & 0 deletions aws-sagemaker/README.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,64 @@
# SageMaker를 활용한 머신러닝 상품화

## ToC

- [SageMaker란?](#sagemaker란)
- [Data Scientist가 쓸 수 있는 SageMaker 기능](#data-scientist가-쓸-수-있는-sagemaker-기능)
- [ML Engineer가 쓸 수 있는 SageMaker 기능](#ml-engineer가-쓸-수-있는-sagemaker-기능)
- [SageMaker의 제공 기능](#sagemaker의-제공-기능)
- [그래서 어떻게 AWS SageMaker로 pipeline을 구성하면 되냐면,](#그래서-어떻게-aws-sagemaker로-pipeline을-구성하면-되냐면)
- [SageMaker 구성 요소](#sagemaker-구성-요소)
- [SageMaker를 강력하게 만들어주는 SageMaker와 AWS 서비스들의 통합](#sagemaker를-강력하게-만들어주는-sagemaker와-aws-서비스들의-통합)
- [Amazon SageMaker 실습](#amazon-sagemaker-실습)

## SageMaker란?

- AWS에서 제공하는 Full managed Machine Learning Service
- ML 모델의 개발, 훈련, 배포를 단순화하고 자동화하는 도구를 제공하여 개발자와 데이터 과학자들이 Machine Learning 어플리케이션을 쉽게 구축할 수 있도록 도와줌

## Data Scientist가 쓸 수 있는 SageMaker 기능

![untitled](./img/sagemaker-data-scientist.jpeg)

## ML Engineer가 쓸 수 있는 SageMaker 기능

![untitled](./img/sagemaker-ml-engineer.jpeg)

## SageMaker의 제공 기능

- 데이터 준비: 데이터 수집, 데이터 탐색 및 분석, Feature Engineering
- 빌드, 학습 및 배포: 머신러닝 모델을 빌드, 학습 및 배포할 수 있는 다양한 도구를 제공. SageMaker Notebook을 사용하여 모델 학습을 위한 커스텀 환경을 구축하거나, SageMaker Training을 사용하여 분산 학습을 실행
- 자동화된 MLOps: 자동화하기 위한 다양한 기능을 제공. SageMaker Pipelines를 사용하여 자동화된 모델 빌드, 학습 및 배포 파이프라인을 생성. SageMaker Model Monitor를 사용하여 모델의 성능과 예측을 모니터링. SageMaker Debugger를 사용하여 모델 디버깅을 자동화하고, SageMaker Experiments를 사용하여 모델 실험을 관리
- 강력한 보안 및 규정 준수: 머신러닝 모델에 대한 강력한 보안 기능을 제공. 데이터 암호화, 모델 암호화, 모델 릴리즈 승인 프로세스, 모델 로깅 및 감시 추적 기능 등을 제공

### 그래서 어떻게 AWS SageMaker로 pipeline을 구성하면 되냐면,

![untitled](./img/sagemaker-pipeline.jpeg)

## SageMaker 구성 요소

- **Data Preparation**: Amazon S3, Amazon DynamoDB, Amazon RDS, Aurora 등과 같은 다양한 데이터 저장소를 통해 데이터를 저장하고 검색할 수 있음
- **Notebook Instance**: Machine Learning 모델 개발 및 실험을 위해 Jupyter Notebook Instance를 생성할 수 있음
- **Training Instance**: GPU, CPU, CPU-GPU 혼합 등의 다양한 Instance를 지원하여 높은 처리 속도로 Machine Learning 모델을 학습할 수 있음
- **Deploy Instance**: 학습된 모델을 배포하고 각종 이미지 파일 형식으로 저장할 수 있음
- **Endpoint**: Machine Learning 모델의 실시간 추론 instance로 외부 요청을 받아 실시간으로 응답을 제공

## SageMaker를 강력하게 만들어주는 SageMaker와 AWS 서비스들의 통합

- **AWS Lambda**
- ex. 외부 Rest API를 Lambda로 날려서, 이와 연동된 sagemaker의 workflow management를 할 수 있다.
- **AWS Glue**
- **AWS Step Functions**
- ex. CICD를 구체화할 수 있다.
- **AWS IoT**

## Amazon SageMaker 실습

- Free Account 신청 및 환경 설정
- Data Labeling, EDA, Feature Engineering
- Model Training
- Hyper Parameter Tuning
- Model Bias Detection
- ML Pipeline
- ML Monitoring
- Trigger based Model Training
Binary file added aws-sagemaker/img/sagemaker-data-scientist.jpeg
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added aws-sagemaker/img/sagemaker-ml-engineer.jpeg
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added aws-sagemaker/img/sagemaker-pipeline.jpeg
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.

1 comment on commit d7c9cb6

@github-actions
Copy link

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

MODEL METRICS

Training variance explained: 33.0%
Test variance explained: 32.0%

Data viz

feature_importance
residuals

Please sign in to comment.