다루지 못한 것들
MLOps Component
MLOps Concepts에서 다루었던 컴포넌트를 도식화하면 다음과 같습니다.
이 중 모두의 MLOps 에서 다룬 기술 스택들은 다음과 같습니다.
보시는 것처럼 아직 우리가 다루지 못한 많은 MLOps 컴포넌트들이 있습니다.
시간 관계상 이번에 모두 다루지는 못했지만, 만약 필요하다면 다음과 같은 오픈소스들을 먼저 참고해보면 좋을 것 같습니다.
세부 내용은 다음과 같습니다.
Mgmt. | Component | Open Soruce |
---|---|---|
Data Mgmt. | Collection | Kafka |
Validation | Beam | |
Feature Store | Flink | |
ML Model Dev. & Experiment | Modeling | Jupyter |
Analysis & Experiment Mgmt. | MLflow | |
HPO Tuning & AutoML | Katib | |
Deploy Mgmt. | Serving Framework | Seldon Core |
A/B Test | Iter8 | |
Monitoring | Grafana, Prometheus | |
Process Mgmt. | pipeline | Kubeflow |
CI/CD | Github Action | |
Continuous Training | Argo Events | |
Platform Mgmt. | Configuration Mgmt. | Consul |
Code Version Mgmt. | Github, Minio | |
Logging | (EFK) Elastic Search, Fluentd, Kibana | |
Resource Mgmt. | Kubernetes |