ML Metadata란?
workflow에 관한 것들을 기록 및 트래킹 해주는 라이브러리이다.
따라서, 예시로 아래와 같은 질문을 Metadata로 부터 얻을 수 있다.
- Which dataset did the model train on?
- What were the hyperparameters used to train the model?
- Which pipeline run......
그림을 더 자세히 설명해보자.
1. TFX pipeline(workflow)가 실행되면 각 components 별 Input/Ouput/meta 정보 들이 나오게 되는데, 이를 MLMD library를 통해서 데이터베이스(MetadataStore)에 저장되게 된다.
2. 그림1에서 볼 수 있듯이 Metadata Store에는 Context, Artifact, ArtifactsType, Execution, ExecutionType 같은 것들이 있다. 이러한 것을 data model 이라고 불린다.
data model은 메타데이터를 Table 형태로 기록한다.
data model 종류. 설명은 해당 링크에 있다.
1. ArtifactType
2. Artifact
3. ExecutionType
4. Execution
5. Event
6. ContextType
7. Context
8. Attribution
9. Association
실제 파이프라인을 run 하게 되면 metadata.db 에 위의 data model들이 생성된다.
metadata.db를 단순히 열어 볼 수 없다.
따라서, SQLite를 이용하여 열어보자.
ex)
Artifact
'MLOps' 카테고리의 다른 글
| tf.Example과 TFRecord (0) | 2022.07.27 |
|---|---|
| TFX components (0) | 2022.07.27 |
| Protocol Buffers, Protobuf (0) | 2022.04.28 |
| TFX Guide Local pipeline example (0) | 2022.04.25 |
| Practitioners guide to MLOps (0) | 2022.04.25 |