no

Airflow란? 2015년도 Airbnb에서 배포. (language: Python) airflow는 복잡한(ex.DAG) workflow의 스케쥴링 및 실행을 관리하는 솔루션 ex) User Interface를 통하여 schedule과 모니터링을 할 수 있음. airflow는 현재 가장 인기 있는 orchestration, 기준(github stars) 4. DAG(Directed Acyclic Graph) Airflow는 파이프라인을 DAG 형태로 관리 할 수 있다. 즉, 복잡한 workflow도 관리할 수 있다. 5.Batch processing(o), streaming (x) 메시지 애플리케이션 같은 streaming process에는 적합하지 않다. 오히려 kafka(low latency)에 ..

#TFX 장점: 파이프라인을 실행하기 위해 코드 작성이 필요 없다(예외: feature engineering, modeling) 파이프라인을 위한 components가 모두 미리 구현 되어있다. Components 설명 TFX 파이프라인의 10가지 components들의 기능을 설명하고자 한다. ExampleGen: 데이터를 TFX 파이프라인의 component가 읽을 수 있도록 변환해준다. StatisticsGen: 데이터셋의 통계 분석 SchemaGen: 데이터 셋의 통계를 통해 스키마 자동 생성 (추후에 사용자가 수정) ExampleValidator: 새로운 데이터가 들어왔을 때 StatisticsGen의 결과를 이용하여 데이터 검증(이상치, skewness, 등 파악) How?: 아직은 잘모르겠다..

protobuf(library) 개념에 대해 알아보자 공식 문서: https://developers.google.com/protocol-buffers protobuf(protocol buffers) 란? •프로토콜 버퍼는 구조화된 데이터를 직렬화 하는 방식이며 라이브러리이다. •구글에서 개발했으며, 15년 정도 개발 과정을 겪었다. •버전은 2가지로 존재한다.proto2, proto3(더많은 언어 지원) 장단점 •장점: •크기(용량)가 작으며 JSON 보다 빠르다. •Native language binding을 제공한다 •Native language: 컴퓨터가 이해할 수 있는 언어 ex.Binary는 컴퓨터가 이해할 수 있는 언어이다 •Language binding: 두개의 프로그램 언어의 연결(bind..

TFX guide에 있는 예시를 간단히 진행해보려 한다. 이를 통해서 TFX의 컴포넌트의 I/O를 간략히 살펴볼 수 있다. https://www.tensorflow.org/tfx/guide/build_local_pipeline 로컬에서 TFX 파이프라인 구축 | TensorFlow TFX에 새로운 것을 추가하는 전 세계 개발자 커뮤니티에 참여하세요! TFX 애드온 가입 이 페이지는 Cloud Translation API를 통해 번역되었습니다. Switch to English 로컬에서 TFX 파이프라인 구축 TFX를 사용 www.tensorflow.org 해당 링크를 차근 차근 따라서 구성을 파악해보자. tfx template copy --model='taxi' --pipeline_name='taxi_tu..