Hello world!

머신러닝 4

[추천시스템] Wide & Deep Learning for Recommender systems paper

#GOOGLE 논문 #추천 시스템 #2016년도 해당 논문은 구글 Play store 앱 추천 시스템을 위한 논문이다. 해당 논문에서는 Memorization + Generalization을 동시에 만족하는 추천시스템을 만들고자 한다. 1. Memorization: linear model 통해서 feature들간의 연관성 파악 2. Generalization: neural network를 통해서 과거에 전혀 발생하지 않았거나 거의 발생하지 않은 새로운 feature 파악 Memorization의 문제점은 학습 데이터에 없던 feature 에 대해서는 파악하기가 힘들다. 이를 DNN 같은 딥러닝 기법을 사용해서 보완 할 수있다. 따라서, 해당 논문은 linear model component와 neural ..

TFX Guide Local pipeline example

TFX guide에 있는 예시를 간단히 진행해보려 한다. 이를 통해서 TFX의 컴포넌트의 I/O를 간략히 살펴볼 수 있다. https://www.tensorflow.org/tfx/guide/build_local_pipeline 로컬에서 TFX 파이프라인 구축 | TensorFlow TFX에 새로운 것을 추가하는 전 세계 개발자 커뮤니티에 참여하세요! TFX 애드온 가입 이 페이지는 Cloud Translation API를 통해 번역되었습니다. Switch to English 로컬에서 TFX 파이프라인 구축 TFX를 사용 www.tensorflow.org 해당 링크를 차근 차근 따라서 구성을 파악해보자. tfx template copy --model='taxi' --pipeline_name='taxi_tu..

MLOps 2022.04.25

ML pipeline 이란?

머신러닝과 딥러닝에서 가장 중요한 지표는 "성능"이라는 것은 누구도 반박할 수 없을 것이다. 그렇다면 모델의 성능만 높이면 머신러닝 프로젝트는 끝났다고 할 수 있을 것인가? 그렇지 않다. 머신러닝 프로젝트에서 "성능"은 필수 구성품중 하나이지 모든 것을 커버하지 않는다. 이 말은 머신러닝 프로젝트에는 Data load, Preprocessing, EDA, Data Split, Model training, Model validation, Model serving, API service, Monitoring, etc .. 등 굉장히 많은 작업들이 필요하다. 심지어 시스템의 보안, 안전성, lag 처리, 빅데이터 관리 등 수 많은 요소들이 존재한다. 즉, 모델을 학습시키는 일련의 과정(pipeline)의 중요..

MLOps 2022.04.18