no

Background 2019년도에 발표된 논문 Multi-Task Learning 이론 가정: 스키를 타던 사람은 타지 않았던 사람보다 스케이팅을 더 잘 탈 것이다. 특정 task에 overfitting을 방지해주며, regularization 효과를 줄 것이다. GLUE Benchmark 인간의 언어 능력을 인공지능이 얼마나 따라왔는지 정량적 성능지표를 만든 것이 GLUE (General Language Understanding Evaluation) Benchmark라고 할 수 있다. 여러가지 테스크(Textual Entailment, Sentiment Analysis, QA ..)들이 존재한다. Keyword Shared Layers 여러 테스크들 학습시에 공유되는 layers Task Specifi..

Background Encoder, Decoder Auto Encoder Pretraining Abstract 기존 토큰 별로 mask 하여 학습한 것과 달리, segment 단위로 학습을 진행함. Methods Reference https://www.youtube.com/watch?v=v7diENO2mEA

Keywords XLNet = BERT + GPT = auto encoder + auto regressive XLNet maximizes the expected log likelihood of a sequence w.r.t. all possible permutations of the factorization order. Task Agnostic Factorization order AR formula permutation calculation Background Pre-Training Auto Encoding 의미: 어떤 값을 그대로 복원 (토큰에 노이즈를 준다음, 해당 토큰 복원) 문제점 Mask token 토큰이 독립적으로 예측 되기 때문에 token 사이의 dependency는 학습할 수 없음. (e..

GPT2 Purpose Fine-tuning 없이 unsupervised pre-training 만을 통해 Zero-shot으로 down-stream task를 진행할 수 있는 General language model을 개발. Background RNN 같은 구조를 탈피해서 transformer 구조를 사용했다는 것에 의의가 있다. 하지만 한계는 unsupervised learning을 지향했음에도 특정 task에 적용할 때 성능 향상을 위해서 fine-tuning 과정과 input transformation이 들어갔다는 것이다. 결국 fine-tuning과정에서 supervised learning이 필요로하는 한계가 있다. 비지도 학습만으로 모델이 만들어지면 더욱 다양하고 범용적으로 사용할 수 있을 것..

GPT 설명Conclusion: 학습된 모델에 downstream task를 추가해서 supervised fine-tuning 하면 성능이 더 좋았다.Unsupervised pre-training을 학습하는 과정과 의미는 다음과 같다. k size context window를 설정한다. 특정한 단어가 만약 i번째라면 i-1 부터 i-k번째까지의 단어를 보고, i번째가 나올 가능성을 최대화하는 방법을 통해 라벨이 없는 데이터에서도 학습이 가능하도록 한다. 비지도 학습을 설계 즉, i번째 text가 나올 확률에 대해서 최대화 하는 것이기 때문에 maxmize likelihood(우도 최대화) 기법을 loss function으로 설정하여 학습한다!!! SGD를 활용하여 backpropagation을 한다. U..

주제: 금융 데이터 분석 해야할일 - 랜딩페이지 제작 - 해외 코인 관련 커뮤니티 (레딧, 스팀잇) - 유튜브, 틱톡, 인스타 홍보 2023-04-05 Backend Pipeline 테스트 과정 중 문제점 발생. 서드파티로 부터 request response가 제대로 전달이 안된다. retrying 모듈을 사용해서 보완을 해보려하지만, 완벽히 되지 않는다. 5분별로 테스트하여 몇번 실패하는지 측정해야한다. 2023-04-07 우피와 노션을 통해서 랜딩페이지를 만들었다. https://heartbit.oopy.io/ Manage Your Risk with Heartbit Heartbit provides risk information in the cryptocurrency market. heartbit.oo..

NLP 연구원분들이 기초 다지기 좋은 문서를 추천해주었다. 출처: https://wikidocs.net/21667 01. 자연어 처리(natural language processing) 준비하기 자연어(natural language)란 우리가 일상 생활에서 사용하는 언어를 말합니다. 자연어 처리(natural language processing)란 이러한 자연어의 의미를… wikidocs.net 필자가 나중에 보기 편하게 요약한 것이다. 목차는 다음과 같다. - 텍스트 전처리 - 언어 모델 - 카운트 기반 단어 표현 - 벡터의 유사도 - 머신 러닝 개요 - 딥러닝 개요 - 순환 신경망 - 워드 임베딩 - RNN을 이용한 텍스트 분류 - NLP를 위한 합성곱 신경망 - 태깅 작업 - 서브워드 토크나이저 -..

('https://www.youtube.com/channel/UCNZmDvoLwjS6B_n2R'이하 'Heartbit')은(는) 「개인정보 보호법」 제30조에 따라 정보주체의 개인정보를 보호하고 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다. ○ 이 개인정보처리방침은 2022년 1월 1부터 적용됩니다. 제1조(개인정보의 처리 목적) ('https://www.youtube.com/channel/UCNZmDvoLwjS6B_n2R'이하 'Heartbit')은(는) 다음의 목적을 위하여 개인정보를 처리합니다. 처리하고 있는 개인정보는 다음의 목적 이외의 용도로는 이용되지 않으며 이용 목적이..

from collections import Counter list1 = ["a", "b", "c", "d"] list2 = ["a", "b", "c"] answer = Counter(list1) - Counter(list2) # 출력: Counter({'d': 1}) answer = Counter(list1) + Counter(list2) # 출력: Counter({'a': 2, 'b': 2, 'c': 2, 'd': 1})

Airflow란? 2015년도 Airbnb에서 배포. (language: Python) airflow는 복잡한(ex.DAG) workflow의 스케쥴링 및 실행을 관리하는 솔루션 ex) User Interface를 통하여 schedule과 모니터링을 할 수 있음. airflow는 현재 가장 인기 있는 orchestration, 기준(github stars) 4. DAG(Directed Acyclic Graph) Airflow는 파이프라인을 DAG 형태로 관리 할 수 있다. 즉, 복잡한 workflow도 관리할 수 있다. 5.Batch processing(o), streaming (x) 메시지 애플리케이션 같은 streaming process에는 적합하지 않다. 오히려 kafka(low latency)에 ..