no

Background 2019년도에 발표된 논문 Multi-Task Learning 이론 가정: 스키를 타던 사람은 타지 않았던 사람보다 스케이팅을 더 잘 탈 것이다. 특정 task에 overfitting을 방지해주며, regularization 효과를 줄 것이다. GLUE Benchmark 인간의 언어 능력을 인공지능이 얼마나 따라왔는지 정량적 성능지표를 만든 것이 GLUE (General Language Understanding Evaluation) Benchmark라고 할 수 있다. 여러가지 테스크(Textual Entailment, Sentiment Analysis, QA ..)들이 존재한다. Keyword Shared Layers 여러 테스크들 학습시에 공유되는 layers Task Specifi..

Background Encoder, Decoder Auto Encoder Pretraining Abstract 기존 토큰 별로 mask 하여 학습한 것과 달리, segment 단위로 학습을 진행함. Methods Reference https://www.youtube.com/watch?v=v7diENO2mEA

Keywords XLNet = BERT + GPT = auto encoder + auto regressive XLNet maximizes the expected log likelihood of a sequence w.r.t. all possible permutations of the factorization order. Task Agnostic Factorization order AR formula permutation calculation Background Pre-Training Auto Encoding 의미: 어떤 값을 그대로 복원 (토큰에 노이즈를 준다음, 해당 토큰 복원) 문제점 Mask token 토큰이 독립적으로 예측 되기 때문에 token 사이의 dependency는 학습할 수 없음. (e..

GPT2 Purpose Fine-tuning 없이 unsupervised pre-training 만을 통해 Zero-shot으로 down-stream task를 진행할 수 있는 General language model을 개발. Background RNN 같은 구조를 탈피해서 transformer 구조를 사용했다는 것에 의의가 있다. 하지만 한계는 unsupervised learning을 지향했음에도 특정 task에 적용할 때 성능 향상을 위해서 fine-tuning 과정과 input transformation이 들어갔다는 것이다. 결국 fine-tuning과정에서 supervised learning이 필요로하는 한계가 있다. 비지도 학습만으로 모델이 만들어지면 더욱 다양하고 범용적으로 사용할 수 있을 것..

GPT 설명Conclusion: 학습된 모델에 downstream task를 추가해서 supervised fine-tuning 하면 성능이 더 좋았다.Unsupervised pre-training을 학습하는 과정과 의미는 다음과 같다. k size context window를 설정한다. 특정한 단어가 만약 i번째라면 i-1 부터 i-k번째까지의 단어를 보고, i번째가 나올 가능성을 최대화하는 방법을 통해 라벨이 없는 데이터에서도 학습이 가능하도록 한다. 비지도 학습을 설계 즉, i번째 text가 나올 확률에 대해서 최대화 하는 것이기 때문에 maxmize likelihood(우도 최대화) 기법을 loss function으로 설정하여 학습한다!!! SGD를 활용하여 backpropagation을 한다. U..

NLP 연구원분들이 기초 다지기 좋은 문서를 추천해주었다. 출처: https://wikidocs.net/21667 01. 자연어 처리(natural language processing) 준비하기 자연어(natural language)란 우리가 일상 생활에서 사용하는 언어를 말합니다. 자연어 처리(natural language processing)란 이러한 자연어의 의미를… wikidocs.net 필자가 나중에 보기 편하게 요약한 것이다. 목차는 다음과 같다. - 텍스트 전처리 - 언어 모델 - 카운트 기반 단어 표현 - 벡터의 유사도 - 머신 러닝 개요 - 딥러닝 개요 - 순환 신경망 - 워드 임베딩 - RNN을 이용한 텍스트 분류 - NLP를 위한 합성곱 신경망 - 태깅 작업 - 서브워드 토크나이저 -..