버트
-
[부캠]NLP 05 (NLP pre-trained model)AI 부캠 2021. 2. 21. 21:18
Self supervised pretraining model GPT-1 BERT GPT-2 GPT-3 ALBERT ELECTRA Light-weight Models Fusing Knowledge Graph into Language Model Self supervised pretraining models 딥러닝 모델에는 supervised model과 unsupervised model이 있다. supervised model은 특정한 label이 있어서 그것을 맞추는 문제 ex) classification unsupervised model은 label이 없이 거리, 밀도 등 데이터에서 얻을 수 있는 특징으로 푸는 문제 ex) clustering Self supervised model은 그 중간에 존재한다. ..