반응형 BERT3 [AI] 전이 학습 기반 언어 모델 편향성 전이 학습 기반 언어 모델 Transfer Learning(전이 학습) 주어진 학습 데이터는 적은데 모델의 정확도와 학습 속도를 높이고 싶을 때 사용하는 학습 방법입니다. 학습하려는 데이터와 유사한 데이터가 많을 때, 혹은 유사한 데이터로 학습한 모델이 이미 존재할 때 이를 이용하는 방식입니다. Attention Mechanism(어텐션 메커니즘) 기본 아이디어 디코더에서 단어를 예측하는 시점마다(time step) 인코더에서 전체 문장을 다시 한번 본다는 것입니다. 단, 전체 문장을 전부 동일한 비율로 보는 것이 아니라, 연관된 부분을 집중해서 보는 것입니다. 그래서 집중(Aattention) 메커니즘이고, 결국 Task를 더 잘 풀기 위해 제안되었습니다. 전이 학습을 이용한 언어 모델 전이 학습을 이.. 2023. 6. 21. [AI] Deep Learning 딥러닝 기본 이해_BERT(Bidirectional Encoder Representation Transformer) Deep Learning 딥러닝 기본 이해 Layer Level Model Level Manifold Learning(매니폴드 학습) Representation Learning(표현 학습) Transfer Learning(전이 학습) Meta Learning(메타 학습) Semi Supervised Learning(반지도 학습) Self Supervised Learning(자기 지도 학습) Transformer(트랜스포머) Attention Mechanism(어텐션 메커니즘) BERT(Bidirectional Encoder Representation Transformer) Transformer architecture을 중점적으로 사용한 BERT는 Language Representation을 해결하기 위해.. 2023. 6. 17. [AI] Deep Learning 딥러닝 기본 이해_Attention Mechanism Deep Learning 딥러닝 기본 이해 Layer Level Model Level Manifold Learning(매니폴드 학습) Representation Learning(표현 학습) Transfer Learning(전이 학습) Meta Learning(메타 학습) Semi Supervised Learning(반지도 학습) Self Supervised Learning(자기 지도 학습) Transformer(트랜스포머) Attention Mechanism(어텐션 메커니즘) Attention Mechanism(어텐션 메커니즘) 기본 아이디어 디코더에서 단어를 예측하는 시점마다(time step) 인코더에서 전체 문장을 다시 한번 본다는 것입니다. 단, 전체 문장을 전부 동일한 비율로 보는 것이 아니라,.. 2023. 6. 17. 이전 1 다음 반응형
