반응형 스터디/Generative AI3 [AI] 전이 학습 기반 언어 모델 편향성 전이 학습 기반 언어 모델 Transfer Learning(전이 학습) 주어진 학습 데이터는 적은데 모델의 정확도와 학습 속도를 높이고 싶을 때 사용하는 학습 방법입니다. 학습하려는 데이터와 유사한 데이터가 많을 때, 혹은 유사한 데이터로 학습한 모델이 이미 존재할 때 이를 이용하는 방식입니다. Attention Mechanism(어텐션 메커니즘) 기본 아이디어 디코더에서 단어를 예측하는 시점마다(time step) 인코더에서 전체 문장을 다시 한번 본다는 것입니다. 단, 전체 문장을 전부 동일한 비율로 보는 것이 아니라, 연관된 부분을 집중해서 보는 것입니다. 그래서 집중(Aattention) 메커니즘이고, 결국 Task를 더 잘 풀기 위해 제안되었습니다. 전이 학습을 이용한 언어 모델 전이 학습을 이.. 2023. 6. 21. [Generative AI] Chat GPT Chat GPT Chat GPT는 OpenAI가 개발한 대화형 인공지능 모델 중 하나입니다. 자연어 처리와 기계 학습을 활용하여, 인간과 컴퓨터 간의 대화를 모방하고 이해하는 능력을 가지고 있습니다. 머신러닝 알고리즘을 사용하여 인간과 대화하는 것처럼 자연스러운 대화를 제공합니다. 모델은 이전 대화 기록과 맥락을 분석하여, 특정 주제에 대한 질문에 대한 답변을 제공하거나, 일상 대화를 수행할 수 있습니다. 이 모델은 인공지능 챗봇, 개인 비서, 자동 응답 시스템, 자동 번역기 등 다양한 분야에서 활용될 수 있습니다. Chat GPT는 GPT-3.5 아키텍처를 사용하여, 1750억 개의 파라미터를 가지고 있습니다. 이는 이전 버전인 GPT-3 모델보다 약 116배 더 많은 파라미터를 가지고 있어, 더욱 정.. 2023. 3. 29. [Generative AI] Generative AI(생성 AI) Generative AI Generative AI는 인공지능 기술 중 하나로, 새로운 콘텐츠를 만들어내는 능력을 갖춘 기술을 말합니다. 이러한 콘텐츠는 이미지, 음악, 음성, 텍스트 등 다양한 형태일 수 있습니다. Generative AI는 대표적으로 딥러닝 알고리즘인 GAN(Generative Adversarial Network)과 VAE(Variational Autoencoder) 등이 있습니다. GAN은 생성자(generator)와 판별자(discriminator) 두 개의 신경망을 사용하여, 새로운 이미지를 만들어내는 생성자가 진짜 이미지와 구분할 수 없도록 판별자를 속이는 방식으로 동작합니다. 반면 VAE는 이미지를 압축하여 잠재 변수(latent variable)로 만들어 이를 조작하여 새로운.. 2023. 3. 28. 이전 1 다음 반응형
