📌 주니어 PM 혼자 AI 기초 공부: 마스크 언어 모델링(Masked Language Modeling, MLM) 1. 소개마스킹 학습(Masked Learning), 또는 마스크 언어 모델링(Masked Language Modeling, 이하 MLM)은 대형 언어 모델(LLM)의 사전 훈련 기법 중의 하나입니다. 특히 자연어 처리(NLP) 분야의 딥러닝 모델(BERT, GPT의 일부)을 훈련하는 데 사용되는 자기 지도 학습(Self-Supervised Learning) 방법입니다. MLM은 입력한 문장의 일부 단어를 무작위로 가리고(MASK 토큰), 모델이 문장의 맥락을 바탕으로 가려진 단어를 예측하며 학습합니다. 이는 '빈칸 채우기(fill-in-the-blank)'와 유사합니다. 모델이 빈 칸 앞..
