🍭

(211010) Diary: Multi & Cross-Lingual Language Model

211010 Diary BERT

회사에서 한글로 작성된 데이터를 분석하고, 과거 연구실에서 영어(혹은 한글) Corpus만을 다루었던 나는 다양한 언어를 지원하는 LM(s)에 대해 생각해 볼 기회가 거의 없었다. 최근 공부를 하던 중 XLM 논문을 보게 되었고, 스스로 해당 내용(Multi, Cross-Lingual LM)에 관한 지식이 부족하다고 판단하여 관련 연구들을 찾아 간략하게 살펴보았다.

Multilingual LM: BERT

KoBERT를 시작으로 KoELECTRA, KLUE-RoBERTa 등 성능이 좋은 한국어 LM들이 등장하기 이전에는 Google에서 공개한 Multilingual Cased BERT(M-BERT)를 주로 사용했다고 한다. Multilingual LM이란 복수의 언어로 구성된 Corpus를 학습한 모델로, M-BERT의 경우 100여 개의 언어를 학습하고, 언어들 간에 110K Size의 WordPiece Vocab을 공유한다. M-BERT는 일반적인 BERT와 동일한 방식으로 학습되었음에도, Zero-Shot Cross-Lingual Transfer(Generalization)에서 좋은 성능을 보인다.

Cross-Lingual LM: XLM

Cross-Lingual LM은 단순히 복수의 언어를 학습하는 Multilingual한 방식+다른 언어의 동일한 표현들을 유사한 Embedding Space로 Mapping하도록 학습한 모델이다. M-BERT는 동일한 Embedding Space에 모든 언어 표현들을 Mapping하지만, 같은 의미의 표현들이 유사한 Embedding 값을 갖도록 학습하지 않았기에 Cross-Lingual하다고 볼 수 없다. 그럼에도 Google 논문에 의하면, 언어들의 Typological Features(SVO 순서 등)까지 Catch하는 Multilingual Representation 능력으로 인해 Cross-Lingual Generalization에서 좋은 성능을 보일 수 있다고 한다.

Cross-Lingual Training Objective를 통해 LM을 명시적으로 학습시킬 수 있는데, Facebook에서 관련 연구들을 많이 수행하는 듯 하다. 연구실에서 Unsupervised Translation을 위한 Facebook의 Cross-Lingual Word & Sentence Embedding 논문을 읽은 적이 있다. XLM 역시 동일한 저자의 연구로, 다음과 같이 간략히 내용을 추릴 수 있다.

•

Monolingual Data를 활용하는 Unsupervised Pre-Taining Objectives 2개: Casual LM(CLM), Masked LM(MLM) 제안

•

Parallel Data를 활용하는 Supervised Pre-Training Objective: Translation LM(TLM) 제안

•

CLM, MLM, MLM+TLM으로 XNLI, Supervised & Unsupervised Translation에서 SOTA의 성능을 냄

•

무엇보다 Labeled Data가 많은 언어에서 적은 언어로 Cross-Lingual Transfer를 통해 Training Resource가 부족한 언어의 LM 성능을 향상시킬 수 있음