🧁

(210920) Review: Taming Pre-trained Language Models with N-gram Representations for Low-Resource Domain Adaptation

210920 Review Domain Adaptation

ACL 2021에서 발표된 논문으로, n-grams 정보를 Data와 함께 Feed 해줌으로써 LM이 Domain-Specific Data의 Representations를 효율적으로 학습할 수 있도록 하는 기법을 제시한다. 직관적이고 간단한 방식과 Low-Resource로도 좋은 성능을 내는 점이 논문의 강력한 장점이라고 생각한다.

Problems: Domain Adaptation

Generic Data로 학습된 LM은 Domain-Specific한 Downstream Task일수록, 해당 Data Set에서 성능이 Degradation되는 성향을 보인다. 최근 연구들은 Domain-Specific Data를 활용한 LM의 Further Pre-Training(DAPT)이 성능 개선에 도움이 됨을 증명하고 있으나, 위 방법 역시 몇 가지 문제점을 갖는다. 저자는 DAPT의 문제로 크게 2가지에 주목하는데,

•

많은 양의 Domain-Specific Data가 필요하다는 점

•

Generic, Domain-Specific Data의 Gap을 Word Level에서만 다루고 있다는 점

이다. 2번째 문제가 본 논문에서 핵심적으로 다루는 내용으로, 기존의 연구들이 Domain-Specific한 단어들을 Generic Tokenizer가 여러 개의 Subwords로 분해하는 문제에만 집중함을 지적한다. 저자는 Domain Gap이 개별 단어가 아닌, 단어들(n-grams) 혹은 구(Phrases) 차원에서 발생한다고 주장하며, 이를 뒷받침하는 2개의 실험 결과를 제시한다.

첫 번째는 Fine-Tuned Generic RoBERTa로 IMDB Data Set을 분류한 결과를 분석하는 실험이다. LM이 정확히(Correct)/잘못(False) 분류(Prediction)한 Data들이 Domain-Specific n-grams를 포함하는 비율을 계산 및 비교하는 내용이다. Domain-Specific n-grams란 Wikipedia Page에 자주 출현하는 Top 10K를 제외한 것들이며, Correct/False Predictions에서 각각 추출한 빈도수 Top 1K n-grams에서 이들이 포함되는 비율을 상단 표에 정리하였다. 실험 결과, 잘못 분류된 Data들에서 더 많은 Domain-Specific n-grams가 포함되어 있음을 확인할 수 있다.

두 번째는 Generic RoBERTa와 (추후에 소개할) 제안 기법으로 학습한 RoBERTa+T-DNA가 특정 Domain Data를 Embedding한 것을 Attention Map과 Salience Map(상단 표)을 통해 관찰+비교하는 실험이다. Generic RoBERTa는 RoBERTa+T-DNA와 달리 creepy animated, scary as hell과 같이 의미적으로 중요한 n-grams 표현들을 파악하지 못하는 점(False Prediction)을 알 수 있다.

저자는 위의 실험들로 자신의 주장을 증명하며, Low Domain-Specific Resources로 Domain Data의 Representations를 효과적으로 학습할 수 있는 기법을 제안한다.

Proposed Method(Model): T-DNA

제안 기법의 핵심 아이디어는 Fine-Tuning 혹은 Task-Adaptive Pre-Training(TAPT) 시에 Domain-Specific n-grams 정보를 Data와 함께 모델에 명시적으로 Feed 해주는 것이다. 제안 모델의 구조는 위 그림과 같은데, 일반적인 BERT처럼 Data를 Embedding하는 우측의 Generic Pre-Trained Encoder, Data에 포함된 Domain-Specific n-grams를 Embedding하는 중단의 Adaptor Network, 그리고 최종적으로 2개의 Representations를 합치는 상단의 Module로 구성되어 있다. Adaptor Network 역시 Transformer Encoder 구조를 가지며, 적은 Data를 학습하기 때문에 단층으로 구성된다고 한다. 또한, 초기 n-gram Embeddings로는 FastText가 활용된다.

Data에서 Domain-Specific n-grams를 추출하는 과정은 학습에서 가장 중요하다 해도 과언이 아니며, 구체적인 Process는 다음과 같다.

•

주어진 문장에서 인접하는 두 단어들의 PMI Score를 계산

•

인접한 특정 두 단어의 Score가 Threshold 이하일 때, 단어들 사이에 Delimiter(구분자)를 표시

•

Delimiter가 없는 연속된 단어들의 Sequence를 모두 Candidate로 처리

Data를 구성하는 특정 Token(i)의 최종 Representations는 Generic Encoder Embedding(h_i)+Adaptor Network Embeddings(

\Sigma

g_i,k)가 되며, Generic Encoder의 각 Layer마다 해당 연산이 반복된다.

Experiments & Results

실험에 사용한 Data Sets는 4개 Domain에서 8개의 Classification Tasks이다.

•

Biomedical Sciences: ChemProt, RCT

•

Computer Science: CitationIntenet, SciERC

•

News: HyperPartisan, AGNews

•

Reviews: Amazon, IMDB

Low-Resource Setting을 위해, RCT, AGNews, Amazon, IMDB의 경우 Data 수를 Downsampling한다.

실험은 Generic RoBERTa(-base)를 Fine-Tuning 혹은 TAPT 하는 과정에서 제안 기법(T-DNA)을 적용할 때와 하지 않을 때의 성능을 비교하는 방식으로 수행된다. 실험 결과는 상단의 표와 같으며, Fine-Tuning과 TAPT에서 모두 제안 기법이 성능 향상을 이끌어냄을 확인할 수 있다.

추가적인 실험을 통해 Domain-Specific n-grams의 Granularity(최대 n값)를 증가시킬수록 성능 향상의 폭도 점진적으로 증가함을 확인할 수 있으며, Data의 수가 충분한 상황에서도 제안 기법이 성능 향상을 이끌어냄을 알 수 있다(상단의 표 참조). 다만, Data의 수가 증가하면 제안 기법의 효과가 미미해지는데, 이는 Data가 충분하다면 기존의 학습으로도 모델이 좋은 Representations를 학습할 확률이 크기 때문이다.