NLP tutorials

huggingface의 transformers, datasets를 이용하여, NLP의 각 종 downstream task를 수행하는 tutorial입니다. 모든 코드는 notebook은 colab을 통해서 바로 실행할 수 있습니다. 각 downstream task에 해당하는 dataset은 한국어 dataset이 존재할 경우 한국어 dataset을 이용하고, 한국어 dataset이 존재하지않으면 영어 dataset을 이용합니다.

Single text classification

NSMC

• BERT
• GPT

KLUE-YNAT

• BERT

Pairwise text classification

KLUE-NLI

• BERT
• GPT

Sentence similarity

KLUE-STS

• TBD

Token classification

KLUE-NER

• BERT

Question answering (extractive)

KLUE-MRC

• BERT

Summarization

TBD

ETC

P-tuning

• TBD

LoRa

• GPT