deeplearning (20) 썸네일형 리스트형 Coreference Resolution 관련 논문 정리(4) - SpanBERT : Improving Pretraining by Representing and Predicting Spans(Mandar Joshi et al, 2020) SpanBERT : Improving Pretraining by Representing and Predicting Spans - Mandar Joshi et al, 2020 현재 Coreference Resolution분야에서 OntoNotes Benchmark에 대해 SOTA인 SpanBERT SpanBERT는 BERT large와 동일한 데이터로 학습되며, 파라미터의 개수도 동일하다. 하지만 기존의 BERT보다 Question Answering과 Coreference Resolution 등 여러 TASK에 효과적이다. BERT는 token을 masking한 뒤 masking된 token을 예측하는 방식의 self-supervised pretraining을 진행했다. 하지만 SpanBERT는 spans.. Coreference Resolution 관련 논문 정리(3) - BERT for Coreference Resolution : Baselines and Analysis(Mandar Joshi et al, 2019) BERT for Coreference Resolution : Baselines and Analysis(Mandar Joshi et al, 2019) c2f-coref model(Lee et al, 2018)에 ELMO 대신 BERT를 적용시킨 논문으로 Coreference Resolution을 태클한다. 1. Introduction BERT 모델은 다양한 task에서 sota를 달성하는 모델의 backbone으로 이용된다. 이 모델에서는 BERT와 "Higher-order coreference resolution with coarse-to-fine inference"(Kenton Lee et al, 2018)의 c2f-coref모델(본 논문에서 붙인 명칭)을 겹합하여 coreference resoluti.. Coreference Resolution 관련 논문 정리(2) - Higher-order coreference resolution with coarse-to-fine inference(Kenton Lee et al, 2018) Higher-order coreference resolution with coarse-to-fine inference(Kenton Lee et al, 2018) 1. Introduction 저자의 이전 논문 "End-to-End Neural Coreference Resolution"에서는 각 mention에 대해 선행하는, pair가 되는 mention들에 대해서만 score가 계산되었다(이전 글을 확인해보자). 그리고 mention pair 사이의 coreference link는 다른 link들의 영향을 받지 않고 독립적으로 결정되었다. 따라서 이는 cluster가 locally consistent 하지만 globally inconsistent하다는 문제를 발생시켰다. 예를들면 아래와 같은 문제가 발생.. Coreference Resolution 관련 논문 정리(1) - End-to-end Neural Coreference Resolution(Kenton Lee et al, 2017) End-to-end Neural Coreference Resolution(Kenton Lee et al, 2017) EMNLP 기존의 Coreference Resolution은 mention detection을 먼저 진행한 후 mention clustering을 진행하는 방식이었다. 하지만 이 논문에서는 이러한 pipeline을 건너뛴 end-to-end model을 처음으로 소개한다. Terminology span : 한 개 이상의 단어로 이뤄진 명사구가 될 가능성이 있는 단어들의 집합 mention : 상호참조해결의 대상이 되는 모든 명사구 head : mention에서 해당 구의 실질적인 의미를 나타내는 단어이며 중심어라고 불림 End-to-End 모델을 가능케한 KEY IDEA는? 1. 모든 sp.. Coreference Resolution(상호참조해결)이란? 상호참조해결(Coreference resolution)은 임의의 개체(entity)를 표현하는 다양한 명사구(멘션)들을 찾아 연결해주는 자연어처리 문제이다. 우리는 별명, 약어, 대명사, 한정사구 등을 이용해 하나의 개체를 다양하게 표현한다. 그리고 이들 간의 참조 관계를 올바르게 찾아낼 수 있으면 담화나 문서 내에서 언급하는 대상에 대한 정보를 일관성 있게 유지할 수 있고, 정확하게 전달할 수 있다. 따라서 상호참조해결은 문서에서 등장하는 개체를 이해하는데 매우 중요한 역할을 하며, 질의 응답, 문서요약, 기계 번역, 정보 추출 등에 응용될 수 있다. Task의 복잡도가 높은 만큼 최근 딥러닝을 활용해 이 문제를 해결하려는 시도가 많아지고 있다. 아래는 2017년에 ETRI에서 공개한 멘션에 대한 정의.. Transformer, BERT와 관련해서 읽어보면 좋은 블로그 모음 contextual embedding모델 shallow bidirectional하게 학습하는 ELMo나 masked self attention(left-to-right)을 이용하는, tranformer의 디코더 구조를 바탕으로하는 GPT와는 달리 BERT는 transformer의 deep하게 bidirectional한 인코더 구조를 기반으로하는 모델이다. MLM과 NSP task로 pretrain된 BERT모델은 finetuning하여 다양한 task에 적용할 수 있는데, 엄청난 퍼포먼스로 다양한 task에서 sota를 기록했다. 나는 이 BERT모델을 다양한 NLP task에 자주 사용하는데, 이 글에서는 논문을 제외하고 잘 정리된 블로그와 영상을 공유해보고자 한다. 논문을 읽은 뒤 나중에 기억이 가물.. CRF를 이용한 Named Entity Recognition NER(Named Entity Recognition) 개채명 인식이라고 부른다. 문장에서 특정한 종류의 단어를 찾아내 분류하는 information extraction 문제이다. BIO tag NER과 같은 task에서는 BIO tag를 일반적으로 이용함 여러 토큰 혹은 단어들이 하나의 개채가 되는 경우가 많기 때문에 이를 처리하기 위한 규칙이라고 볼 수 있다. B - begin I - inside O - outside Named Entity의 시작을 알리는 단어에는 B가 태깅되고, 중간에는 I, Entity를 포함하지 않는 곳에는 O가 태깅된다. 그리고 B에 Named Entity 정보가 함께 들어가 있다. ex) (Donald J Trump) -> (Donald = B-Person / J = I / .. Explainable AI - Integrated Gradients (IG) Axiomatic Attribution for Deep Networks(Mukund Sundararajan et al.)에서 나온 개념이다. 일반적으로 우리가 사용하는 딥러닝 모델은 설명이 힘든 블랙박스 모델이다. 대부분의 딥러닝 모델은 온갖 비선형성을 고려하고, 변수들을 조합하고, 수많은 파라미터(weight etc)를 가진다. 따라서 이러한 모델의 매커니즘을 인간이 알아들을 수 있도록 설명하는 것은 굉장히 어렵다.(이러한 task를 attribution task라고 한다) 하지만 어렵다고 그냥 내버려 둬서는 안된다. 우리의 모델이 accuracy가 높더라도 잘못된 정보를 바탕으로 예측 또는 분류를 진행하고 있을 수도 있기 때문이다. 예를 들어 우리에게 강아지 이미지와 동물 이미지를 잘 분류하는 모델이.. 이전 1 2 3 다음
