transformer-xl1 Transfomer-XL 리뷰 첫 리뷰 논문은 transformer-xl 입니다. ACL에 2019 발표되었고, 그 이전부터 arxiv에 공개되어 1000이 넘는 인용횟수를 자랑하는 논문이다. 저자들은 Zihang Dai, Zhilin Yang, Yiming Yang , Jaime Carbonell , Quoc V. Le , Ruslan Salakhutdinov Carnegie Mellon University, Google Brain 그럼 논문을 대략적으로 리뷰해보겠습니다. PS. LM쪽 researcher가아니라 자세한 실험내용에 대해서는 많이 생략하였습니다. Abstract transformer(attention is all you need) 논문이 나오면서 long-term dependency를 처리하는 모델로서 뛰어난 성능을 .. 2021. 5. 1. 이전 1 다음
