논문리뷰2 Transfomer-XL 리뷰 첫 리뷰 논문은 transformer-xl 입니다. ACL에 2019 발표되었고, 그 이전부터 arxiv에 공개되어 1000이 넘는 인용횟수를 자랑하는 논문이다. 저자들은 Zihang Dai, Zhilin Yang, Yiming Yang , Jaime Carbonell , Quoc V. Le , Ruslan Salakhutdinov Carnegie Mellon University, Google Brain 그럼 논문을 대략적으로 리뷰해보겠습니다. PS. LM쪽 researcher가아니라 자세한 실험내용에 대해서는 많이 생략하였습니다. Abstract transformer(attention is all you need) 논문이 나오면서 long-term dependency를 처리하는 모델로서 뛰어난 성능을 .. 2021. 5. 1. 논문리뷰 대학원에서 석사과정을 하면서 딥러닝 기반의 음성신호처리에 대해 전공하였습니다. 대학원에서는 주로 화자인식에 대해서 연구했지만, 지금은 음성인식에 대해서 연구하면서 Seq2Seq에 대한 연구들을 리뷰해보려고합니다. 물론 꼭 S2S가 아니여도, 관심가는 논문들을 리뷰하려고합니다ㅎㅎ 저는 논문을 볼 때, 처음부터 수식까지 전부 본다기보다는, 논문의 목표, 제안방식 (contribution)에서 큰 컨셉들 위주로 보는 편이고, 추후에 활용해보려 할 때 수식들을 자세히 읽는 편이라... 제가 보는 방식대로 리뷰하려합니다. 추후에 리스트들을 카테고리별로도 묶어보면 읽기에 편할 것 같긴합니다. 그럼 차후 글들을 참고하셔서 필요한 내용 얻어가시면 좋겠네요. yoohwankwon.github.io/ 2021. 5. 1. 이전 1 다음
