Skip to content
This repository has been archived by the owner on Sep 23, 2022. It is now read-only.

[DAY 20] Self-supervised Pre-training Models #82

Closed
CoodingPenguin opened this issue Feb 22, 2021 · 1 comment
Closed

[DAY 20] Self-supervised Pre-training Models #82

CoodingPenguin opened this issue Feb 22, 2021 · 1 comment

Comments

@CoodingPenguin
Copy link
Member

CoodingPenguin commented Feb 22, 2021

❓질문

후미

인코더의 셀프 어텐션 : Query = Key = Value
디코더의 마스크드 셀프 어텐션 : Query = Key = Value
디코더의 인코더-디코더 어텐션 : Query : 디코더 벡터 / Key = Value : 인코더 벡터

펭귄

  • [DAY 20] Self-supervised Pre-training Models p.12에서 the time이 의미하는 것이 무엇인지? [펭귄] pre-training task에서 the time의 의미 #79
    • the time은 한 time step을 말한다. 즉, 특정 time step에 들어온 입력의 15%를 다 [MASK]를 씌운지 않는다는 의미.

펭귄 MJ

Further Questions


🙌 이야기

  • 서폿: 같이 할 수 있는 무언가가 있으면 좋겠다.

    • 예를 들면, 캐글 스터디나 논문 리뷰, 캐글 필사 등
    • 다른 조들은 어떻게 할지 궁금하다
  • 다음 주 TED세미나는 MJ, 후미님!

@changwoomon
Copy link
Member

감사합니다...ㅎㅎ

@changwoomon changwoomon changed the title [DAY 20] NLP 다섯째 날 [DAY 20] Self-supervised Pre-training Models Mar 13, 2021
Sign up for free to subscribe to this conversation on GitHub. Already have an account? Sign in.
Projects
None yet
Development

No branches or pull requests

2 participants