[피어세션] 2021-05-28

[jun9choi]

오늘 제출 2회 남음 → 학습 완료되는 사람 아무나 제출하기

🚨 22시~24시 서버 점검!! 작업물 백업해두기

코드 리뷰

• SATRN은 왜 DenseNet을 썼을까?
  캐글 수식 데이터 논문에서 DenseNet을 써서 그대로 가져온 듯.
  백본 Resnet으로 바꿔도 될 것 같다. (DenseNet: concat, ResNet: sum)

• 모듈화 수정된 코드 깃에 merge 완료
  requirements.txt 버전 관리 중요!!
  train_one_epoch val_one_epoch 함수 추가. run_epoch 삭제
  dataset.py albumentation으로 augmentation 추가
  yaml 파일에 scheduler 추가하기
  pip freeze > requirements.txt : 현재 설치된 거 저장해준다.

---

협업 및 분업

• Hugging face 적용 - 준구오빠. 지형
  캐글 NLP 대회. 후처리. transformer 쪽 강화
  → 앙상블과 연결된다.

• 앙상블 코드 - 믿습니다 ✨빛주영✨
  모델별로 예측한 토큰 길이가 다르기 때문에 앙상블이 까다롭다.
  멘토님 힌트 : Beam search Ensemble
  

• 외부 데이터로 vocab 고정하기 (compact 토큰 vs 모든 토큰)
  노션-누리님

• SATRN 공부는 다같이!

• SOTA 모델 등 다른 모델 공부
  

---

💡 실험 아이디어

• encoder pretrained weight 만들기 (SATRN 학습)
  모델 실험이 먼저 완성돼야 함!!
• decoder도 BERT pretrained weight를 사용할 수 있지 않을까?
• width 실험 (제출X)
  eda결과 aspect_ratio = 평균 4 인데 resize하면 square 이미지 되면서 정보 손실 발생.
• Augmentation : CLAHE 좋을 듯!!
• ASTER - Bi-Directional LSTM 추가해보기
• 학습 이미지는 전부 똑바로 돌려서 학습시키고 inference 할 때 90,180,270 돌려서
  네 가지에 대해 score를 측정하고 가장 높은 confidence 하나를 선택하면
  평균으로 앙상블하는 거보다 좋지 않을까?? (직접 만들어야해서 조금 까다롭긴 하다.)
• validation 보면서 주로 틀리는 이미지를 보강하기!!
• 🧑🏻‍🏫 준철이의 GAN 강의 기대 중!!

---

멘토링 질문 (준철이의 이미지 메이킹ㅋㅋㅋ)

• 번역 태스크에서 추천할 만한 캐글 대회가 있을까요?