[피어세션] 2021-05-24

[ilovemyminutes]

[3조] 우리 애가 수학을 못하는데 어떡하조

자기 소개

• 고지형_T1002 (27살) : ESFJ 사교적인 외교관
  수학 전공. 2월에 졸업. 논문왕. 지식이 비는 느낌이 싫다.
  잘 모르는데 그냥 하면 기분이 이상하다.
  꼼꼼하게 정리하는 것도 좋아한다. 코드에 주석 다는 편.
  코드 공유에 기여할 수 있다.
  깃허브 담당!!

• 김준철_T1035 (27살) : 논문왕
  전자전기 전공. 졸논 쓰다가 개발에 흥미 느껴서 AI로 환승.
  코딩하다가 막히는 이유를 찾기가 어려워서 코딩 속도가 느림.
  '키워드+서베이'로 검색해서 인용 수가 높거나 최신 논문을 주로 읽는다.
  맥주는 하이네켄. 토트넘 팬이에요.

• 김형민_T1047 (26살)
  전자과 졸업 후 부캠으로 환승. 회로 극혐
  서울 거주. 2000원짜리 컵 닭강정을 좋아함.
  맥주는 스텔라. 소주는 별로.
  그림 잘 그리고, 반려견 케어왕, 흡수 & 확성기
  ESFP-A (ENTJ인 줄 알고 클하방 갔다가 대화가 안 맞아서 재검사ㅋㅋㅋㅋ)

• 송누리_T1106 (28살)
  수학 전공. 척척석사. 정리왕 & 스파이
  파이썬 초보라서 엔지니어 보다는 논문 서치나 결과 분석, 자료 정리가 잘 맞는 편.
  맥주는 IPA. 한때 미라클 모닝에 진심이었던 편...지난 스테이지부터 명예 회원ㅎㅎ

• 이주영_T1164 (29살)
  본인 피셜 빛 아니고 빚주영ㅋㅋㅋㅋㅋ 실험왕!
  PPT, 보고서 작성 싫어요. 정리하는 거 싫어요ㅋㅋㅋㅋ
  전자공학과 석사 졸업. 빛주영 님 태어나주셔서 감사합니다.
  맥주는 하이네켄. 바르셀로나 팬이에요.
  좋아하는 음식: 치킨 (훌랄라는 아님)

• 최준구_T1217 (29살)
  수학 전공. 궂은 일 열심히 하겠습니다.
  다른 분야 취준하다가 AI 시작한 지 얼마 안 돼서 열심히 배우는 중.
  ESFJ-A (근데 거의 중간. 그때 그때 다르다ㅋㅋㅋ)

---

그라운드 룰

• 고정 피어세션 불참 시 미리 말하기.
  톡방과 줌으로 24시간 소통.
  도움이 필요하면 아무때나 줌 회의 소환하기
• 편하게 말 놓기:)
• 데이터 용량이 크고 트랜스포머가 무거우니까 학습이 오래 걸릴 듯.
  일부 데이터(3만 개 정도)로 빠르게 실험해보자.
• AI stages 대회 - 팀 수락하기!
• 리더보드 등수 뿐 아니라 협업 프로젝트에 초점을 맞추기
  네트워킹 데이. 취준도 고려하면서 하자!
• 4주 대회가 긴 것 같지만 생각보다 짧게 느껴진다.
  다양한 실험을 해보려다가 시간을 많이 날릴 수 있다.
  특히, 이번 대회 난이도가 극악인 것 같다.
  EDA, 베이스라인에 충실하면서 실험 기록 및 정리도 틈틈이 하기!!

---

참고 논문

• https://arxiv.org/ftp/arxiv/papers/1908/1908.11415.pdf
• https://arxiv.org/pdf/1801.03530.pdf
  https://github.com/jungomi/math-formula-recognition
• 특징: positional encoding, 배경이 깔끔한 이미지

---

실험 계획

• sentence accuracy 100% 맞추는 게 중요!!

• mmocr 및 외부데이터 활용 여부

• Validation set : 난이도, 토큰 개수, 이미지 크기(가로세로 비율)에 따라 나누기

• 학습 방법

• 싱글, 멀티라인 (기존 OCR과의 다른 점!!)

• 손글씨, 인쇄물 데이터 나눠서 학습 → 인쇄물만 학습해서 pretrained weight로 사용 가능할 듯.

• Model : CNN (encoder) + RNN, transformer (decoder)
  문영기 조교님이 GAN을 쓰면 OCR 성능이 높아진다고 해서 궁금하기는 함.

  

  end-to-end니까 embedding vector의 차원만 설정해서 임베딩 벡터도 학습??

  feature map은 3차원 텐서 (w,h,c) 일텐데 어떻게 sequential data로 만드는지??

---

오늘 할 일

• 제각각인 image size 해결 고민 & EDA : 95라인 지형이.준철이
  지형 : resize + padding → square image
  준철 : aspect_ratio의 범위에 따라 transform,resize를 다르게 주기
  object detection에서 multiscale train을 했으니까 활용할 수 있지 않을까?? → 쉽지 않을듯.

• Data preprocessing : 93라인 주영오빠. 준구오빠
  binary image로 바꾸기 & 배경 노이즈 깔끔하게 만들기
  (grayscale, Fourier transform, sharpening)
  aspect_ratio값이 어떤 threshold 이상이면 이미지가 90도 회전된 것으로 간주하고 돌리자
  → 근데 inference할 때 가능할까?? 베이스라인 봐야 할 듯.

• Augmentation 고민
  뒤집힌 것도 맞추게 rotate, flip도 augmentation을 넣어야 좋을까??
  6 - 9, 8 - \infty 처럼 뒤집히면 헷갈리는 것 때문에 조심해야 할까??
  test dataset에 뒤집힌 이미지가 많을까??
  sentence_acc = 100이 아니면 의미가 없으므로 outlier는 과감히 버리는 게 좋을 수도!

• 이상한 애들

  

• 우리 막내 형민: 논문 찾아보고 수식 인식 및 OCR task 이해하기

• 누리: gt.txt 보면서 token cateogrization (토큰, vocab)
  토큰끼리의 상관관계를 토대로embedding vector에 추가할 수 있을까??
  다음에 나올 토큰을 예측하는 weight에 관여할 수 있으려나??
  → transformer가 알아서 주변에 등장하는 토큰들의 정보도 같이 학습한다!
  ex) \int - dx, \lim \frac{ \Rightarrow \infty }
  \sum _ { = 1 }

---

협업툴 : 깃허브 활용하기

• 지난 스테이지 깃허브 참고
  https://github.com/VumBleBot/odqa_baseline_code
  https://github.com/bcaitech1/p3-ims-obd-eagle-eye
• 지형님, 준구님 지난 스테이지 깃허브 활용법
  부캠에서 제공한 레포를 개인 레포로 fork해와서 각자 개발하되 환경 통일하기. train.py에서 argument를 바꾸는 식으로 개발.
  팀 레포가 업데이트가 되면 개인 레포도 약간 수정을 해야 한다.
  ⇒ 지형이가 내일 깃헙 강의 준비해오기로 함!!