Search
🔵

2_1_3_2_1.1____2.1. title: 인공지능 모델 관련 논문을 읽을 때에는 데이터를 바라보는 능력을 기른다고 생각하라. 프로덕션에서 모델을 구현하거나, 고도화할 때에는 모델에게 데이터를 바라보는 방법을 알려준다고 생각하라.

생성
최종 수정
엔트리포인트
고유번호
고유번호 수동 지정
이전 첫 영구메모의
고유번호 결합
🚀 prev note
🚀 next note
관련 임시노트
2 more properties
논문을 무작정 읽어대서는 별 도움이 안 될지도 모른다. 이것은 단순히 논문을 읽는 스킬을 길러야 한다는 것이 아니다. 그보다는 이 논문을 바라보는 관점이 중요하다(from1:이 내용에 관점까지 모두 포함되어 있다). 모델보다 데이터가 훨씬 중요하다(from3)는 것은 다들 알고 있을테다. 우리는 우리 태스크에 딱 맞는 모델을 발굴해내는 사람이 아니다(참고1). 인공지능 모델 관련 논문을 읽을 때는 데이터를 다루는 방법을 배운다고 생각해야 한다(참고2). 마찬가지로, 인공지능 모델을 구현할 때에도(from2) 모델이 데이터를 더 잘 바라볼 수 있게 도와주는 연산들을 추가하기 위해 노력한다는 관점으로 바라보아야 한다(from5:그것이 데이터과학의 본질이다). 성능을 높일 때(from4)도 마찬가지이다. 그런데 이때 이들을 적용하려면 수식은 모르더라도 그 수식에 담긴 의미들을 온전히 이해하고 있어야 한다.
sigmoid 를 왜 쓸까? 그냥 단순히 모델 코드를 본다고 해서 뭐가 달라지지 않는다. 코드를 볼 때 뭔가 파라미터를 변경하려면 왜 이런 것들을 사용했는지 컨셉은 알아야 뭔가를 바꾸어 볼 것 같다. backbone 은 신체를 범용적으로 강화시키는 헬스라고 생각해 보자. 그럼 neck 은 상대방을 탐색하는 과정이고, head 는 실제 권투 대회에 나가서 상대와 싸우는 기술이다. 이때 neck 의 마지막 레이어에 relu 가 아니라 sigmoid 를 쓰는 것은, 더이상 head 로 정보를 보낼 때 버릴 피처들이 없다고 생각하기 때문이다.(참고3,참고5)
21:10, 왜 이것이 좋은 아이디어인가? 좋은 질문이다. 우리가 원하는 것은 segmentation 을 수행할 때 우리의 prediction 이 특히 경계 부분에서 작은 디테일도 살릴 수 있을 만큼 완벽했으면 좋겠다는 것이다. 하지만 max pooling 을 이용하면 receptive field 내부의 어디에서 왔는지를 모르기 때문에, 한편으로는 공간적인 정보를 잃어버리는 것이 된다. 그래서 이렇게 정보를 반영해 주는 것이 손실된 공간 정보 중 일부를 보존하는 데 도움이 될 수 있다고 생각할 수 있다.(참고4)
parse me : 언젠가 이 글에 쓰이면 좋을 것 같은 재료들.
1.
Text Detection 의 경우 BackBone Model을통해 Feature Extraction에서 얻는 정보량 보다 Neck, Head Operation 에서 얻는 정보량이 중요하다. 따라서 Backbone Model로 연산량이 많은 Transformer (E.g, Swin Transformer, Vision in Transformer) 과 연산량이 적은 ResNet50을 비교하는 경우 성능의 차이가 없다. 따라서 Backbone Model 은 ResNet50을 선택했다. 문자영역을 찾고 Resolution, Orientation을 기존의 Object Detection 에 강건한 Segmentation 기반의 모델인 FAST 를 사용했다. 특히 FAST 는 기존 Text Detector 의 성능과 추론속도 문제를 해결하기 위해 CPU 기반의 Hand Craft Post Processing 과 Neural Architecture Search 기법을 도입하여 보다 빠르고 강건하게 문자영역을 추출 할 수 있다. 추출된 문자영역은 Transformer 를 활용하여 문자인식을 수행했다.
from : 과거의 어떤 생각이 이 생각을 만들었는가?
1.
•
앞의 글에서는 학술논문 전반을 읽는 방법에 대해서 이야기했다. 이 글은 그중에서도 특히 인공지능 논문을 읽을 때 가져야 하는 태도를 이야기한다.
4.
5.
supplementary : 어떤 새로운 생각이 이 문서에 작성된 생각을 뒷받침하는가?
1.
None
opposite : 어떤 새로운 생각이 이 문서에 작성된 생각과 대조되는가?
1.
None
to : 이 문서에 작성된 생각이 어떤 생각으로 발전되고 이어지는가?
1.
참고 : 레퍼런스
1.
태스크가 떨어지면 그때부터 이제 시작을 하는거죠. (제 경우에는) 이건 mask-RCNN 을 이용해서 이렇게 하고 저렇게 하고… one stage 를 쓰고 two stage 를 쓰고 이게 아니라, 이 문제를 해결하기 위해서는 어떻게 해야 하는가. 데이터를 보니까, 식판 영역 자체에는 변형이 없는건가? 비빔밥과 잔반의 차이는 뭐지? 식판이 겹쳐져 있으면 어떻게 하지? 이런 생각을 합니다. … 너도(장후) 컴퓨터 비전 문제를 풀어봤을 것 아니야. 우리는 문제를 해결하는 사람이지, 모델을 찾는 사람이 아니잖아요. Cascade 그때 잘 됐는데? 이거 쓰자. 완전 X. 문제를 풀 자세가 안 돼 있는거에요 (증오). 모델로 문제를 푼다고 생각하면 안 돼요. 우리는 그들이 보지 못했던 작은 차이를 보는거에요. 이 문제도 다른 곳들 돌다가 우리한테 왔다고 했잖아요.
5.