🟢

deer.a7.a1. title: Video Segmentation

♻️ prev note

🚀 prev note

deer.a7.1_3.1. title: 루돌프 성수동 EDA - 비디오가 아닌 이미지의 한계

♻️ next note

🚀 next note

8 more properties

@10/1/2021

자율주행같은 경우에는 optical flow 에 대한 정보 등 동영상(video)에서 얻을 수 있는 정보를 이용해서 segmentation 하면 더 좋은 결과를 얻을 수 있을 것 같다는 아이디어가 있었다. 인접 프레임의 optical flow 를 입력으로 사용하는 방식과 같이, 다른 정보를 흘려주는 방식들이 이미 나와 있었다 (참고1).

@12/28/2021, 3:16:00 PM 이 노트를 다시 발견했다.

비디오에서 움직임의 핵심이 되는 정보를 발굴해내는 태스크를 Keyframe Selection 이라고 한다 (참고3). 키프레임을 통해 어떻게 segmentation 을 잘 할 수 있을지에 대한 간단한 예를 들어 보자. 딥러닝 모델이 시맨틱을 가장 잘 이해할 수 있는 프레임을 키프레임으로 여기고, 키프레임을 기준으로 어떻게 비디오 내 시맨틱들이 움직였는지를 반영해 segmentation 한다면 시간적인 정보를 보다 효과적으로 보여줄 수 있을 것이다.

실제로 단일 프레임의 영상의 처리를 통한 semantic segmentation 은 real world 에서 심각한 ‘semantic information loss’ 문제를 만들어낸다 (참고5, 6). 다이나믹 키프레임 기반 segmentation 을 연구한 논문 (참고7) 에서는 비슷한 시간에는 비슷한 공간에 위치해 있으므로, 비슷한 공간 정보 (참고9:co-visible region) 가 매우 많음에도 불구하고 (참고8) 시간에 대해 관계를 맺으며 얻게 되는 정보들을 포기하면서 segmentation 의 성능이 떨어진다고 지적한다 (참고4).

오랜만에 질문드립니다. Semantic segmentation 을 할 때 이전 프레임으로부터 다음 프레임의 추론 결과를 보강하는 방식의 (영상이 아닌) 비디오 기반 추론 모델들을 부르는 명칭이 있을까요? 오프라인보다는 온라인쪽이 궁금합니다. 현재 시점 t 로부터 과거 t-n 시점까지 보는데, 이 t-n 을 고를 때 n 이 학습 기반으로 결정됐으면 좋겠습니다. 그때그때 영상의 피처들만 저장해 두었다가, 적절한 타이밍에 다시 꺼내 쓸 수 있는 방식도 좋을 것 같다… - 이런 느낌의 굉장히 나이브한 생각을 가지고 있는데, 배운게 많이 없어서 3D Convolution 같은 것들밖에 모르고 있습니다.

비디오 기반의 인지모델 (특히, segmentation) 학습에 사용되는 데이터의 형태는 무엇이고, 데이터 구축 시 주의해야 할 부분은 무엇인가?

비디오 기반의 segmentation 모델을 적절히 학습하고 유의미한 결과를 내놓는 데에 얼마나 많은 양의 이미지가 필요할까?

참고

Semantic Video CNNs through Representation Warping, This paper proposes the use of optical flow across adjacent frames as an extra input to improve the segmentation results

이게 사실은 굉장히 어려운문제인데요 ... 키프레임이 있다면 키프레임 기반으로 하면 좋을텐데 ... 그게 없다면 이제 다이나믹 키프레임 셀렉션쪽으로 어댑티브 키프레임 셀렉션이나 그쪽으로 검색해보셔야할듯해요. 주로 강화학습을 적용해서 하는 쪽 연구가 진행되고있는듯한데 저도 그쪽은 잘 몰라서 명쾌하게 답드리기는 어려울듯하네요. 주로 비디오 요약쪽에서 연구가 많이되고있는데 세그멘테이션쪽에는 적용된게 많아보이지는 않네요 -김영준

AdaptiveKeyframeSelection

The uncorrelated frame-by-frame processing of videos not only affects the inference throughput adversely but also ignores the temporal information present in consecutive frames which drops the overall video segmentation accuracy. 

deer.aa4_3_5_3. title: EDA, 서피스 마스킹 데이터셋 데이터 처리 이슈 (Real world, 데이터외주, 크라우드소싱, 서드파티, domain gap, less semantic information, no temporal information) 

deer.a7.1_3.1. title: 루돌프 성수동 EDA - 비디오가 아닌 이미지의 한계 

However, in a video, adjacent frames share a large fraction of similar spatial information [4], especially the high-level semantics that alters gradually over temporal sequences in videos [5]. 

코비저블(co-visible) 리전도 이미지가 달라졌다는 이유로 전부 레이블링해야하는 것은 사실이다. 이 문제 해결을 위해 3D Reconstruction 결과를 레이블링해도 되긴 하는데 추천하고 싶지는 않다. (코비저블 리전을 다시 레이블링해야 하는 문제가 존재함에도) 이미지 평면상에서 그렇게 하는 이유가 존재한다. (구체적인 이유에 대해서는 언급 안 하심) -양은성