진행상황
•
모델, 데이터 두 가지 측면으로 말씀드릴 수 있을 것 같다.
•
데이터 측면에서는 설거지 동영상을 효과적으로 레이블링할 수 있는 레이블링 도구를 만들었다. 이 도구를 이용하면 7분 설거지 동영상에서 수천 장의 이미지 데이터를 빠르게 레이블링할 수 있다. 저희 팀원들이 다같이 직접 만든 도구를 이용해서 모델 학습에 사용할 데이터를 취득하고 있다.
•
모델 측면에서는 모델을 선정하는 단계였다. 수전에 붙일 컴퓨터로 라즈베리파이를 선택했다. 라즈베리파이는 쉽게 말해 저전력 컴퓨터다. 이 싸구려 컴퓨터에서도 잘 돌 수 있는 작고 성능 좋은 모델을 골라야 한다. 구글 클라우드같은 클라우드 벤더에서 제공하는 솔루션도 써보고, 저희가 직접 만들어도 보면서 합리적인 속도와 합리적인 성능을 가진 모델을 찾은 상황이다. (물어본다면 > 모바일넷v2) 이 모델을 튜닝하여 우리가 직접 취득한 데이터로 학습시켜보고 있다. 아마 1달 내에 베이스라인 모델이 나올 것 같다.
어려움
•
데이터 취득과 관련된 문제가 가장 어렵다.
•
우리가 지금 직접 설거지를 하는 모습을 촬영하면서 데이터를 취득하고 있다.
•
좋은 인공지능 모델을 학습시키려면 우리가 분류해내고자 하는 경우들이 골고루 수집되는 것이 중요하다..
•
크게 수집해야 하는 상황은 네 가지다.
◦
사용자가 물을 사용하고 싶을 때 수도꼭지가 열려 있는 상황
◦
사용자가 물을 사용하고 싶을 때 수도꼭지가 닫혀 있는 상황
◦
사용자가 물을 사용하고 싶지 않을 때 수도꼭지가 열려 있는 상황
◦
사용자가 물을 사용하고 싶지 않을 때 수도꼭지가 닫혀 있는 상황
•
사용자가 물을 사용하고 싶을 때 수도꼭지가 닫혀 있는 상황에 대한 데이터가 잘 취득되지 않는다.
•
왜냐하면 그런 상황이 온다면 설거지를 하는 사람이 수도꼭지를 열어 버리기 때문이다.
설거지 동영상 7개 레이블링, 약 1만장 | 개수 (장) |
물을 키고 싶은데 물이 켜진 상황 | 6426 |
물을 키고 싶은데 물이 꺼진 상황 | 13 |
물을 끄고 싶은데 물이 켜진 상황 | 1350 |
물을 끄고 싶은데 물이 꺼진 상황 | 4935 |
사용자의 습관
•
한쪽 손에 무의미하게 계속 물을 맞힌다던지
•
애벌세척 → 세제 → 헹굼이 아니라, 이 순서가 뒤죽박죽이거나 …
유튜브에서 동영상 30개 메인에 추천해주는데 내 취향에 안맞는 1개가 있다고 신경쓰지 않는다.