최종 목표: 현동이 플랭크 3D (무용과 자세는 어때? 그건 현동이 잘 되면)
•
그리고 나서, 그 이상의 시간을 투자할만한지 한번 검토를 해보자. (현동 걱정: 이것이 그 자체로 목적이 된다 해소)
◦
이것을 4~5주정도 기간을 잡고 맹목적으로 단기프로젝트로 해본다. 최대한 빠르게 시작할 수 있도록 (연경 걱정: 너무 시작이 늦어진다는 문제 해소)
◦
그때 가서야 이것들을 제대로 판단할 수 있을듯함. (장후 걱정 해소)
▪
(우리의 예상과 다르게) 정말 모두의 갈증을 해소할 수 있는 것이 아니어서, 중간에 흐지부지될까 걱정됨.
▪
배워야만 하는 환경을 만들어낼 수 있을지 궁금함. 내가 팀원들을 일방적으로 리드하는 것이 아니라, 신선한 인사이트를 어떤 점에서 얻어낼 수 있을지 궁금함.
전체 칸반보드
전체 타임라인
Search
No Status
8
Not started
6
In progress
6
Completed
75
할필요없음을느낌
25
마일스톤1
2
마일스톤1
2022/07/01
논문 서베이, 최소 5개, 최대 10개
마일스톤1.5: 정적인 작은 물체를 정적 물체에 대응되는 최소 모델로 3D 화 하기
12
마일스톤1.5: 정적인 작은 물체를 정적 물체에 대응되는 최소 모델로 3D 화 하기
2022/07/05
실험 관리 도구 wandb 사용방법 알아보고 팀이 사용할 수 있도록 세팅하기
2022/07/05
충분히 작고, 정적이고, Forward Facing (FF) 인 물체를 NeRF 이용해 3D 로 만들어보기
2022/07/05
할필요없음을느낌
현동이 플랭크하는 사진 촬영하기
2022/07/05
현동이 플랭크하는 동영상 촬영하기
2022/07/05
코랩 환경 이해하기
2022/07/05
NeRF 공식 repository: 샘플 데이터셋 Lego, Fern 학습되는 모습 확인하기 (학습 완료가 될 필요 없음)
2022/07/05
NeRF 공식 repository: 직접 수집한 데이터셋에 직접 LLFF를 통해 얻은 pose으로 NeRF 학습되는 모습 확인하기 (학습 완료가 될 필요 없음)
2022/07/05
NeRF 공식 repository: 직접 수집한 데이터셋에 직접 LLFF를 통해 얻은 pose으로 NeRF 의 config, argument, code 수정해서 학습이 완료되는 것까지 확인하기
2022/07/05
Completed
NeRF 공식 repository: 샘플 데이터셋(Lego, Fern) 의 config, argument, code 수정해서 학습이 완료되는 것까지 확인하기
2022/07/05
Completed
LLFF 으로 Camera Extrinsic 구하기
2022/07/04
도커 환경에서 NeRF 모델 실행해보기
마일스톤1.75: 되든 안되든 사람을 대상으로 NeRF 마저 돌려보기
19
마일스톤1.75: 되든 안되든 사람을 대상으로 NeRF 마저 돌려보기
2022/07/08
yk_quarter 데이터셋으로 학습시킨 NeRF 결과물은 왜 결과물이 좋지 않은지, 원인 분석 정리
NeRF 공식 repository: 직접 수집한 데이터셋에 직접 LLFF를 통해 얻은 pose으로 NeRF 의 config, argument, code 수정해서 학습이 완료되는 것까지 확인하기
2022/07/05
Completed
마일스톤2 달성을 위해 가장 우선순위가 높아야 하는 태스크가 무엇이 있을지 제안하기
2022/07/06 23:00
실험 관리 도구 wandb 팀원들에게 소개할 수 있을 정도로 익히고 소개해서 다같이 실험하며 피드백 받을 수 있도록 만들기
2022/07/07
Completed
충분히 작고, 미세하게 동적이고, FF 촬영된 (연경 Forward Facing) NeRF 3D 만들어보기
2022/07/07
충분히 작고, 미세하게 동적이고, 360도 촬영된 (현동360도) NeRF 3D 만들어보기
2022/07/07
Completed
실험 관리 도구 wandb 로 충분히 작고, 정적이고, 360도 촬영된 물체 (e.g. 주차금지, 빔) 결과물 및 config 업로드하기
2022/07/07
Completed
총 8종류의 NeRF 데이터셋 원시데이터를 취득
2022/07/07
beam360 colmap 다시 수행하는 동안 주차금지360 NeRF 3D 만들기
2022/07/07
충분히 작고, 정적이고, 360도 촬영된 물체를 (e.g. 주차금지, 빔) NeRF 이용해 3D 로 만들어보기
2022/07/07
Completed
마일스톤2 달성을 위해 가장 우선순위가 높은 것이 무엇지 정하기
2022/07/07 16:00
Completed
새로 취득한 데이터셋의 슬로우모션 비디오 형태의 데이터로부터 적절한 샘플링을 통해 1/4 바퀴 sparse, dense 이미지 세트를 획득하고 몇 장씩 샘플링한 것인지 데이터셋 현황표를 만들기
2022/07/07 16:00
새로 취득한 데이터셋에 (총 8개 데이터셋에 대하여) COLMAP-LLFF 을 적용하여 pose 획득하고, 되는지 안되는지 여부를 표로 만들기
2022/07/07 17:00
Completed
hyundong360 데이터셋 오류 해결 (혹은 오류 원인 발견), 원인 분석 정리
hyundongff 데이터셋 오류 해결 (혹은 오류 원인 발견), 원인 분석 정리
beam, beam360 HIEC 파일을 jpg 파일로 변환해서 구글 드라이브에 업로드하기
NeRF 원본 소스코드가 jpeg 파일을 입력받을 수 없어서 문제가 발생함. jpeg 파일을 입력받을 수 있도록 가이드라인을 제작하고 동작을 확인하기.
Completed
360 spherify 수행 시 images_8 폴더 생성 및 이미지 로드 과정에서의 에러: 증상과 해결 방안
마일스톤1.9: 다음 그림과 같은 퀄리티의 메쉬를 시각화하는 데 성공한다.
17
마일스톤1.9: 다음 그림과 같은 퀄리티의 메쉬를 시각화하는 데 성공한다.
현동360 데이터셋에 다양한 설정을 적용해 학습시키고 Mesh 가 적용된 3D 표현 결과물 비교하기
Completed
실험 관리 도구 wandb 로 충분히 작고, 정적이고, 360도 촬영된 물체 (e.g. 주차금지, 빔) 결과물 및 config 업로드하기
2022/07/07
Completed
마일스톤2 달성을 위해 가장 우선순위가 높은 것이 무엇지 정하기
2022/07/07 16:00
Completed
우리의 모델에 대해서 성능지표를 측정하고 실험을 할 때마다 wandb 에 자동적으로 업로드되도록 만들고 코드 공유하기
2022/07/12
Completed
‘3D 화 한다’ 에 대한 명확한 기준 설정하기 (첫 번째 고민)
2022/07/12
NeRF 논문에서 사용한 성능지표(metric)에 대해서 팀원들에게 소개할 수 있을 정도로 이해하고 정리해서 공유하기
2022/07/12
Mesh 튜토리얼 노트북 실행을 완료한다.
2022/07/12
Mesh 가 적용된 3D 표현을 담은 파일이 어떤 3D 프로그램으로 어떻게 업로드될 수 있는지 조사하고 팀원들에게 공유한다.
2022/07/12
Mesh 튜토리얼 노트북을 기반으로 우리가 직접 생성한 NeRF 모델을 이용해 Mesh 가 적용된 3D 표현을 만들고 파일로 저장한다.
2022/07/12
Completed
Mesh 가 적용된 3D 표현을 파일로부터 시각화 프로그램으로 불러와서 결과를 팀원들에게 공유한다.
2022/07/12
Completed
Mesh 가 적용된 3D 표현을 파일로 저장한다.
2022/07/12
Completed
GCP 프리티어 환경 / 과금 환경에서 선점형 GPU 로 다양한 실험들을 빠르게 돌릴 수 있는 방법을 팀원들에게 소개할 수 있을 정도로 조사
ff (forward facing) 데이터셋을 이용해 만든 NeRF 모델이 Mesh 튜토리얼 노트북을 통해 Mesh 가 적용된 3D 표현을 만들어낼 수 있는지 확인해 본다.
움직임이 조금 더 많은 데이터셋을 취득한다.
기본 NeRF 모델이 현동이나 연경이의 작은 움직임에 잘 대응하고 있는지 아닌지를 식별할 수 있을 정도까지, 다양한 실험을 해본다. 더욱 선명하게 학습을 시도해 본다. (1) [Metric 정하기] 이상의 결과물, (2) HD 영상 (1280x720) 이상 해상도의 결과물을 만들어낼 수 있어야 한다
Completed
(문제정의) 방향성에 대한 점검 및 마일스톤2 재조정. 우리가 지금 무엇을 하고 있고, 왜 해야 하는가?
Completed
마일스톤2: (deprecated) 정적인 작은 물체를 동적 물체를 위해 설계된 모델로 3D 화 하기
4
목표 모델 설정하고 모델별 DRI 분배하기
‘3D 화 한다’ 에 대한 명확한 기준 설정하기 (첫 번째 고민)
2022/07/12
마일스톤2: (deprecated) 정적인 작은 물체를 동적 물체를 위해 설계된 모델로 3D 화 하기
2022/07/15
(문제정의) 방향성에 대한 점검 및 마일스톤2 재조정. 우리가 지금 무엇을 하고 있고, 왜 해야 하는가?
Completed
마일스톤2: 되든 아니든 못생겼든 아니든 지금 우리가 가지고 있는 3D 파일로 현동이 3D 프린팅하기
17
마일스톤2: 되든 아니든 못생겼든 아니든 지금 우리가 가지고 있는 3D 파일로 현동이 3D 프린팅하기
2022/07/18
할필요없음을느낌
‘--no_ndc --spherify --lindisp' 이것들은 도대체 멀까
캠퍼스타운 메이커스빌 3D 프린터 교육 이수하기
2022/07/14
캠퍼스타운 메이커스빌 사용일정 잡기
2022/07/14
캠퍼스타운 메이커스빌 가서 교육 수강하기 전에 메이커스빌에서 사용하는 3D 프린팅 전용 소프트웨어에 올려서 피규어 크기 조절까지 해 보기
2022/07/14
Completed
hyundong360 데이터의 mesh 가 적용된 3d 표현에서 파라미터를 조정하고 면 뒤집힘 현상이 나타나는 부위를 절단하여 메이커스빌에 메일 보내기
2022/07/15 22:30
BluemotorcycleFF weight 만들기
2022/07/21
(문제정의) 마일스톤2 이후의 첫 마일스톤 재조정. 우리는 무엇을 해야 하는가?
2022/07/24
Completed
noparking360 데이터로 학습시킨 NeRF 모델 weight 있는 사람?
noparking360 mesh 뽑아보기 && 결과물 obj 파일로 저장하기
[
해결]mesh 뽑는 과정에서 나는 오류 해결하기
해결]mesh 뽑는 과정에서 나는 오류 해결하기hyundong360 결과물 퀄리티 올리기
콜라보랩 가서 교육 수강하기 전에 메이커스빌에서 사용하는 3D 프린팅 전용 소프트웨어에 올려서 피규어 크기 조절까지 해 보기
2022/07/14
할필요없음을느낌
noparking360 데이터의 mesh 가 적용된 3D 표현에서 노이즈를 제거하고 메이커스빌에 메일 보내기
2022/07/15 10:30
Completed
콜라보랩 문의해서 사용일정 잡기
Bluemotorcycle FF mesh뽑아보기
할필요없음을느낌
(문제정의) 방향성에 대한 점검 및 마일스톤2 재조정. 우리가 지금 무엇을 하고 있고, 왜 해야 하는가?
Completed
마일스톤2.5: 3D 프린팅 피규어 퀄리티를 해치는 핵심 인자를 찾아낸다.
42
마일스톤2.5: 3D 프린팅 피규어 퀄리티를 해치는 핵심 인자를 찾아낸다.
2022/07/31
출력물 만들기 / 최종적으로 cleanup 데이터셋으로부터 얻어낸 결과물 1개, background 제거 데이터셋으로부터 얻어낸 결과물 1개를 선정해 Mesh 파일의 노이즈를 제거한다. *피시방
2022/08/11
Completed
선별한 결과물을 통해 Mesh를 뽑기 및 노이즈 제거 작업 후에 메이커스 스페이스에 보내기
Completed
print : 3D 프린터 옵션들 합리적인 경우의 수 나열하고 실험 계획하기2022/07/24
Completed
mesh renderer (파라미터 튜닝 측면) : 합리적인 경우의 수 나열하고 실험 계획하기2022/07/24
Completed
출력물 만들기 / cleanup 데이터셋으로 얻은 결과물들 중 가장 mesh 결과물이 정성적으로 괜찮은 factor 을 골라내기
2022/08/09
In progress
‘3D 화 한다’ 에 대한 명확한 기준 설정하기 (두 번째 고민)
2022/07/24
Completed
(문제정의) 마일스톤2 이후의 첫 마일스톤 재조정. 우리는 무엇을 해야 하는가?
2022/07/24
Completed
오늘 취득한 데이터들 스크립트로 스플릿하여 구글 드라이브에 업로드하기
2022/07/26
Completed
출력물 만들기 / cleanup 데이터셋에서 “disparity가 바닥까지 명확히 드러난 결과물”과 “바닥의 disparity 가 뭉개진 결과물”의 차이가 무엇인지 밝히기
2022/08/09
Completed
use_viewdirs = True 로 놓고 실행하는 노트북 만들기
model_fine.npy 파일이 만들어지지 않는 문제, 코드 간단히 이해하고 최대한 빠르게 문제 해결하기 (저장소에 푸시해야 함)
Completed
각자 상의, 하의 하나씩 촬영해서 업로드하기
같은 구도로 얼굴 촬영해서 업로드하기
데이터 / 노이즈 실험 / 촬영자의 팔이나 다리가 나오는 등 잘못 취득된 데이터셋이 결과에 얼마나 유의미한 영향을 미치는지 확인한다.
wandb 저장된 실험 model_().npy 로 mesh 뽑을때 오류
Completed
model_fine.npy 파일이 만들어지지 않아 mesh를 뽑을 수 없었던 상황에 대한 원인(코드)분석
파라미터 선정 전 최최종 실험
데이터 / 움직임에 따른 변인통제 실험 / noparking360 동영상 데이터 취득, 다양한 샘플링 rate 로 업로드, LLFF 구동하여 데이터셋 만들기
데이터 / 데이터의 개수(샘플링 밀도)에 따른 변인통제 실험 / 새로 취득한 데이터셋 말고, hyundong360 비디오에서 sampling rate 을 바꿔 업로드하고 LLFF 구동하여 데이터셋 만들기
굴팁 / 장시간 코랩을 돌려야 할 경우 세션이 종료되지 않게 하는 방법
실험 결과를 토대로 최종 실행(실험) 계획 세우기
Completed
실험 결과 종합 및 분석
영상 수집하기
실험을 어떻게 더 체계적으로 할 것인가에 대해서 계획을 수립하고 공유하기
wandb report, 최종 실행 계획을 참고하여, (특히 OOM이 발생하지 않도록) 파라미터 세트 두 개 선정하기
Completed
‘3D 화 되었다’ 에 대한 정성적 메트릭을 수립하고 우리의 결과물 초안을 평가받기
Completed
파라미터 / netdepth netwidth 실험 / 결과에 얼마나 유의미한 영향을 미치는지 확인한다
raw data : 변인통제 계획하고 필요한 데이터 수집 계획하기2022/07/24
Completed
각자 NeRF 실험할 데이터 분배
2022/07/30
NeRF 파라미터 / Learning rate scheduler 정리해서 공유하기
2022/07/31
NeRF (모델 측면) : 이것을 해야 한다면 얼마나 깊이 해야 하고, 이것을 하기 꺼려지는 이유가 무엇인지 고민해 보기2022/07/31
Completed
GCP 프리티어 환경 / 과금 환경에서 선점형 GPU 로 다양한 실험들을 빠르게 돌릴 수 있는 방법을 팀원들에게 소개할 수 있을 정도로 조사
돈을 많이 쓰지 않고, 실험에 몰입할 수 있는 방법은 없는가 알아보고 예상 비용을 산출하기
할필요없음을느낌
데이터 / 데이터의 개수(샘플링 밀도)에 따른 변인통제 실험 / 새로 취득한 데이터셋 말고, hyundong360 비디오에서 sampling rate 을 바꿔 데이터셋을 구축하고 NeRF 구동시켜 보기
Completed
데이터 / 빛의 반사 정도 실험 / noparking360 동영상 데이터 취득, 뒤에 반짝거리는 쇠 기둥이 등장했는지 아닌지가 구분되는 데이터셋 만들기
파라미터 / learning rate 실험 / lr별로 결과에 얼마나 유의미한 영향을 미치는지 확인한다
NeRF 파라미터 / Downsampling실험 / factor별로 결과에 얼마나 유의미한 영향을 미치는지 확인한다
3D Printing을 위한 pipeline 및 task 할당
데이터 / 데이터의 개수(샘플링 밀도)가 퀄리티에 유의미한 인자가 맞는지 확인한다.
Completed
데이터 / 빛의 반사 정도 실험 / 움직임이 없는 피사체에 대해 빛의 반사가 퀄리티에 유의미한 인자가 맞는지 확인한다.
할필요없음을느낌
데이터 / 움직임에 따른 변인통제 실험 / 주변에 차량이 없고 깔끔한 환경에서 hyundong360 데이터셋과 동일한 개수의 데이터를 사용했을 때 결과물의 퀄리티가 얼마나 차이가 나는지 분석하여, 움직임이 퀄리티에 유의미한 인자가 맞는지 확인한다.
Completed
마일스톤3: 꿈틀꿈틀 플랭크를 하는 현동이를 ‘좋은 퀄리티로’ 3D 화 하기
6
마일스톤3: 꿈틀꿈틀 플랭크를 하는 현동이를 ‘좋은 퀄리티로’ 3D 화 하기
2022/08/05
결과물에 악영향을 미치는핵심 인자를 개선했을 때, 사람들의 반응에 어떠한 차이가 있는지 재평가한다 (한번으로 안 될 수 있음).
Completed
렌더링 결과가 정성적으로 좋은 모델이 좋은 피규어를 만들어내는가?
‘3D 화 한다’ 에 대한 명확한 기준 설정하기 (두 번째 고민)
2022/07/24
Completed
use_viewdirs = False일 때 mesh 추출 못하는 문제 해결방안
2022/08/07
‘3D 화 되었다’ 에 대한 정성적 메트릭을 수립하고 우리의 결과물 초안을 평가받기
Completed
마일스톤4: What's Next?
11
마일스톤4: What's Next?
이슈
맛있는 것을 먹으러가거나 (예를 들어 대게), 어디 놀러갈 일정 잡아보기
2022/08/18
문서화 - wandb 리포트 고도화하기
2022/08/18
데이터야놀자 행사 마무리 - 발표 스크립트 다시 작성하기
2022/10/28
데이터야놀자 행사 준비
문서화 - 노트북 파일 알아볼 수 있게 정리하기
찾은 결과물로 2차 설문조사 만들어 뿌리기
(*후가공 하는거 영상 촬영 필요
) 노이즈 제거 작업 완료하여 메이커스 스페이스에 보낸 결과물 찾아오기
) 노이즈 제거 작업 완료하여 메이커스 스페이스에 보낸 결과물 찾아오기1
총 8종류의 NeRF 데이터셋 원시데이터를 취득
2022/07/07
전체 칸반보드
전체 타임라인
Search
No Status
8
Not started
6
In progress
5
Completed
75
할필요없음을느낌
25
마일스톤1
2
마일스톤1
2022/07/01
논문 서베이, 최소 5개, 최대 10개
마일스톤1.5: 정적인 작은 물체를 정적 물체에 대응되는 최소 모델로 3D 화 하기
12
마일스톤1.5: 정적인 작은 물체를 정적 물체에 대응되는 최소 모델로 3D 화 하기
2022/07/05
실험 관리 도구 wandb 사용방법 알아보고 팀이 사용할 수 있도록 세팅하기
2022/07/05
충분히 작고, 정적이고, Forward Facing (FF) 인 물체를 NeRF 이용해 3D 로 만들어보기
2022/07/05
할필요없음을느낌
현동이 플랭크하는 사진 촬영하기
2022/07/05
현동이 플랭크하는 동영상 촬영하기
2022/07/05
코랩 환경 이해하기
2022/07/05
NeRF 공식 repository: 샘플 데이터셋 Lego, Fern 학습되는 모습 확인하기 (학습 완료가 될 필요 없음)
2022/07/05
NeRF 공식 repository: 직접 수집한 데이터셋에 직접 LLFF를 통해 얻은 pose으로 NeRF 학습되는 모습 확인하기 (학습 완료가 될 필요 없음)
2022/07/05
NeRF 공식 repository: 직접 수집한 데이터셋에 직접 LLFF를 통해 얻은 pose으로 NeRF 의 config, argument, code 수정해서 학습이 완료되는 것까지 확인하기
2022/07/05
Completed
NeRF 공식 repository: 샘플 데이터셋(Lego, Fern) 의 config, argument, code 수정해서 학습이 완료되는 것까지 확인하기
2022/07/05
Completed
LLFF 으로 Camera Extrinsic 구하기
2022/07/04
도커 환경에서 NeRF 모델 실행해보기
마일스톤1.75: 되든 안되든 사람을 대상으로 NeRF 마저 돌려보기
19
마일스톤1.75: 되든 안되든 사람을 대상으로 NeRF 마저 돌려보기
2022/07/08
yk_quarter 데이터셋으로 학습시킨 NeRF 결과물은 왜 결과물이 좋지 않은지, 원인 분석 정리
NeRF 공식 repository: 직접 수집한 데이터셋에 직접 LLFF를 통해 얻은 pose으로 NeRF 의 config, argument, code 수정해서 학습이 완료되는 것까지 확인하기
2022/07/05
Completed
마일스톤2 달성을 위해 가장 우선순위가 높아야 하는 태스크가 무엇이 있을지 제안하기
2022/07/06 23:00
실험 관리 도구 wandb 팀원들에게 소개할 수 있을 정도로 익히고 소개해서 다같이 실험하며 피드백 받을 수 있도록 만들기
2022/07/07
Completed
충분히 작고, 미세하게 동적이고, FF 촬영된 (연경 Forward Facing) NeRF 3D 만들어보기
2022/07/07
충분히 작고, 미세하게 동적이고, 360도 촬영된 (현동360도) NeRF 3D 만들어보기
2022/07/07
Completed
실험 관리 도구 wandb 로 충분히 작고, 정적이고, 360도 촬영된 물체 (e.g. 주차금지, 빔) 결과물 및 config 업로드하기
2022/07/07
Completed
총 8종류의 NeRF 데이터셋 원시데이터를 취득
2022/07/07
beam360 colmap 다시 수행하는 동안 주차금지360 NeRF 3D 만들기
2022/07/07
충분히 작고, 정적이고, 360도 촬영된 물체를 (e.g. 주차금지, 빔) NeRF 이용해 3D 로 만들어보기
2022/07/07
Completed
마일스톤2 달성을 위해 가장 우선순위가 높은 것이 무엇지 정하기
2022/07/07 16:00
Completed
새로 취득한 데이터셋의 슬로우모션 비디오 형태의 데이터로부터 적절한 샘플링을 통해 1/4 바퀴 sparse, dense 이미지 세트를 획득하고 몇 장씩 샘플링한 것인지 데이터셋 현황표를 만들기
2022/07/07 16:00
새로 취득한 데이터셋에 (총 8개 데이터셋에 대하여) COLMAP-LLFF 을 적용하여 pose 획득하고, 되는지 안되는지 여부를 표로 만들기
2022/07/07 17:00
Completed
hyundong360 데이터셋 오류 해결 (혹은 오류 원인 발견), 원인 분석 정리
hyundongff 데이터셋 오류 해결 (혹은 오류 원인 발견), 원인 분석 정리
beam, beam360 HIEC 파일을 jpg 파일로 변환해서 구글 드라이브에 업로드하기
NeRF 원본 소스코드가 jpeg 파일을 입력받을 수 없어서 문제가 발생함. jpeg 파일을 입력받을 수 있도록 가이드라인을 제작하고 동작을 확인하기.
Completed
360 spherify 수행 시 images_8 폴더 생성 및 이미지 로드 과정에서의 에러: 증상과 해결 방안
마일스톤1.9: 다음 그림과 같은 퀄리티의 메쉬를 시각화하는 데 성공한다.
17
마일스톤1.9: 다음 그림과 같은 퀄리티의 메쉬를 시각화하는 데 성공한다.
현동360 데이터셋에 다양한 설정을 적용해 학습시키고 Mesh 가 적용된 3D 표현 결과물 비교하기
Completed
실험 관리 도구 wandb 로 충분히 작고, 정적이고, 360도 촬영된 물체 (e.g. 주차금지, 빔) 결과물 및 config 업로드하기
2022/07/07
Completed
마일스톤2 달성을 위해 가장 우선순위가 높은 것이 무엇지 정하기
2022/07/07 16:00
Completed
우리의 모델에 대해서 성능지표를 측정하고 실험을 할 때마다 wandb 에 자동적으로 업로드되도록 만들고 코드 공유하기
2022/07/12
Completed
‘3D 화 한다’ 에 대한 명확한 기준 설정하기 (첫 번째 고민)
2022/07/12
NeRF 논문에서 사용한 성능지표(metric)에 대해서 팀원들에게 소개할 수 있을 정도로 이해하고 정리해서 공유하기
2022/07/12
Mesh 튜토리얼 노트북 실행을 완료한다.
2022/07/12
Mesh 가 적용된 3D 표현을 담은 파일이 어떤 3D 프로그램으로 어떻게 업로드될 수 있는지 조사하고 팀원들에게 공유한다.
2022/07/12
Mesh 튜토리얼 노트북을 기반으로 우리가 직접 생성한 NeRF 모델을 이용해 Mesh 가 적용된 3D 표현을 만들고 파일로 저장한다.
2022/07/12
Completed
Mesh 가 적용된 3D 표현을 파일로부터 시각화 프로그램으로 불러와서 결과를 팀원들에게 공유한다.
2022/07/12
Completed
Mesh 가 적용된 3D 표현을 파일로 저장한다.
2022/07/12
Completed
GCP 프리티어 환경 / 과금 환경에서 선점형 GPU 로 다양한 실험들을 빠르게 돌릴 수 있는 방법을 팀원들에게 소개할 수 있을 정도로 조사
ff (forward facing) 데이터셋을 이용해 만든 NeRF 모델이 Mesh 튜토리얼 노트북을 통해 Mesh 가 적용된 3D 표현을 만들어낼 수 있는지 확인해 본다.
움직임이 조금 더 많은 데이터셋을 취득한다.
기본 NeRF 모델이 현동이나 연경이의 작은 움직임에 잘 대응하고 있는지 아닌지를 식별할 수 있을 정도까지, 다양한 실험을 해본다. 더욱 선명하게 학습을 시도해 본다. (1) [Metric 정하기] 이상의 결과물, (2) HD 영상 (1280x720) 이상 해상도의 결과물을 만들어낼 수 있어야 한다
Completed
(문제정의) 방향성에 대한 점검 및 마일스톤2 재조정. 우리가 지금 무엇을 하고 있고, 왜 해야 하는가?
Completed
마일스톤2: (deprecated) 정적인 작은 물체를 동적 물체를 위해 설계된 모델로 3D 화 하기
4
목표 모델 설정하고 모델별 DRI 분배하기
‘3D 화 한다’ 에 대한 명확한 기준 설정하기 (첫 번째 고민)
2022/07/12
마일스톤2: (deprecated) 정적인 작은 물체를 동적 물체를 위해 설계된 모델로 3D 화 하기
2022/07/15
(문제정의) 방향성에 대한 점검 및 마일스톤2 재조정. 우리가 지금 무엇을 하고 있고, 왜 해야 하는가?
Completed
마일스톤2: 되든 아니든 못생겼든 아니든 지금 우리가 가지고 있는 3D 파일로 현동이 3D 프린팅하기
17
마일스톤2: 되든 아니든 못생겼든 아니든 지금 우리가 가지고 있는 3D 파일로 현동이 3D 프린팅하기
2022/07/18
할필요없음을느낌
‘--no_ndc --spherify --lindisp' 이것들은 도대체 멀까
캠퍼스타운 메이커스빌 3D 프린터 교육 이수하기
2022/07/14
캠퍼스타운 메이커스빌 사용일정 잡기
2022/07/14
캠퍼스타운 메이커스빌 가서 교육 수강하기 전에 메이커스빌에서 사용하는 3D 프린팅 전용 소프트웨어에 올려서 피규어 크기 조절까지 해 보기
2022/07/14
Completed
hyundong360 데이터의 mesh 가 적용된 3d 표현에서 파라미터를 조정하고 면 뒤집힘 현상이 나타나는 부위를 절단하여 메이커스빌에 메일 보내기
2022/07/15 22:30
BluemotorcycleFF weight 만들기
2022/07/21
(문제정의) 마일스톤2 이후의 첫 마일스톤 재조정. 우리는 무엇을 해야 하는가?
2022/07/24
Completed
noparking360 데이터로 학습시킨 NeRF 모델 weight 있는 사람?
noparking360 mesh 뽑아보기 && 결과물 obj 파일로 저장하기
[해결]mesh 뽑는 과정에서 나는 오류 해결하기
해결]mesh 뽑는 과정에서 나는 오류 해결하기hyundong360 결과물 퀄리티 올리기
콜라보랩 가서 교육 수강하기 전에 메이커스빌에서 사용하는 3D 프린팅 전용 소프트웨어에 올려서 피규어 크기 조절까지 해 보기
2022/07/14
할필요없음을느낌
noparking360 데이터의 mesh 가 적용된 3D 표현에서 노이즈를 제거하고 메이커스빌에 메일 보내기
2022/07/15 10:30
Completed
콜라보랩 문의해서 사용일정 잡기
Bluemotorcycle FF mesh뽑아보기
할필요없음을느낌
(문제정의) 방향성에 대한 점검 및 마일스톤2 재조정. 우리가 지금 무엇을 하고 있고, 왜 해야 하는가?
Completed
마일스톤2.5: 3D 프린팅 피규어 퀄리티를 해치는 핵심 인자를 찾아낸다.
42
마일스톤2.5: 3D 프린팅 피규어 퀄리티를 해치는 핵심 인자를 찾아낸다.
2022/07/31
출력물 만들기 / 최종적으로 cleanup 데이터셋으로부터 얻어낸 결과물 1개, background 제거 데이터셋으로부터 얻어낸 결과물 1개를 선정해 Mesh 파일의 노이즈를 제거한다. *피시방
2022/08/11
Completed
선별한 결과물을 통해 Mesh를 뽑기 및 노이즈 제거 작업 후에 메이커스 스페이스에 보내기
Completed
print : 3D 프린터 옵션들 합리적인 경우의 수 나열하고 실험 계획하기2022/07/24
Completed
mesh renderer (파라미터 튜닝 측면) : 합리적인 경우의 수 나열하고 실험 계획하기2022/07/24
Completed
출력물 만들기 / cleanup 데이터셋으로 얻은 결과물들 중 가장 mesh 결과물이 정성적으로 괜찮은 factor 을 골라내기
2022/08/09
In progress
‘3D 화 한다’ 에 대한 명확한 기준 설정하기 (두 번째 고민)
2022/07/24
Completed
(문제정의) 마일스톤2 이후의 첫 마일스톤 재조정. 우리는 무엇을 해야 하는가?
2022/07/24
Completed
오늘 취득한 데이터들 스크립트로 스플릿하여 구글 드라이브에 업로드하기
2022/07/26
Completed
출력물 만들기 / cleanup 데이터셋에서 “disparity가 바닥까지 명확히 드러난 결과물”과 “바닥의 disparity 가 뭉개진 결과물”의 차이가 무엇인지 밝히기
2022/08/09
Completed
use_viewdirs = True 로 놓고 실행하는 노트북 만들기
model_fine.npy 파일이 만들어지지 않는 문제, 코드 간단히 이해하고 최대한 빠르게 문제 해결하기 (저장소에 푸시해야 함)
Completed
각자 상의, 하의 하나씩 촬영해서 업로드하기
같은 구도로 얼굴 촬영해서 업로드하기
데이터 / 노이즈 실험 / 촬영자의 팔이나 다리가 나오는 등 잘못 취득된 데이터셋이 결과에 얼마나 유의미한 영향을 미치는지 확인한다.
wandb 저장된 실험 model_().npy 로 mesh 뽑을때 오류
Completed
model_fine.npy 파일이 만들어지지 않아 mesh를 뽑을 수 없었던 상황에 대한 원인(코드)분석
파라미터 선정 전 최최종 실험
데이터 / 움직임에 따른 변인통제 실험 / noparking360 동영상 데이터 취득, 다양한 샘플링 rate 로 업로드, LLFF 구동하여 데이터셋 만들기
데이터 / 데이터의 개수(샘플링 밀도)에 따른 변인통제 실험 / 새로 취득한 데이터셋 말고, hyundong360 비디오에서 sampling rate 을 바꿔 업로드하고 LLFF 구동하여 데이터셋 만들기
굴팁 / 장시간 코랩을 돌려야 할 경우 세션이 종료되지 않게 하는 방법
실험 결과를 토대로 최종 실행(실험) 계획 세우기
Completed
실험 결과 종합 및 분석
영상 수집하기
실험을 어떻게 더 체계적으로 할 것인가에 대해서 계획을 수립하고 공유하기
wandb report, 최종 실행 계획을 참고하여, (특히 OOM이 발생하지 않도록) 파라미터 세트 두 개 선정하기
Completed
‘3D 화 되었다’ 에 대한 정성적 메트릭을 수립하고 우리의 결과물 초안을 평가받기
Completed
파라미터 / netdepth netwidth 실험 / 결과에 얼마나 유의미한 영향을 미치는지 확인한다
raw data : 변인통제 계획하고 필요한 데이터 수집 계획하기2022/07/24
Completed
각자 NeRF 실험할 데이터 분배
2022/07/30
NeRF 파라미터 / Learning rate scheduler 정리해서 공유하기
2022/07/31
NeRF (모델 측면) : 이것을 해야 한다면 얼마나 깊이 해야 하고, 이것을 하기 꺼려지는 이유가 무엇인지 고민해 보기2022/07/31
Completed
GCP 프리티어 환경 / 과금 환경에서 선점형 GPU 로 다양한 실험들을 빠르게 돌릴 수 있는 방법을 팀원들에게 소개할 수 있을 정도로 조사
돈을 많이 쓰지 않고, 실험에 몰입할 수 있는 방법은 없는가 알아보고 예상 비용을 산출하기
할필요없음을느낌
데이터 / 데이터의 개수(샘플링 밀도)에 따른 변인통제 실험 / 새로 취득한 데이터셋 말고, hyundong360 비디오에서 sampling rate 을 바꿔 데이터셋을 구축하고 NeRF 구동시켜 보기
Completed
데이터 / 빛의 반사 정도 실험 / noparking360 동영상 데이터 취득, 뒤에 반짝거리는 쇠 기둥이 등장했는지 아닌지가 구분되는 데이터셋 만들기
파라미터 / learning rate 실험 / lr별로 결과에 얼마나 유의미한 영향을 미치는지 확인한다
NeRF 파라미터 / Downsampling실험 / factor별로 결과에 얼마나 유의미한 영향을 미치는지 확인한다
3D Printing을 위한 pipeline 및 task 할당
데이터 / 데이터의 개수(샘플링 밀도)가 퀄리티에 유의미한 인자가 맞는지 확인한다.
Completed
데이터 / 빛의 반사 정도 실험 / 움직임이 없는 피사체에 대해 빛의 반사가 퀄리티에 유의미한 인자가 맞는지 확인한다.
할필요없음을느낌
데이터 / 움직임에 따른 변인통제 실험 / 주변에 차량이 없고 깔끔한 환경에서 hyundong360 데이터셋과 동일한 개수의 데이터를 사용했을 때 결과물의 퀄리티가 얼마나 차이가 나는지 분석하여, 움직임이 퀄리티에 유의미한 인자가 맞는지 확인한다.
Completed
마일스톤3: 꿈틀꿈틀 플랭크를 하는 현동이를 ‘좋은 퀄리티로’ 3D 화 하기
6
마일스톤3: 꿈틀꿈틀 플랭크를 하는 현동이를 ‘좋은 퀄리티로’ 3D 화 하기
2022/08/05
결과물에 악영향을 미치는핵심 인자를 개선했을 때, 사람들의 반응에 어떠한 차이가 있는지 재평가한다 (한번으로 안 될 수 있음).
Completed
렌더링 결과가 정성적으로 좋은 모델이 좋은 피규어를 만들어내는가?
‘3D 화 한다’ 에 대한 명확한 기준 설정하기 (두 번째 고민)
2022/07/24
Completed
use_viewdirs = False일 때 mesh 추출 못하는 문제 해결방안
2022/08/07
‘3D 화 되었다’ 에 대한 정성적 메트릭을 수립하고 우리의 결과물 초안을 평가받기
Completed
마일스톤4: What's Next?
10
마일스톤4: What's Next?
맛있는 것을 먹으러가거나 (예를 들어 대게), 어디 놀러갈 일정 잡아보기
2022/08/18
문서화 - wandb 리포트 고도화하기
2022/08/18
데이터야놀자 행사 마무리 - 발표 스크립트 다시 작성하기
2022/10/28
데이터야놀자 행사 준비
문서화 - 노트북 파일 알아볼 수 있게 정리하기
찾은 결과물로 2차 설문조사 만들어 뿌리기
(*후가공 하는거 영상 촬영 필요) 노이즈 제거 작업 완료하여 메이커스 스페이스에 보낸 결과물 찾아오기
) 노이즈 제거 작업 완료하여 메이커스 스페이스에 보낸 결과물 찾아오기