3D understanding

1. Seeing the world in 3D perspective

1-1 Why is 3D important?

- 우리가 3D세상에 살고있기 때문이다.

- AR/VR, 3D printing, mediacl application, 단백질, 뉴런, 우리의 몸속 세포 등

1-2 The way we observe 3D

- 3D물체를 2D로 잘 그리려고 노력해왔음

- 사진은 3D를 2D로 projection한다.

Triangulation: 2D이미지가 2개있으면 3D로 복원이 가능하다. 이때 3D 지점을 3D pioint라고한다.

1-3 3D data representation

3d 데이터가 어떻게 저장되는지

1. multi-view image: 여러각도에서 2D사진을 촬영하여 저장

2. volumetric(voxel): 2D이미지와 가장 비슷한 데이터 표현법, 격자로 나눠 격자에 3D오브젝트가 차지하고있는지없는지 바이너리한표현

3. part assembly: 각각의 조합으로 표현

4. point cloud: 포인트들의 집합을 이용 (x,y,z)라는 3d포인트로 저장

5. mesh(graph cnn): x,y,z가 삼각형 형태로 이어져서 포인트들을 vertex라고하고 vertex를 잇는 edge로 구성

6. Implicit shape: 고차원의 Function으로 표현, 0과 교차하는 부분을 따서 3D형상을 따는 추상적인표현법

 

 

1-4 3D datasets

- Shape NET: Large scale synthetic objects (51300개)

- Part NET: Fine grained dataset, useful for segmentation (573,585 part instances in 26,671 3D models)

- Scene NET: 5million RGB-depth synthetic indoor images

- SCAN NET: 2.5million RGB depth view real data

- outdoor 3D scene dataset

1) KITTI: LiDAR data labeld by 3D b.boxes

2) semantic KITTI: LiDAR data, labeled per point

3) Waymo open dataset: LiDar dataset labeld by 3D b.boxes

2. 3D tasks

2-1 3D recognition

2D Image를 prediction하는것과 똑같이 3D이미지 또한 3D Model(volumetric CNN)을 거쳐 cat이라고 예측

2-2 3D object detection

2-3 3D semantic segmentation

2-4 Conditional 3D generation

Mesh R-CNN

Mask R-CNN vs Mesh R-CNN