공영재의 개발일지

Previewhttps://arxiv.org/abs/2011.11534 Accurate 3D Hand Pose Estimation for Whole-Body 3D Human Mesh EstimationWhole-body 3D human mesh estimation aims to reconstruct the 3D human body, hands, and face simultaneously. Although several methods have been proposed, accurate prediction of 3D hands, which consist of 3D wrist and fingers, still remains challenging due toarxiv.org 기존 whole-body pose e..

Previewhttps://arxiv.org/pdf/2308.04079NeRF는 학습 시간이 매우 오래 걸린다는 단점이 있다.당시 sota였던 Mip-NeRF가 학습에 48시간이 걸린 것에 비해, 3DGS 방법은 51분의 학습으로 Mip-NeRF보다 높은 성능을 보여줄 뿐아니라, 1080p 기준 30fps 정도의 실시간 렌더링까지 가능해져 엄청난 관심을 받게 되었다. 참고로 3DGS는 NeRF와 달리 MLP 방식을 사용하지 않는다. 3D Gaussian을 화면에 흩뿌려(Splatting) geometry의 정밀한 부분을 묘사하는, explicit representation 방법을 사용한다. Method  SfM을 통해 pointcloud를 받아와서, 이 pointcloud 각각에 대해 가까운 세점과의 분..

Previewhttps://arxiv.org/pdf/2003.089343D를 representation하는 방법은 크게 implicit representation과 explicit representation으로 구분한다. explicit의 경우 pointcloud, voxel, mesh 등을 통해 3D를 직접 표현하므로 메모리를 많이 사용한다.implicit의 경우 데이터를 간접적으로 표현하는데, NeRF는 이 방법에 해당한다.픽셀 좌표를 넣어주면 Neural Network를 통해 추론하여 해당 좌표에 대한 RGB+density 값을 출력하는 방식이다.이러한 방식을 통해 서로 다른 여러 시점의 사진을 입력으로 받아 새로운 시점을 합성할 수 있다. NN을 사용하기에 연속적인 공간을 표현하는데 자유롭고 디테..

Image Segmentation Image segmentation : 이미지에서 ROI(Regions Of Interest)를 분리해내는 것. Segmentation Methods - Intensity based : Edge based와 Region based로 나뉘며, 픽셀 값의 불연속과 유사성을 사용한다. - Information based : 기존에 ROI에 관해 알고 있던 정보들 사용 - Data and learning-based : 위 두가지를 포함하며, 유저가 개입하지 않는다. 위 methods를 조합하여서도 사용한다. region-based intensity segmentation의 경우 Morphological filtering, Region labeling, Region selectio..

Intensity Transformation intensity(밝기)는 어떻게 구하나? - RGB pixel 값으로 얻는 intensity 공식이 있음. ex) 0.2R + 0.7G + 0.1G, application에 따라 상세값은 달라짐 Contrast enhancement methods (대비 강화) - mimax normalization : max-min, detail은 유지하나 contrast 변환이 제한적 - z-score normalization : 표준편차 - Histogram equalization : 픽셀 수의 누적으로 처리, detail 떨어짐 let L=2^bit count (e.g. 256) minmax의 각 bit 계산 = (L-1) * ((Rk - Rmin) / (Rmax - ..