3D 重建技術 (四): 從影片中去重建 4D！4D又有什麼潛在應用呢？

比起靜止不動的3D，現實生活中各種動起來的3D，也就是4D，才是我們的最終目標。不論是4D重建或是4D生成，都是在今後的AR/VR/MR和各類應用中不可或缺的。今天就來介紹一下4D的可能應用以及目前4D重建的兩大類方法，也會提一下3D Gaussian Splatting 在目前 4D 的使用情況。
-------------------------------------------------------------------------------
FB 粉絲頁： / aitoybox
-------------------------------------------------------------------------------
相關閱謮
(方法一)
Space-time Neural Irradiance Fields for Free-Viewpoint Video
-- arxiv.org/pdf/2011.12950.pdf
Dynamic View Synthesis from Dynamic Monocular Video
-- arxiv.org/pdf/2105.06468.pdf
(方法二)
Nerfies: Deformable Neural Radiance Fields
-- nerfies.github.io/
HyperNeRF: A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields
-- hypernerf.github.io/
D-NeRF: Neural Radiance Fields for Dynamic Scenes
-- www.albertpumarola.com/resear...
(Gaussian Splatting 相關)
Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene Reconstruction
-- ingra14m.github.io/Deformable...
4D Gaussian Splatting for Real-Time Dynamic Scene Rendering
-- guanjunwu.github.io/4dgs/
PhysGaussian: Physics-Integrated 3D Gaussians for Generative Dynamics
-- xpandora.github.io/PhysGaussian/
#ai #ai繪圖 #ml #科普 #tutorial #3D #stablediffusion #computervision #generativemodels #text2image #machinelearning #reconstruction #nerf #3dgs #augmentedreality #virtualreality #mixedreality #immersive #immersiveexperience #unity #unrealengine #neuralnetworks #implicitfunction #mesh #pointcloud #render #raytracing #rtx #blender #unity #unrealengine #gaussian #nvs #4d

[@yangbenjamin12]

感謝大佬的講解🙇‍♂ 圖文並茂的解說真的很有幫助!!

[@akingtoy]

感謝你的講解很有 內容非常專業

[@CloudnOcean]

解釋的太棒了

[@wendypark3848]

好厉害呀 大神

[@CornuDev]

感謝分享

[@user-ng2hi4he9l]

感謝哥分享🙇‍♂🙇‍♂

[@ikura_AI]

感謝捧場！

[@Ind1fferentMr]

大佬可以讲讲人体的重建

[@ikura_AI]

有在規畫內，有時間一定做!

[@zengping2364]

很想听这个，等大佬更新。​@@ikura_AI

[@HC-xh6mh]

感謝大神分享! 開一下腦洞, 感覺4DGS可以透過2D video學習所包含的物理特性(如果該影片是在真實世界拍攝), 那就可以把一些簡單的碰撞, 型變學起來, 甚至像是頭髮的物理特性之類的 關於mono camera pose部分 感覺可以用SLAM之類的方法推算出來(畢竟相對很成熟了? 還可以利用手機上的其他sensor)

[@ikura_AI]

說得很好.沒錯我相信已經有人在做這方面的嘗試了，雖然不見得很好做因為畢竟橢圓球跟實際物體還是有差距，看起來真實跟要用來物理模擬中間還是有要想辦法處理的地方

[@ikura_AI]

至於pose, 要看use case 囉， 假設你是從裝置角度（像手機）出發，那的確可以由sensor 和一些方面拿到基本準確的pose. 但如果像是對一般人，拿到影片，可能是球賽可能是電影可能是KZbin 上隨便的影片可能是舊影片，那能用的額外訊息就不多了。

[@stickmanunivers5si9d]

請問現在有將3D Gaussian Splatting 和mesh 結合原理是什麼

[@ikura_AI]

好問題! 現在有不少把 GS 輸入到各種 engine 裡的方法，我個人不太清楚每個 code base 具體是用什麼方法。在我的理解中，從 GS 變成 mesh，或換句話說，從 GS 中做 mesh extraction，本身就還是個未被解決的研究方向。最笨最笨，你可以想成我就把他們變成某種解析度的橢圓體，阿重疊到的部分再看看要怎麼處理。或是在用 GS 做 3D 生成的這篇 DreamGaussian (arxiv.org/pdf/2309.16653.pdf) 中的 3.2 章節就是在解釋他們提出的 extraction 方法。更甚者這篇 SuGar (arxiv.org/pdf/2311.12775.pdf) 整篇都是在介紹他們提出的一個高效從 GS 中提取 mesh 的方法。因為不是很好三言兩語解釋完，你如果有興趣可以去看看~ 之後如果素材夠多我也可以做一篇來解釋。

[@notechgames]

4:35 柯P乱入