3D 重建技術 (二): NeRF，AI技術革命 -- 用神經網路把場景「背」下來！

Рет қаралды 4,100

Күн бұрын

NeRF (Neural Radiance Field) 是在 2020 年，3D重建技術的一個重大革新，一時之間，幾乎半個學術圈都在做相關的研究。今天就來介紹一下這個 NeRF 大概在做麼吧！為了理解它，我還會帶到幾個重要的概念像是渲染 (Render)、光線追蹤 (Ray Tracing)、顯/隱式表示法 (Explicit/Implicit Representation) 等等。希望大家看完之外能對 NeRF 有初步了理解！
00:00 開場
00:45 NeRF出現前的3D 重建
01:43 什麼是 Render
03:39 什麼是 Ray Tracing
04:51 什麼是 Implicit Representation
09:27 什麼是 NeRF (Neural Radiance Field)
12:23 結語
--------------------------------------------------------------------------------
FB 粉絲頁： / aitoybox
#ai #ai繪圖 #科普 #3D #stablediffusion #computervision #generativemodels #text2image #machinelearning #reconstruction #nerf #3dgs #augmentedreality #virtualreality #mixedreality #immersive #immersiveexperience #unity #unrealengine #neuralnetworks #implicitfunction #mesh #pointcloud #render #raytracing

Пікірлер: 27

@chaoituan9814 4 ай бұрын

講解得好清楚，謝謝！

@changtimwu 7 ай бұрын

講得好好❤ 大推

@caialex 8 ай бұрын

清晰明確、大贊！

@ikura_AI 8 ай бұрын

謝謝！

@user-gk3ue1he4d 6 ай бұрын

非常好，深入浅出，抓住了最重要的核心

@ikura_AI 6 ай бұрын

謝謝！

@gorilla543210 7 ай бұрын

淺顯易懂超級厲害支持！

@ikura_AI 7 ай бұрын

謝謝！

@yangbenjamin12 8 ай бұрын

講解的很清楚，謝謝你!!!

@ikura_AI 8 ай бұрын

感謝捧場！

@yung-mingchiu2364 9 ай бұрын

高質量頻道

@ShibaMaxwell 8 ай бұрын

講得超好的!!大推>X

@ikura_AI 8 ай бұрын

謝謝！

@CornuDev 5 ай бұрын

感謝分享

@ikura_AI 5 ай бұрын

謝謝🙏

@user-ng2hi4he9l 9 ай бұрын

大推推推~

@ikura_AI 9 ай бұрын

感謝捧場哈哈

@user-mr8ol3ko1m 8 ай бұрын

太赞了，

@ikura_AI 8 ай бұрын

感謝捧場～

@liweilin6649 8 ай бұрын

您好，謝謝你做的這麼細心的講解影片，讓我更加對NeRF有深入的理解，我自己有在關注一些NeRF的project，我比較關注在從隱式表達式裡重建高精度的Mesh，最近一直在關注三篇paper，nerf2mesh、BakedSDF、Neuralangelo，不曉得大大有空是否能夠做個影片帶想深入的大家理解這幾篇的paper?因為對於部分想印用這些技術的人，通常都會想將NeRF重建的結果套入到3D引擎中，然而傳統3D渲染引擎基於PBR的渲染原理，似乎都只在實體Mesh上發展而已，一些NeRF轉換出來的Point Cloud對於Photorealistic的場景會處於無用之處(但可能是我廢哈哈)，但目前常見的NeRF的3D重建Mesh方法如Instant NGP、Luma Ai、Kiri engine等輸出的mesh質量都非常差~ 因此看到上面提到的三篇Paper時，心理蠻彭湃的，但希望大大有空能為搞建模的童鞋解釋~ 以及不曉得大大知不知道在NeRF領域蠻有名的兩個框架，NeRF Studio以及sdfstudio，因為不是本科系，理解還有點問題，只是大概知道這兩個框架把一些NeRF會需要的一些條件(如相機位置等)變成像模組一樣的code，可以不同條件跟原理串來串去，最後組合成新型態NeRF?應該吧? 但自己覺得sdfstudio在實作上面似乎更革新一點，例如前陣子有人把Neuralangelo結合BakedSDF，變成BakedAngelo，據說Training速度以及mesh的還原更為快速且精細！如果大大有空的話不曉得能不能也講解一下這兩個框架的原理? 謝謝大大的製作以及回復!萬分感謝 Eugene 上

@ikura_AI 8 ай бұрын

感謝你的留言! (1) paper 的講解對我來說反而是容易的哈哈，一來是不確定有興趣的觀眾多不多，二來是那些大作通常會已經有英文的影片了。但沒問題，如果我之後行有餘力會考慮為了進階的觀眾們來開新的講解系列。 (2) 你對 point cloud 和 mesh 的轉換的看法是沒錯的，那也是目前的大問題，而這也是3DGS能帶來的優勢 (雖然本質上容不是那種現實的mesh，但至少是能轉換成實體mesh)。 (3) 有關於nerfstudio和sdfstudio， sdfstudio是基於nerfstudio之上開發的。在我個人的理解裡(我自己在除了研究外的實作上經驗跟很多人比起來很少，如果有講錯麻煩其他大大指正)，SdfStudio 基本上能提供更好的表面，優勢尤其在它對mesh export的支援。一樣，如果我行有餘力也會考慮出個實作的介紹，尤其是基於最近的3DGS的。再次感謝你的提問和建議!

@liweilin6649 7 ай бұрын

@@ikura_AI 謝謝大大的回覆！目前這方面的資訊我覺得對於國內外的3D建模、設計師來說，有很大的資訊斷層，也很感謝大大願意將自身的研究理解以淺顯易懂的方式下放給廣大業界人士吸收！

@liuke101 3 ай бұрын

有个错误，ray-tracing和ray-matching并不相同。NeRF使用的是ray-matching(光线步进）

@ikura_AI 3 ай бұрын

這個在下一部3DGS中也有人提到。這個就要看要是哪個領域的使用習慣了。technically, y, it's ray marching (btw, it's marching not matching), but ray tracing and ray marching are not disjoint, ray tracing itself 也有不同的定義類別。我們學術圈子內目前滿大部分人都仍會直接說 "NeRF是用ray tracing的"，包括 NeRF之父 Jon Barron，像是在 ICCV2023差點拿paper 的 zip-nerf 的 introduction 的第一句 (arxiv.org/abs/2304.06706)，和他自己討論 NeRF v.s. GS的 tweet (twitter.com/jon_barron/status/1690425748585336832?s=46&t=_aDYNcBAVn8-Jd1ubAOF_w%EF%BC%89)。我自己的paper裡也通常都會這樣寫。

@ikura_AI 3 ай бұрын

當然啦，能夠在尤其像是遊戲中的ray tracing時如果能分清楚一定更好，只是篇幅有限，而我們這個又主要是面向一般無背景大眾的，所以就不太有辦法在短時間內把這些都講清楚。我個人是覺得對一般人來說大概念上理解其實對一般人來說就挺足夠了~