港中深王方鑫團隊:3D 重建的「玻璃杯難題」,終於被擺上檯面丨CVPR 2026
3DReflecNet:一個專為玻璃、金屬與陶瓷等材料建立的大規模數據集。 作者丨樊天驕、鄭佳美 編輯丨鄭佳美 想為手上的玻璃杯生成 3D 模型,需要幾步?拍照、掃描、建模......聽上去似乎很簡單,可如果你真的動手試試,得到的往往是佈滿孔洞、邊緣扭曲的殘缺結果。這就是當前 3D 重建技術的瓶頸:無論是爆火的 3D 高斯濺射(3D Gaussian Splatting, 3DGS)、神經輻射場(Neural Radiance Fields, NeRF),還是傳統的多視圖立體匹配方法,都只對不反光的漫反射材質且擁有足夠清晰的紋理特徵的物體有效。而對於那些具有反射、透明和低紋理表面特性的材料,現有技術可以說是束手無策,比如金屬、玻璃和陶瓷。金屬的反光特性會讓同一物體在不同角度、不同光照下呈現截然不同的特徵,玻璃的折射徹底會扭曲光線傳播路徑,光滑的陶瓷則缺乏可供算法匹配的特徵點。這就造成了以下現象:服務機器人想要拿起一個玻璃碗,卻常常因為識別不到物體輪廓而失手;工業質檢系統試圖掃描拋光後的不鏽鋼零件時,得到的 3D 模型卻總是扭曲且失真的。算法,就像是活在一個物體都是漫反射的世界裡,而真實物理世界遠遠比這複雜得多。在這樣的行業背景下,香港中文大學(深圳)王方鑫教授團隊聯合首都師範大學、南加州大學的研究者提出了《3DReflecNet: A Large-Scale Dataset for 3D Reconstruction of Reflective, Transparent, and Low-Texture Objects》,構建了專門針對反射、透明、低紋理三類高難度物體的大規模混合 3D 重建數據集。這項研究打造了一個包含 12 萬+合成實例、1000+ 真實物體、總規模超 22 TB 的綜合數據集,並建立了涵蓋圖像匹配、運動恢復結構、新視角合成、反射去除和重光照五大核心任務