基于单件家具图片3D重建的家居环境增强现实系统——比较正规的买球软件家居设计
基于单件家具图片3D重建的家居环境增强现实系统——比较正规的买球软件家居设计
发布时间:2022-11-06 12:27:05 作者:小编

随着“元宇宙”概念的普及,增强现实技术作为其底层技术支撑正慢慢应用到人们的日常生活中。近年来,快速3D重建室内家具以满足AR购物需求已成为一种新方法。比较正规的买球软件设计了一个虚拟家庭环境系统,并研究了系统中的相关核心技术。对包含复杂背景的家具图像进行背景去除和实例分割,并提出贝叶斯分类器和GrabCut算法来改进传统的前景背景分离技术。重构部分以经典的占用网络重构算法为网络基础,提出精确占用网络算法,可以重建家具图像的结构细节,提高模型精度。针对传统3D配准模型容易出现模型位置偏移和与场景匹配不准确的问题,改进了基于AKAZE的跟踪配准算法,提出了一种基于AKAZE的MultipleFiltering-AKAZE去除匹配点。在进一步筛选匹配结果的基础上,改进了RANSAC过滤误匹配算法,提高了匹配精度。最后验证系统实现了AR可视化家具模型的功能,可以更好地完成重建以及配准效果。针对传统3D配准模型容易出现模型位置偏移和与场景匹配不准确的问题,比较正规的买球软件改进了基于AKAZE的跟踪配准算法,提出了一种基于AKAZE的MultipleFiltering-AKAZE去除匹配点。在进一步筛选匹配结果的基础上,改进了RANSAC过滤误匹配算法,提高了匹配精度。最后验证系统实现了AR可视化家具模型的功能,可以更好地完成重建以及配准效果。针对传统3D配准模型容易出现模型位置偏移和与场景匹配不准确的问题,改进了基于AKAZE的跟踪配准算法,提出了一种基于AKAZE的MultipleFiltering-AKAZE去除匹配点。在进一步筛选匹配结果的基础上,改进了RANSAC过滤误匹配算法,提高了匹配精度。最后验证系统实现了AR可视化家具模型的功能,可以更好地完成重建以及配准效果。在进一步筛选匹配结果的基础上,改进了RANSAC过滤误匹配算法,提高了匹配精度。最后验证系统实现了AR可视化家具模型的功能,可以更好地完成重建以及配准效果。在进一步筛选匹配结果的基础上,改进了RANSAC过滤误匹配算法,提高了匹配精度。最后验证系统实现了AR可视化家具模型的功能,可以更好地完成重建以及配准效果。


image.png


受全球新冠疫情影响,国家鼓励足不出户购物,以减少人群聚集带来的疫情传播。网购小件商品通常不需要考虑尺寸,退换货更容易携带,但中大型家具产品的网购可能存在一定的弊端。传统家具采购主要是根据主观感受来推断家具在房间内的摆放位置和摆放效果;这种做法会造成购买后的家具在实际摆放效果上与房子的大小和家具的颜色不协调。家具产品的退货相当费时费力,所以目前的家具采购模式多为线下采购。


增强现实技术作为“元宇宙”底层技术的重要技术支撑,在现实世界中展示虚拟模型或信息进行交互,通常可以辅助用户在现实中展示和工作。随着电子产品计算能力的提高,AR技术被应用到人们生活的方方面面。在购物网站上查看家具的单个图像并创建可实时用于AR的3D模型已成为一种新的购物方式。尽管许多学者研究了如何从单个图像重建3D模型,但前提是基于干净、无背景的示例对象。由于网站上的家具图片通常包含复杂的背景,因此需要解决三个问题:首先,需要从复杂的背景中提取干净的家具图片;第二,基于个体家具图像的3D重建;第三,将重建的3D模型准确配准到真实环境中。


本文旨在结合3D重建技术和增强现实相关技术,开发一种基于家具图片的实时3D重建,以及基于用户网购家具产品场景的AR浏览和家具摆放的AR家居环境系统。该系统基本可以满足用户在浏览购物网站时对背景复杂的家具图片进行重构,并对图片进行预处理去除背景得到干净的家具样板图,将2D家具图片进行3D重构得到3D模型家具,然后利用AR技术应用家具模型布置家居环境,实现虚拟购物功能。


3D重建

基于图像的3D重建算法的效果,比较正规的买球软件显示了与之前一些算法的重建的比较效果。输入的单椅、长凳、桌子、沙发和双人椅分别使用ONet、DISN和本文算法进行重构。可以看出,这三种算法都可以准确地重构出一张简单的单椅。在bench图像的3D重建中,ONet和DISN的重建结果比现有算法更平滑、更好。但在桌子的重建效果上,ONET缺少桌子底梁重建的精细部分,缺失。DISN几乎不重构表底结构,而本文的算法捕捉到了结构细节,可以有效地重构表底结构。在沙发图片的重构中,ONet网格重构忽略了抱枕重构等细节,而DISN可以检测抱枕信息,但不重构效果不是很明显,本文算法保留了细节信息。最后在双人椅上的实验发现,对于包含孔洞的物体结构的重构,ONet会直接进行mesh补,而DISN则直接丢失了靠背位置信息,本文的算法不仅捕捉到了靠背信息,还保留了gap存在于两个靠背之间,更接近实物图片中的家具结构。


image.png


根据上一节提供的评估指标进行了定量评估,如表3.可以看出,对于IoU结果,ShapeNet数据集中的大部分家具类别在ChamferDistance度量方面都优于之前的方法,但只有沙发类别在NormalConsistency度量方面略胜一筹,而所有其他类别的家具模型都不如以前的方法。原因是NC指标是针对两个网格表面的法线相似度,而PONet是针对细节重建,本质上解决了基于点云数据的分辨率问题,所以对于网格本身的重建效果没有那么高作为直接用于网格重建的算法的评价指标。在表3,符号“↑”表示数值与效果成正比,符号“↓”表示数值与效果成反比。粗体表示比较实验中的最佳结果。


我们提出了一种从真实室内图片中提取家具实例并在3D中重建它们的系统。我们的目标是首先使用BCGC实例分割方法获得干净的家具图像,然后基于2D图像进行3D重建。重构网络模型PONet是在占用网络的基础上,通过叠加局部特征信息以及全局特征信息,并加入侧分支概率估计,最后针对传统的AKAZE算法进行改进,得到MF-AKAZE以达到准确的特征在3D注册过程中进行检测,以便更好地实现家具模型的AR交互。结果表明,该系统不仅能够准确提取家具图像,但也可以在几个验证指标上比Onet网络表现更好,通过分析可视化结果为重建添加更多细节,在3D配准中的匹配率和可重复性方面与几种先进方法相比提高效果,最后通过实验验证系统的整体功能。比较正规的买球软件在家具图片3D重建和模型AR查看实现实验中对核心算法进行了分析和改进,对未来AR在业务中的高效实时应用具有重要意义。最后通过实验验证系统的整体功能。本文在家具图片3D重建和模型AR查看实现实验中对核心算法进行了分析和改进,对未来AR在业务中的高效实时应用具有重要意义。最后通过实验验证系统的整体功能。本文在家具图片3D重建和模型AR查看实现实验中对核心算法进行了分析和改进,对未来AR在业务中的高效实时应用具有重要意义。


免责声明:部分文章信息来源于网络以及网友投稿,本网站只负责对文章进行整理、排版、编辑,是出于传递更多信息之目的,并不意味着赞同其观点或证实其内容的真实性,如本站文章和转稿涉及版权等问题,请作者在及时联系本站,我们会尽快处理。
标题:基于单件家具图片3D重建的家居环境增强现实系统——比较正规的买球软件家居设计