在上一场讲座中，港中文MMLab的祝新革博士为我们深度讲解了室外点云分割的研究方法、以及他们在CVPR 2021上的最新研究成果和在自动驾驶领域中的应用。

有室外自然就有室内。7月15日晚7点，我们邀请到慕尼黑工业大学博士后聂隐愚再次参与到「CVPR 2021特别企划」第5讲的直播讲解中。在去年的7月15日，聂博就曾围绕《基于单图像的三维室内场景语义重建研究及应用》这一主题进行过直播讲解。而在本次讲解中，他将以《从点云中理解三维物体实例》为题，对室内场景下的点云三维重建进行深入讲解。

聂博目前为慕尼黑工业大学Visual Computing Group博士后。他在2021年于英国计算机动画中心，伯恩茅斯大学获得博士学位，博士期间曾为香港中文大学（深圳）访问博士生。聂博的研究兴趣主要包括三维场景／物体理解，分析与重建，目前已在在CVPR、NeurIPS、MICCAI等国际顶级会议上发表工作多篇。

基于点云的场景理解是目前特别具有挑战性的任务，以往的工作主要是将点云转化为规则的网格，如体素和鸟瞰图，然后使用基于网格的卷积来进行场景理解。然而基于网格的三维卷积往往需要消耗巨大的算力，因此以往的方法仅仅只能在低分辨率的情况下进行，并且由于点云具有的稀疏性和不规则性，将其直接转化为网格的卷积来进行场景的重建并不合适。

在本次讲座中，聂博将讲解一种基于点云语义实例重建而提出的“先检测再重建”框架。该框架克服了以往方法中严重依赖三维卷积来在体素化场景中进行学习的问题，而是提出了一种新颖的、也是第一个可以直接从点云中通过几何预测实例语义的学习方法；同时还提出了一种的新的端到端结构，用于从稀疏点云中学习对象语义和形状，它将语义实例重构分解为全局目标定位和局部形状预测，并通过跳转连接模块进行桥接，以便于联合学习。通过这种方式，该形状生成器可支持隐式学习，直接克服了现有技术中的分辨率瓶颈问题；该方法在现有的检测主干上达到了实例检测与补全的最新水平，在目标重建中提高了11个以上的IoU。

本次课程将在智东西公开课知识店铺上以视频直播的形式进行，包含主讲和问答两个环节。主讲环节40分钟，问答环节20分钟，每个环节聂博都将通过视频直播的形式进行实时讲解与解答。