11.26 双目视频运动物体匹配及分割

上一章研究了单目视频的运动物体分割问题，其假定匹配（特征点轨迹）已经给定，而研究重点在于如何利用该匹配关系来实现物体分割。在本章中，我们主要研究双目视频的匹配和运动分割问题[7] 。在这一问题中，两个运动摄像头独立拍摄同一场景，且视频未经时域同步。相比于单目视频，双目视频能更全面地覆盖物体的表观，并有可能消除在单目视频分割中由于运动信息不充分导致的歧义性。

考虑最通用的逐点匹配关系。我们采用图 4 中所示的流程来实现空域匹配、时域匹配，以及运动物体分割。图

首先在每个视频上分别提取特征点轨迹，并对两个视频中的轨迹点提取SIFT描述符实行初步匹配。在两个摄像机的特性、拍摄角度或尺度差别较大时，这些特征的重复度往往较低，使得我们只能得到少量的匹配特征点对，而不能满足实际应用的需要。此外，这种基于特征描述符的匹配方法还常常出现错误匹配的情况。在接下来的精匹配模块中，考虑利用运动子空间约束来帮助解决初始匹配中重复度低和存在匹配错误的问题。在这一模块中，通过适当地放缩优化目标，将 NP 难的匹配问题转换为矩阵填充问题（凸优化），从而进行有效求解。有了更精确的匹配后，该系统将进一步改善透视效应以及得到时域匹配和运动物体分割结果。