使用对象CAD从单个图像生成3D对象姿势 [英] 3D object pose from single image using object CAD

问题描述

我正在研究一种商业产品，我需要在单个2D图像中估算已知3D CAD(闭合2流形三角形网格)的6DOF姿势.通常，这是一个困难的问题，但是在我们的操作条件下，我们可以施加以下约束来简化问题:

I'm working on a commercial product where I need to estimate the 6DOF pose of a known 3D CAD (closed 2-manifold triangular mesh) in a single 2D image. In general, this a difficult problem but under our operational conditions, we can impose the following constraints simplifying the problem:

1. CAD对象是已知的，我们不会像识别所有椅子的类别那样追求通用性.
2. 我们可以让用户将相机大致定位到特定姿势(与物体的距离，大致方向+/- 15deg等)
3. 如果可能的话，我们将仅使用图像的边缘(例如Canny)查找并与从给定位置观看的对象进行匹配.
4. 这将用于带有人造物体(管道，阀门，接合点等)且质地不明显的工业环境中.

所有这些限制使我认为，即使是相对古老且有些基本的技术也可以使用.例如，在桑卡(Sonka)等人.全书，第12.3.2节Goad的算法解释了Goad C于1986年发表的一篇论文基于快速3D模型的视觉"，在我们的假设下，采用自上而下的假设和验证"方法可以很好地发挥作用.我还知道，工业视觉和机器人技术社区已经解决了这个问题及其普遍性，因此必然会有一些可用的东西.

All these constraints lead me to think that even relatively old and somewhat basic techniques could work. For example, in the Sonka and al. book, section 12.3.2 Goad's algorithm explains a 1986 paper from Goad C. "Fast 3D model-based vision" which could work relatively well under our assumptions with its top-down "hypothesize-and-verify" approach. I also know that the industrial vision and robotics community have tackled this problem and its generalization for a long time so there is bound to be something usable out there.

有人会知道解决该问题的商业上可用的实现(例如OpenCV等)吗?

更具体地说:

• 我不是在寻找需要脱机学习阶段的深度学习内容，这些阶段需要从我们的CAD模型中获取数千个观点.
• 我不是在寻找依赖于深度传感器的RGB-D技术.颜色也无关紧要，因为CAD是无色的.
• 出于研究目的而采用的旧"技术是可以的，甚至是首选，因为我们将在性能低下的计算机上运行.
• 理想情况下，使用C或C ++(例如，可能取决于OpenCV).
• 可用于商业用途(根据BSD，MIT，BOOST等获得许可)，而不适用于GPL.

预先感谢任何人都可以提供的潜在客户.

Thanks in advance for any leads anybody could offer.

推荐答案

我会尝试为您的CAD模型创建许多渲染图像，然后减去真实图像，并尽量减小差异.

I would try to create many rendered images of your CAD models and subtract the real image and try to minimize the difference.

为使搜索空间最小化，您可以考虑先创建前景对象的边界框，如果可行的话.

To minimize the search space you could think of creating a bounding box of the foreground object first, if that is feasible.

这篇关于使用对象CAD从单个图像生成3D对象姿势的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！