pose-estimation相关内容

OpenCV 旋转(Rodrigues)和平移向量,用于在 Unity3D 中定位 3D 对象

我正在使用“用于 Unity3d 的 OpenCV"资产(它与用于 Java 的 OpenCV 包相同,但已转换为用于 Unity3d 的 C#),以便为我的理学硕士论文(计算机科学)创建增强现实应用程序. 到目前为止,我能够使用 ORB 特征检测器从视频帧中检测对象,并且我还可以使用 OpenCV 的 SolvePnP 方法找到 3D 到 2D 的关系(我也进行了相机校准).通过这种方法, ..
发布时间:2021-11-30 17:07:12 C#/.NET

如何找到增强现实的相机矩阵?

我想在 x,y,z 米 wrt 相机上增强一个虚拟对象.OpenCV 具有相机校准功能,但我不明白我究竟能以米为单位给出坐标 我尝试在 Unity 中模拟相机,但没有得到预期的结果. 我如下设置投影矩阵,并在 z = 2.415 + 0.5 处创建一个单位立方体.其中 2.415 是眼睛和投影平面之间的距离(针孔相机模型)既然立方体的面在前剪裁平面并且它的尺寸是单位,它不应该覆盖整个视 ..
发布时间:2021-11-25 01:50:00 C#

如何组合(合并)不同的回归模型

我正在为不同的人体姿势问题估计训练不同的模型.实际上,我需要的是从人体不同关节的回归模型中获得不同的输出.在我搜索这个问题之后,我想出了这个想法,我有两种方法: 训练不同的模型并结合它们的最终结果. 以链状训练模型.(第二个模型的输入是第一个模型的输出和...) 我知道 Keras 有一个名为 concatenate 的函数,它是一个合并模型的两个输出的层.但是如果我不想用 Kera ..
发布时间:2021-07-07 18:51:14 其他开发

如何使用 OpenCV 通过solvePnP 估计距离?

我尝试估计相机和用于校准的棋盘之间的距离.但是我在棋盘上的点的 Z 值(993 - 1021 毫米)上有很大的不同.棋盘平行于相机,所以我预计相机中心和棋盘平面上任何点之间的 Z 值应该是相同的. 我做错了什么? 代码: import numpy导入 cv2#来自 cv2.calibrateCamera.imagePoints = numpy.array([[185.38619995 ..
发布时间:2021-06-12 20:00:19 其他开发

OpenCV 项目点的逆向

我有一个相机对着棋盘.我知道点的世界 3d 位置以及相机图像上相应投影点的 2d 位置.所有世界点都属于同一平面.我使用solvePnP: Matx33d camMat;Matx41d distCoeffs;Matx31d rvec;Matx31d tvec;std::vector对象点;std::vectorimgPoints;solvePnP(objPoints, imgPoints, ca ..
发布时间:2021-06-12 19:47:44 其他开发

如何计算基于相机的相对姿态测量的协方差?

我正在尝试通过通常的功能对应方式,使用它们捕获的图像来计算两个摄像机之间的相对姿态.我使用这些特征匹配来计算基本矩阵,然后进行分解,从而导致两个视图之间的旋转和平移.我目前在OpenCV中使用 findEssentialMat 和 recoverPose 函数来实现此目的.一旦我计算出相对姿势: 如何找到此测量的不确定性?我是否应该尝试(使用对极误差)细化基本矩阵本身,从而导致基本矩阵的协方 ..
发布时间:2021-04-23 20:25:16 其他开发

从posenet提取关键点到json文件?

我正在研究posenet的tensorflow实现,以实时进行姿势估计,如果可能的话,也可以在离线模式下进行姿势估计.我正在研究以下回购协议: https://github.com/tensorflow/tfjs-models/tree/master/posenet 在下面的代码部分的以下函数中读取关键点 export function drawKeypoints(key ..
发布时间:2020-07-03 20:40:41 其他开发

Tensorflow:确定预训练的CNN模型的输出步幅

我使用处理输出所需的一条信息是“输出步幅".用于计算原始图像中找到的关键点的原始坐标. keypointPositions = heatmapPositions * outputStride + offsetVectors 但是文档没有指定输出步幅.我可以使用tensorflow中的信息或方法来获得此(任何)预训练模型的输出步幅吗? img的输入形状为:(257,257,3) ..
发布时间:2020-07-03 20:40:38 其他开发

面对“没有任何变量的梯度".训练SIAMESE网络时出错

我目前正在Tensorflow(ver:1.8 os:Ubuntu MATE16.04)平台上构建模型. 该模型的目的是检测/匹配人体关键点. 训练时,出现“没有任何变量的梯度"错误,我很难修复它. 模型背景: 它的基本思想来自这两篇论文: 深度学习二进制哈希码以实现快速图像检索 通过无监督的深度神经网络学习紧凑型二进制描述符 他们表明可以根据卷积网络生成的哈希码来匹配图像. ..
发布时间:2020-07-03 20:40:36 其他开发

获取pnp或posit的2d-3d点对应关系

我正在尝试根据给定的卫星图像来估计卫星的姿态和位置.我有卫星的3D模型.当我自己挑选点对应关系时,使用PnP求解器或POSIT都可以很好地工作,但是我需要找到一种自动匹配点的方法.使用拐角检测器(到目前为止,我发现的最好的是基于轮廓),除了几个虚假点之外,我还可以找到图像中的所有相关点.但是,我需要将图像中的给定点与3D模型中的正确点进行匹配.我所读过的关于该主题的文章似乎总是以我们发现了点对而没 ..
发布时间:2020-07-03 20:40:34 其他开发

如何在tflite中使用posenet模型的输出

我正在使用这里.它获取输入1 * 353 * 257 * 3输入图像并返回4个变暗数组1 * 23 * 17 * 17、1 * 23 * 17 * 34、1 * 23 * 17 * 64和1 * 23 * 17 * 1.该模型的输出步幅为16.如何获得输入图像上所有17个姿势点的坐标?我尝试从out1阵列的热图中打印置信度得分,但每个像素的值接近0.00.代码如下: public class ..
发布时间:2020-07-03 20:39:28 其他开发

如何找到用于增强现实的相机矩阵?

我想在摄像机的x,y,z米处增加一个虚拟对象. OpenCV具有摄像机校准功能,但我不知道如何精确地以米为单位 我尝试在Unity中模拟相机,但没有得到预期的结果. 我将投影矩阵设置如下,并在z = 2.415 + 0.5处创建一个单位立方体. 其中2.415是眼睛与投影平面之间的距离(针孔相机型号) 由于立方体的面在前裁剪平面上并且其尺寸为单位,因此它不应该覆盖整个视口吗? ..
发布时间:2020-05-20 20:42:11 其他开发

OpenCV :: solvePNP()-断言失败

我正试图借助OpenCV的SolvePNP()来获得摄影机的姿势. 运行程序后,出现以下错误: OpenCV Error: Assertion failed (npoints >= 0 && npoints == std::max(ipoints.checkVector(2, CV_32F), ipoints.checkVector(2, CV_64F))) in solvePnP, ..
发布时间:2020-05-20 20:34:47 其他开发

如何确定相机的世界坐标?

我在墙上有一个已知尺寸和位置的矩形目标,在机器人上有一个移动相机.当机器人在房间周围行驶时,我需要定位目标并计算摄像头及其姿势的位置.作为进一步的扭曲,可以使用伺服器更改摄像机的仰角和方位角.我可以使用OpenCV定位目标,但是在计算摄像机的位置时仍然感到迷惑(实际上,上周我的头部撞在墙上,使我的额头上出现了一个平坦的点).这是我在做什么: 读取先前计算的相机内在文件 从轮廓获取目标矩形的 ..
发布时间:2020-05-20 19:51:16 其他开发

OpenCV旋转(Rodrigues)和转换向量,用于在Unity3D中定位3D对象

我正在使用"OpenCV for Unity3d"资产(与Java的OpenCV包相同,但已转换为Unity 3d的C#),以便为我的MSc论文(计算机科学)创建增强现实应用程序. 到目前为止,我已经能够使用ORB特征检测器从视频帧中检测到物体,并且还可以使用OpenCV的SolvePnP方法找到3D到2D关系(我也进行了摄像机校准). 通过这种方法,我得到了平移和旋转向量.问题发生在增强阶 ..
发布时间:2020-05-20 19:36:23 其他开发

OpenCV中的recoverPose()函数是否是惯用左手的?

我对OpenCV相机姿态估计进行了简单的测试.将照片和同一张照片放大(放大)后,我用它们来检测特征,计算基本矩阵并恢复相机的姿势. Mat inliers; Mat E = findEssentialMat(queryPoints, trainPoints, cameraMatrix1, cameraMatrix2, FM_RANSAC, 0 ..
发布时间:2020-05-20 19:33:29 其他开发

相机姿态估计(OpenCV PnP)

我正在尝试使用网络摄像头从四个具有已知全局位置的基准的图像中获取全局姿态估计. 我检查了很多stackexchange问​​题和几篇论文,但似乎无法找到正确的解决方案.我得到的位置编号是可重复的,但绝不会与相机的移动成线性比例.仅供参考,我正在使用C ++ OpenCV 2.1. 在此链接处显示的图片 我的坐标系和下面使用的测试数据. % Input to solvePnP(): ..
发布时间:2020-05-20 19:11:27 其他开发

从图像点计算x,y坐标(3D)

我有一项任务是在3D坐标系中定位对象.由于我必须获得几乎精确的X和Y坐标,因此我决定跟踪一个具有已知Z坐标的颜色标记,该颜色标记将放置在移动对象的顶部,如该图中的橙色球: 首先,我完成了相机校准以获取固有参数,然后使用cv :: solvePnP来获取旋转和平移矢量,如以下代码所示: std::vector imagePoints; std::vector ..
发布时间:2020-05-20 19:04:55 其他开发

基本矩阵中的错误?

我试图通过扫描从它拍摄的两个图像,检测图像中的特征,匹配它们,创建基本矩阵,使用相机内在函数来计算基本矩阵,然后分解它来找出相机的姿态来估计相机的姿势旋转和翻译。 这里是matlab代码: I1 = rgb2gray(imread('1.png')); I2 = rgb2gray(imread('2.png')); points1 = detectSURFFeatures ..
发布时间:2016-12-26 12:31:11 其他开发