pose-estimation相关内容

如何在 tflite 中使用posenet模型的输出

我正在使用来自 的 tflite 模型用于posenet这里.它接受输入 1*353*257*3 输入图像并返回 4 个维度数组 1*23*17*17、1*23*17*34、1*23*17*64 和 1*23*17*1.该模型的输出步幅为 16.如何获取输入图像上所有 17 个姿势点的坐标?我尝试从 out1 数组的热图中打印置信度分数,但每个像素的值接近 0.00.代码如下: 公共类 Main ..

如何估计具有 3d 到 2d 点对应的相机姿势(使用 opencv)

您好,我的目标是开发用于飞机(模拟器)驾驶舱的头部跟踪功能,以提供 AR 以支持民用飞行员在视觉条件不佳的情况下着陆和飞行. 我的方法是检测我知道其 3D 坐标的特征点(在黑暗的模拟器 LED 中),然后计算估计的(头戴相机的)姿势 [R|t](旋转与平移连接). 我遇到的问题是估计的姿势似乎总是错误的,并且我的 3D 点的投影(我也用来估计姿势)与2D 图像点(或不可见). 我 ..

来自 cv::solvePnP 的世界坐标中的相机位置

我有一个校准的相机(内在矩阵和失真系数),我想知道相机的位置,知道图像中的一些 3d 点及其对应点(2d 点). 我知道 cv::solvePnP 可以帮助我,并且在阅读了 this 和this 我知道solvePnP rvec 和tvec 的输出是对象在相机坐标系中的旋转和平移. 所以我需要在世界坐标系中找出相机的旋转/平移. 从上面的链接看来,代码很简单,在 python 中 ..
发布时间:2021-12-10 20:27:47 C/C++开发

如果已知外在和内在参数,则从 2D 图像像素获取 3D 坐标

我正在使用 tsai algo 进行相机校准.我得到了内在和外在矩阵,但如何从该信息重建 3D 坐标? 1) 我可以使用高斯消元法找到 X、Y、Z、W,然后点将是 X/W 、 Y/W 、 Z/W 作为齐次系统. 2) 我可以使用OpenCV 文档方法: 据我所知 u, v, R , t ,我可以计算 X,Y,Z. 然而,这两种方法最终都会得到不正确的不同结果. 我做错 ..

从图像点计算 x,y 坐标 (3D)

我的任务是在 3D 坐标系中定位一个对象.由于我必须获得几乎精确的 X 和 Y 坐标,因此我决定跟踪一个具有已知 Z 坐标的颜色标记,该标记将放置在移动对象的顶部,例如这张图片中的橙色球: 首先,我完成了相机校准以获取内在参数,然后我使用 cv::solvePnP 获取旋转和平移向量,如下面的代码所示: std::vector图像点;std::vector对象点;//img点是图片中的绿点 ..
发布时间:2021-12-10 20:17:25 其他开发

OpenCV 旋转(Rodrigues)和平移向量,用于在 Unity3D 中定位 3D 对象

我正在使用“用于 Unity3d 的 OpenCV"资产(它与用于 Java 的 OpenCV 包相同,但已转换为用于 Unity3d 的 C#),以便为我的理学硕士论文(计算机科学)创建增强现实应用程序. 到目前为止,我能够使用 ORB 特征检测器从视频帧中检测对象,并且我还可以使用 OpenCV 的 SolvePnP 方法找到 3D 到 2D 的关系(我也进行了相机校准).通过这种方法, ..
发布时间:2021-11-30 17:07:12 C#/.NET

如何找到增强现实的相机矩阵?

我想在 x,y,z 米 wrt 相机上增强一个虚拟对象.OpenCV 具有相机校准功能,但我不明白我究竟能以米为单位给出坐标 我尝试在 Unity 中模拟相机,但没有得到预期的结果. 我如下设置投影矩阵,并在 z = 2.415 + 0.5 处创建一个单位立方体.其中 2.415 是眼睛和投影平面之间的距离(针孔相机模型)既然立方体的面在前剪裁平面并且它的尺寸是单位,它不应该覆盖整个视 ..
发布时间:2021-11-25 01:50:00 C#

如何组合(合并)不同的回归模型

我正在为不同的人体姿势问题估计训练不同的模型.实际上,我需要的是从人体不同关节的回归模型中获得不同的输出.在我搜索这个问题之后,我想出了这个想法,我有两种方法: 训练不同的模型并结合它们的最终结果. 以链状训练模型.(第二个模型的输入是第一个模型的输出和...) 我知道 Keras 有一个名为 concatenate 的函数,它是一个合并模型的两个输出的层.但是如果我不想用 Kera ..
发布时间:2021-07-07 18:51:14 Python

如何使用 OpenCV 通过solvePnP 估计距离?

我尝试估计相机和用于校准的棋盘之间的距离.但是我在棋盘上的点的 Z 值(993 - 1021 毫米)上有很大的不同.棋盘平行于相机,所以我预计相机中心和棋盘平面上任何点之间的 Z 值应该是相同的. 我做错了什么? 代码: import numpy导入 cv2#来自 cv2.calibrateCamera.imagePoints = numpy.array([[185.38619995 ..
发布时间:2021-06-12 20:00:19 其他开发

OpenCV 项目点的逆向

我有一个相机对着棋盘.我知道点的世界 3d 位置以及相机图像上相应投影点的 2d 位置.所有世界点都属于同一平面.我使用solvePnP: Matx33d camMat;Matx41d distCoeffs;Matx31d rvec;Matx31d tvec;std::vector对象点;std::vectorimgPoints;solvePnP(objPoints, imgPoints, ca ..
发布时间:2021-06-12 19:47:44 其他开发

如何计算基于相机的相对姿态测量的协方差?

我正在尝试通过通常的功能对应方式,使用它们捕获的图像来计算两个摄像机之间的相对姿态.我使用这些特征匹配来计算基本矩阵,然后进行分解,从而导致两个视图之间的旋转和平移.我目前在OpenCV中使用 findEssentialMat 和 recoverPose 函数来实现此目的.一旦我计算出相对姿势: 如何找到此测量的不确定性?我是否应该尝试(使用对极误差)细化基本矩阵本身,从而导致基本矩阵的协方 ..
发布时间:2021-04-23 20:25:16 其他开发

Tensorflow:确定预训练的CNN模型的输出步幅

我使用处理输出所需的一条信息是“输出步幅".用于计算原始图像中找到的关键点的原始坐标. keypointPositions = heatmapPositions * outputStride + offsetVectors 但是文档没有指定输出步幅.我可以使用tensorflow中的信息或方法来获得此(任何)预训练模型的输出步幅吗? img的输入形状为:(257,257,3) ..
发布时间:2020-07-03 20:40:38 Python

面对“没有任何变量的梯度".训练SIAMESE网络时出错

我目前正在Tensorflow(ver:1.8 os:Ubuntu MATE16.04)平台上构建模型. 该模型的目的是检测/匹配人体关键点. 训练时,出现“没有任何变量的梯度"错误,我很难修复它. 模型背景: 它的基本思想来自这两篇论文: 深度学习二进制哈希码以实现快速图像检索 通过无监督的深度神经网络学习紧凑型二进制描述符 他们表明可以根据卷积网络生成的哈希码来匹配图像. ..
发布时间:2020-07-03 20:40:36 Python

获取pnp或posit的2d-3d点对应关系

我正在尝试根据给定的卫星图像来估计卫星的姿态和位置.我有卫星的3D模型.当我自己挑选点对应关系时,使用PnP求解器或POSIT都可以很好地工作,但是我需要找到一种自动匹配点的方法.使用拐角检测器(到目前为止,我发现的最好的是基于轮廓),除了几个虚假点之外,我还可以找到图像中的所有相关点.但是,我需要将图像中的给定点与3D模型中的正确点进行匹配.我所读过的关于该主题的文章似乎总是以我们发现了点对而没 ..
发布时间:2020-07-03 20:40:34 其他开发

如何在tflite中使用posenet模型的输出

我正在使用这里.它获取输入1 * 353 * 257 * 3输入图像并返回4个变暗数组1 * 23 * 17 * 17、1 * 23 * 17 * 34、1 * 23 * 17 * 64和1 * 23 * 17 * 1.该模型的输出步幅为16.如何获得输入图像上所有17个姿势点的坐标?我尝试从out1阵列的热图中打印置信度得分,但每个像素的值接近0.00.代码如下: public class ..

如何找到用于增强现实的相机矩阵?

我想在摄像机的x,y,z米处增加一个虚拟对象. OpenCV具有摄像机校准功能,但我不知道如何精确地以米为单位 我尝试在Unity中模拟相机,但没有得到预期的结果. 我将投影矩阵设置如下,并在z = 2.415 + 0.5处创建一个单位立方体. 其中2.415是眼睛与投影平面之间的距离(针孔相机型号) 由于立方体的面在前裁剪平面上并且其尺寸为单位,因此它不应该覆盖整个视口吗? ..
发布时间:2020-05-20 20:42:11 其他开发

如何确定相机的世界坐标?

我在墙上有一个已知尺寸和位置的矩形目标,在机器人上有一个移动相机.当机器人在房间周围行驶时,我需要定位目标并计算摄像头及其姿势的位置.作为进一步的扭曲,可以使用伺服器更改摄像机的仰角和方位角.我可以使用OpenCV定位目标,但是在计算摄像机的位置时仍然感到迷惑(实际上,上周我的头部撞在墙上,使我的额头上出现了一个平坦的点).这是我在做什么: 读取先前计算的相机内在文件 从轮廓获取目标矩形的 ..
发布时间:2020-05-20 19:51:16 其他开发