如何解决在TensorFlow服务中为USE4模型提供服务时表未初始化的问题？
因此，我使用以下链接准备了一个包含USE4的Keras模型： https://tfhub.dev/google/universal-sentence-encoder-large/4 使用TensorFlow 2.3，我将其添加到我的模型中并保存该模型 tf.saved_model.save( model, export_dir= '/directory/model/1', ) 在d
..
tensorflow-serving相关内容
如何从 PredictResponse 对象中检索 float_val?
我正在对 tensorflow 服务模型进行预测，然后返回这个 PredictResponse 对象作为输出: 结果: 输出{关键:“输出"价值 {数据类型:DT_FLOAT张量形状{昏暗{尺寸:1}昏暗{尺寸:20}}浮点值:0.000343723397236浮点值:0.999655127525浮点值:3.96821117632e-11浮点值:1.20521548297e-09浮点值:2
..
Tensorflow 服务 没有可服务的版本在基本路径下找到
我正在关注 this 使用我的对象检测模型使用 tensorflow 服务 的教程.我正在使用 tensorflow 对象检测 来生成模型.我使用 this 导出器(生成的冻结模型工作使用 python 脚本). 冻结图目录有以下内容(variables目录中没有内容) 变量/ saved_model.pb 现在，当我尝试使用以下命令为模型提供服务时， tensorflo
..
对 TensorFlow 服务的 RaggedTensor 请求失败
我创建了一个使用 RaggedTensors 的 TensorFlow 模型.模型工作正常，当调用 model.predict 时，我得到了预期的结果. 输入= tf.ragged.constant([[[ - 0.9984272718429565，-0.9422321319580078，-0.27657580375671387，-3.185823678970337，-0.6360141634
..
在 Tensorflow 中为模型提供服务，服务输入函数应该做什么
因此，当在 Tensorflow 中导出训练模型用于服务目的时，我一直在努力理解 services_input_fn() 的主要任务是什么.网上有一些例子可以解释它，但我在为自己定义它时遇到了问题. 我试图解决的问题是一个回归问题，我有 29 个输入和一个输出.是否有用于为此创建相应服务输入功能的模板?如果我使用一类分类问题怎么办?我的服务输入功能需要更改还是可以使用相同的功能? 最后
..
在推理服务中使用 tf.Session 是否线程安全?
现在我们已经使用 TensorFlow 来训练和导出模型.我们可以用这个模型来实现推理服务，就像 tensorflow/serving 所做的那样. 我有一个关于 tf.Session 对象是否线程安全的问题.如果是这样，我们可以在启动后初始化对象，并使用单例对象来处理并发请求. 解决方案 tf.Session 对象对于 Session.run() 来自多个线程的调用. 在 T
..
将 Tensorflow 预处理添加到现有的 Keras 模型(用于 Tensorflow Serving)
我想在导出的 Keras 模型中包含我的自定义预处理逻辑，以便在 Tensorflow Serving 中使用. 我的预处理执行字符串标记化并使用外部字典将每个标记转换为索引以输入到嵌入层: from keras.preprocessing 导入序列token_to_idx_dict = ... #从文件中读取# 在 input_data 上自定义 Pythonic 预处理步骤标记 = [
..
将图形原型 (pb/pbtxt) 转换为 SavedModel 以在 TensorFlow Serving 或 Cloud ML Engine 中使用
我一直在关注 TensorFlow for Poets 2我训练过的模型上的 codelab，并创建了一个带有嵌入权重的冻结的量化图.它被捕获在一个文件中 - 比如 my_quant_graph.pb. 因为我可以通过 TensorFlow Android 推理库使用该图进行推理 很好，我以为我可以用 Cloud ML Engine 做同样的事情，但它似乎只适用于 SavedModel 模型
..
如何为张量流模型推理输入多特征
我正在尝试建模服务测试. 现在，我正在关注这个例子 "https://www.tensorflow.org/beta/guide/saved_model" 这个例子没问题.但是，就我而言，我有多输入功能. loaded = tf.saved_model.load(export_path)infer = loaded.signatures["serving_default"]打印(infe
..
使用 Java 使用 Tensorflow Serving 进行推理
我们正在将现有的 Java 生产代码转换为使用 Tensorflow Serving (TFS) 进行推理.我们已经重新训练我们的模型并使用新的 SavedModel 格式保存它们(不再有冻结图！！). 从我读过的文档来看，TFS 不直接支持 Java.但是它确实提供了一个 gRPC 接口，并且确实提供了一个 Java 接口. 我的问题是，启动 Java 应用程序以使用 TFS 所涉及的步
..
ExpirationError(code=StatusCode.DEADLINE_EXCEEDED, details=“Deadline Exceeded")
我正在关注 教程 以使用 tensorflow 服务部署初始模型.我是使用 ubuntu 16.04 和 bazel 13.0.服务器正在运行，可以 ping 服务器.但是当我上传图片时，它显示以下错误 jennings@Jennings:~/serving$ bazel-bin/tensorflow_serving/example/inception_clie nt --server=loca
..
XOR 的张量流服务签名
我正在尝试使用 tensorflow 服务导出我的第一个 xor NN，但在调用 gRPC 时没有得到任何结果.这里是我用来预测 XOR 的代码 将 tensorflow 导入为 tfsess = tf.Session()从 keras 导入后端为 KK.set_session(sess)K.set_learning_phase(0) # 从现在开始所有新的操作都将处于测试模式从 tensor
..
如何在 tensorflow 服务中添加新模型
我知道一次可以运行多个模型，您可以在配置文件中指定，如 此处. 就我而言，我想用 model_A、model_B 和 model_C 启动服务器，并在将来添加一个新的任意model_D 无需重启服务器(因为我不想中断模型 A、B 和 C 的服务). 有没有办法达到这个要求? 解决方案 以下提交添加了此功能(并且应该在 TensorFlow Serving 1.7.0 及更高版本
..
如何使用 base64 编码图像为 TensorFlow Serving REST 接口制作模型?
我的理解是，我应该能够从 Google 的 AI Hub 获取一个 TensorFlow 模型，将其部署到 TensorFlow Serving 并使用它通过使用 curl 通过 REST 请求发布图像来进行预测. 我目前在 AI Hub 上找不到任何 bbox 预测器，但我在 TensorFlow 模型动物园找到了一个: http://download.tensorflow.org/
..
如何将 onnx 模型转换为 tensorflow 保存的模型?
我正在尝试使用 tf-serving 来部署我的火炬模型.我已将我的火炬模型导出到 onnx.如何为 tf-serving 生成 pb 模型? 解决方案 使用 onnx/onnx-tensorflow 转换器工具作为 ONNX 的 Tensorflow 后端. 安装 onnx-tensorflow:pip install onnx-tf 使用命令行工具进行转换:onnx-tf
..
TensorFlow Serving:在运行时更新 model_config(添加额外模型)
我正忙于配置 TensorFlow Serving 客户端，该客户端要求 TensorFlow Serving 服务器针对给定模型对给定输入图像进行预测. 如果请求的模型尚未提供，则会从远程 URL 下载到服务器模型所在的文件夹.(客户这样做).此时我需要更新 model_config 并触发服务器重新加载它. 此功能似乎存在(基于 https://github.com/tensorf
..
TensorFlow Serving 交叉列奇怪错误
当我尝试向我保存的模型发送预测请求时收到以下错误，使用 TensorFlow Serving 运行: {“错误":“索引的预期 D2 为 2，在位置 0\n\t [[{{node linear/linear_model/linear_model/linear_model/int2Id_X_stringId/SparseCross}}]]"} 问题似乎来自尝试在线性模型中使用交叉列......?
..
在 BERT 模型上调试 TensorFlow
我能够按照此示例使用 BERT 嵌入部署 NLP 模型(在 CPU 和 tensorflow-model-server 上使用 TF 1.14.0):https://mc.ai/how-to-ship-machine-learning-models-into-production-with-tensorflow-serving-and-kubernetes/ 模型描述非常清晰: !save
..
张量流中的循环
我改变了我的问题以更好地解释我的问题: 我有一个函数:output_image = my_dunc(x) x 应该像 (1, 4, 4, 1) 请帮我修复这部分的错误: out = tf.Variable(tf.zeros([1, 4, 4, 3]))指数 = tf.constant(0)定义条件(索引):返回 tf.less(index, tf.subtract(tf.shape(
..
Nodejs Tensorflow 服务客户端错误 3
我正在提供一个预先训练好的初始模型，并且我一直按照官方教程提供服务直到现在.我目前收到错误代码 3，如下所示: { 错误:内容必须是标量，得到形状 [305][[节点:map/while/DecodeJpeg = DecodeJpeg[_output_shapes=[[?,?,3]],acceptable_fraction=1,channels=3,dct_method="",fancy_ups
..