google-cloud-pubsub相关内容

Google PubSub重新发送的消息未被处理

我使用了Google PubSub文档中的订阅者示例 我所做的唯一修改是注释掉了对消息的确认。 订阅者不再向队列中添加消息,而应根据Google云控制台中设置的间隔重新发送消息。 为什么会发生这种情况,还是我遗漏了什么? public class SubscriberExample { use the default project id private static fina ..
发布时间:2022-09-06 18:32:37 Java开发

未送达邮件的GCP发布数量不会更改

我正在使用pubSub触发我定义的最多10个实例的云函数。 当大约300条或更多的大量消息到达该主题并开始触发该功能时,未确认消息的数量突然停止,它不会改变,尽管我知道被触发的云功能会自动攻击这些消息... 我想知道我在这里错过了什么… 添加以下图表以显示我正在谈论的内容: 所以这里有几点需要注意: 图表以1分钟为间隔 图表比例在右侧 左侧的工具箱只是为了便于查看哪条 ..

谷歌发布/订阅控制RateLimit

我做了一个云函数来做以下事情: 在今天的前一天(大约400个ID)每晚一次获取订单ID的过滤器。 对于每个ID,从源获取详细信息。 对于每个详细信息,请从目标获取额外信息。 作为发票发送到目标。 我的问题在第2步。速率限制为每分钟14个请求。因此,我想创建一个介于1和2之间的发布/订阅。创建一个从主题中提取消息的订阅函数。处理其中的14条消息并确认这些消息,然后解析承诺。但这给我 ..
发布时间:2022-09-06 18:14:15 其他开发

PubSub流拉入nack与无确认行为

nack()具有以下行为 Nack() “拒绝承认给定的消息。” 这将导致邮件被重新传递到订阅。 现在在流拉取中,我正在拉取taxiride streaming data测试的行为。 使用NACK() 流拉入继续接收以前被NACK的邮件() nack()或ack() 流媒体读取最初的一串消息,并等待很长时间。我等了差不多15分钟,但没有收到任何新消息。 现在我的问题是,在 ..
发布时间:2022-09-06 17:53:36 其他开发

谷歌云存储+功能:规模化的系统架构

背景 我有一个包含3个步骤的处理链。我要将我的应用程序设计为具有非常高的输出。 了解详细信息 系统正在解决传入任务。每个处理链(A、B和C)都有输入和输出: A输入是一个需要解决的任务。A输出是要解算的子任务列表。A为一个输入生成多个输出(所有输出都与同一任务相关)。 B输入是一项需要解决的任务。B输出是针对C的单个任务。 C输入是按";父任务";聚 ..

在使用Beam IO ReadFromPubSub模块时,是否可以拉取具有Python属性的消息?目前还不清楚它是否得到支持

正在尝试将具有存储在PubSub中的属性的消息拉入Beam管道。我想知道是否添加了对Python的支持,这就是我无法阅读它们的原因。我看到它存在于Java中。 pipeline_options = PipelineOptions() pipeline_options.view_as(StandardOptions).streaming = True pipeline = beam.Pipe ..
发布时间:2022-09-06 17:33:35 Python

Google云发布/订阅功能在查询FireStore时提供请求的快照版本太旧

我有一个对集合执行简单查询的gCloud发布/订阅函数。在10月8日之前,它运行得很好。现在我看到";请求的快照版本太旧的错误消息。 我已经使用相同的代码创建了一个HTTP函数,并手动运行它,它工作得非常好。 下面是函数: // 0 3 * * * - at 03:00 AM every day exports.GenerateRankings = functions.p ..

GCloud检查主题是否存在并能够重复使用该主题

我正在使用gcloud-node。 如果该主题已经存在,则createTheme API将返回错误409。是否有可以在发布消息时隐式创建主题的标志,或者是否有用于检查主题是否已存在的API? 它很容易使用getTopics API,遍历响应主题数组并确定主题是否存在。我只是想确保我没有写东西,如果它已经存在的话。 推荐答案 是否有可以在发布消息时隐式创建主题的标志,或者是否有用 ..
发布时间:2022-09-06 17:24:11 其他开发

Google的发布/订阅、Socket、IPC等之间的区别

我使用node.js服务器和GCloud。GCloud的酒吧/潜艇到底是什么?它的工作方式像Socket还是TCP?我的服务器正在使用Socket.IO和Node-IPC进行通信,GCloud的发布/订阅可以替代吗? 推荐答案 PubSub是一种消息服务。这两个应用程序允许在两个应用程序之间进行异步通信;一个应用程序向消息服务“发布消息”,然后另一个进程在稍后的时间(几秒钟、几分钟或几 ..

如何使用Google Cloud PubSub和Run来处理资源密集型的长时间运行任务?

我有一个Google Cloud PubSub主题,它有时会有数千条消息,有时却是零条消息。这些消息表示每条消息可能需要一个小时以上的任务。我最好使用Cloud Run,因为它可以很好地根据需求进行扩展,如果发布了一千条消息,我希望启动100个Cloud Run实例。这些运行实例由推送订阅启动。问题是,PubSub有600秒的超时时间来确认。这意味着为了让Cloud Run处理这些消息,他们必须在 ..

云发布/订阅演示:403用户无权执行此操作。当尝试推送通知时

我正在学习Google Cloud Pub/Sub,并遵循此官方文档:Writing and Responding to Pub/Sub Messages - Python 当我将其部署到云中并尝试提交消息时, 我收到以下错误: 发生内部错误: 403用户无权执行此操作。(发布https://pubsub.googleapis.com/v1/projects/your-project- ..

GCP PubSub:通过cURL类型的请求发布消息

有没有人有直接从外壳通过cURL类型的命令将消息发布到GCP PubSub主题的实用示例? 我正在尝试不使用CLI和客户端库,并且我被OAuth的东西挂住了。 如果能列出在Linux上运行的bash脚本需要做的事情,我将非常高兴,如果任何人有这样的东西或可以拼凑一个,我将非常感激。 我已有的项目: 我有一个正在处理的Linux计算引擎 我有一些通过CLI和Python发布 ..
发布时间:2022-09-06 16:53:40 其他开发

如何对Google Cloud发布/订阅队列进行限速

我正在使用Google的发布/订阅队列来处理服务之间的消息。部分订阅者接入限速接口 例如,我正在将街道地址推送到一个酒吧/订阅主题上。我有一个云功能,它订阅(通过推送)该主题,并调用外部限速地理编码服务。理想情况下,我的街道地址可以毫不迟疑地放到主题上,主题将保留这些消息--以限速方式呼叫订阅者。 是否有配置这样的延迟或消息分发速率限制的方法?增加Ack窗口并没有真正的帮助:我设计了这个系 ..
发布时间:2022-09-06 16:48:21 其他开发

长时间运行的云运行进程和发布订阅消息重试

我有一个云运行服务,最长可运行60分钟。pubSub是云运行服务执行的触发点。 重试策略的发布订阅配置设置为最大值(600s)。 现在,当从pubSub发布消息时,云运行开始执行,因为完成执行大约需要60分钟,但600秒后的pubSub消息开始重试,因为它没有收到云运行的任何确认,从而导致云运行服务一次又一次地执行。 如何处理此处的发布订阅重试,使云运行不会因为重试而一次又一次地执行。 ..

未使用com.google.cloud.pubsub.v1获取TopicName类的';个方法

我正在使用GCP PubSub和TopicName类。我想编写以下代码: TopicName topicName = TopicName.of(projectId, topicId); 但我无法获取'of'方法。 请大家指出我做错了什么。 推荐答案 我将我们的讨论总结为答案。 您引用的是documentation,它解释了如何使用Java在PubSub中发布消息,并且 ..

Pubsubite订阅第一条消息速度极慢

我使用的是GCP pubsubite,带有一个分区、几条消息的朴素主题。Python客户端库。使用回调执行标准订阅,订阅客户端,subscribe方法。在调用该方法和接收第一条消息之间,大约需要30秒。后续邮件速度较快,因为它们已在缓存中。 关于超长发作的问题:这是意料之中的吗?还是有一些常见的嫌疑人? 感谢您的指点。 编辑:代码粘贴在下面。编辑凭证后在Docker中运行。我的打 ..