agents相关内容

使用 F# 代理 Map Reduce

在玩过 F# 代理后,我尝试使用它们进行地图缩减. 我使用的基本结构是: 地图主管将所有工作排入其状态并接收来自地图工作者的工作请求 reduce supervisor 和 map supervisor 做同样的事情来做 reduce 工作 一组 map 和 reduce 工作人员进行 map 和 reduce,如果其中一个工作失败,它会将其发送回各自的主管进行重新处理. 我 ..
发布时间:2022-01-13 23:13:13 其他开发

使用 F# 代理映射减少

在玩过 F# 代理后,我尝试使用它们进行 map reduce. 我使用的基本结构是: map supervisor 将所有工作排入队列并接收来自 map workers 的工作请求 reduce supervisor 和 map supervisor 做同样的事情来减少工作 一堆映射和化简的映射和化简worker,如果其中一个工作失败,它会将其发送回相应的主管进行重新处理. ..
发布时间:2022-01-05 09:34:44 其他开发

使用F#代理进行Map Reduce

在与F#代理玩耍之后,我尝试使用它们来简化地图. 我使用的基本结构是: 地图主管,将处于其状态的所有工作排队,并接收来自地图工作者的工作请求 减少主管与减少主管的地图主管 一堆映射和归约工作的映射和归约工作人员,如果工作失败,则会将其发送回相应的主管进行重新处理. 我想知道的问题是: 与使用PSeq的更传统的(至今非常不错的)地图缩减(例如(http://tomasp. ..
发布时间:2020-05-05 15:34:10 其他开发

Robots.txt - 多个用户代理的抓取延迟的正确格式是什么?

下面是为每个用户代理添加多个用户代理的示例 robots.txt 文件,其中多个用户代理抓取延迟值仅用于说明目的,并且在实际的robots.txt文件中会有所不同。 我在网上搜索了所有正确答案但找不到一。有太多的混合建议,我不知道哪个是正确的/正确的方法。 问题: (1)每个用户代理是否有自己的爬行延迟? (我想是的) (2)在Allow / Dissallow行之前或之后 ..
发布时间:2018-02-03 18:08:22 其他开发