node.js - nodejs superagent读取网页内容，怎么控制请求的频率

问题描述

问 题

nodejs superagent读取网页内容，怎么控制请求的频率，比如说1秒一次请求，因为做数据抓取，不能太快，我想到的是用settimeout之类的，但是感觉不是特别合适，有没有比较好的实现方法？

解决方案

node-schedule - Cron风格定时器

*    *    *    *    *    *
┬    ┬    ┬    ┬    ┬    ┬
│    │    │    │    │    |
│    │    │    │    │    └ day of week (0 - 7) (0 or 7 is Sun)
│    │    │    │    └───── month (1 - 12)
│    │    │    └────────── day of month (1 - 31)
│    │    └─────────────── hour (0 - 23)
│    └──────────────────── minute (0 - 59)
└───────────────────────── second (0 - 59, OPTIONAL)

// 每天 6:30,10:30,14:30,18:30,21:30 定时dosomething...
schedule.scheduleJob('0 30 6,10,14,18,21 * * *', function() {
    // do something....
});

// 每隔十分钟dosomething...
schedule.scheduleJob('0 0,10,20,30,40,50 * * * *', function() {
    // do something...
});

https://github.com/xCss/bing/... 这里有使用的例子

这篇关于node.js - nodejs superagent读取网页内容，怎么控制请求的频率的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！