python - 如何定时从服务器下载一个文件？

问题描述

问 题

worker服务器跑爬虫，每30000数据保存一个json文件，如何每小时下载一次文件？

不直接保存到主服务器数据库的原因是，每次插入操作需要0.3s，主要耗费在网络通信上，太浪费效率。

解决方案

方法一： sched模块

# -*- coding:utf-8 -*-
import time
import os
import sched

# 初始化sched模块的scheduler类
# 第一个参数是一个可以返回时间戳的函数，第二个参数可以在定时未到达之前阻塞。
schedule = sched.scheduler(time.time, time.sleep)

# 被周期性调度触发的函数
def executeCommand(cmd, inc):
    os.system(cmd)
    # 循环执行
    schedule.enter(inc, 0, executeCommand, ('echo 又过了5秒钟', inc))


def main(cmd, inc=60):
    # enter四个参数分别为：间隔事件、优先级（用于同时间到达的两个事件同时执行时定序）、被调用触发的函数，
    # 给该触发函数的参数（tuple形式）
    schedule.enter(0, 0, executeCommand, (cmd, inc))
    schedule.run()


# 每5秒查发一次
if __name__ == '__main__':
    main('echo 过了5秒钟', 5)

方法二: APScheduler框架

> [官方文档][1]

这篇关于python - 如何定时从服务器下载一个文件？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！