php - 带分页接口循环读取的最优方案是哪种
本文介绍了php - 带分页接口循环读取的最优方案是哪种的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
问 题
目前需要读取第三方接口数据,数据量比较大,第三方才用了分页的方式,目前我的方案是,在循环中调用curl读取接口的方法,再把json数据转换为数组,在拼接数组,进行数据筛选过滤入库操作,但是由于第三方接口不稳定,可能会造成读取失败。请问是否有更好的方案?
解决方案
1,建议建立抓取原数据库,id也好md5也好,确保单数据抓取唯一性
2,接口不稳定,通过异常处理 curl失败处理等方式,尽可能确保抓取数据成功
3,做好重复抓取数据的准备,基于1,确保数据不会被重复处理
这篇关于php - 带分页接口循环读取的最优方案是哪种的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文