php - 带分页接口循环读取的最优方案是哪种

问题描述

问 题

目前需要读取第三方接口数据，数据量比较大，第三方才用了分页的方式，目前我的方案是，在循环中调用curl读取接口的方法，再把json数据转换为数组，在拼接数组，进行数据筛选过滤入库操作，但是由于第三方接口不稳定，可能会造成读取失败。请问是否有更好的方案？

解决方案

1，建议建立抓取原数据库，id也好md5也好，确保单数据抓取唯一性
2，接口不稳定，通过异常处理 curl失败处理等方式，尽可能确保抓取数据成功
3，做好重复抓取数据的准备，基于1，确保数据不会被重复处理

这篇关于php - 带分页接口循环读取的最优方案是哪种的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！