mysql - php导出十多万条数据有没有办法更快?

问题描述

问 题

现在是用phpExcel导出大概需要十分钟多,而且内存报错...
有没有什么办法可以让大量数据导出可以更快呢?
...忘了说因为是一些数据客户需要用到的,所以要用excel格式

解决方案

首先应该明确问题场景：
1.这个导出10w数据是用户的功能还是后台或者系统内的功能，如果是用户使用的功能，那么可能PHP很难处理，因为要考虑用户体验问题，那么这个功能可能需要使用第三方服务或者用其他扩展来做。但是如果不是用户使用，而是系统人员或者内部人使用。则办法有很多种。
分步骤分析问题
1.从mysql数据库导出10w条数据，2，将10万天数据导出。
首先看下，mysql数据库查询10w条的时间：
我刚刚测试了一下，我的11万数据大概导了205s。因为机器的问题所以每个人的都不一样。但是可以明确一点，这个时间不快。如果PHP的话，一般默认连接时间是30s，就会有第一个问题，超时的问题。这个很好解决
2.用PHP将10w条数据导出。10w条数据就会有第二个问题，内存不够的问题。处理10w条数据比较慢
建议：
1.如@悲惨的大爷的方案，将10条分次导出，由于是SELECT，所以不会占用MYSQL太多资源，可以多线程查询SQL。
但这只能解决查询的问题，查询倒是快了，这个可以优化第一个步骤的时间，但是用PHP导出10条数据的问题还是在，因为是需要把10w条数据导出成一个excel。针对这点可以使用csv.这会比phpexcel快不少，
2.如果数据量太多或者应用场景比较频繁可以做一个服务。

这篇关于mysql - php导出十多万条数据有没有办法更快?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！