将 pyodbc.rows 列表转换为 pandas Dataframe 需要很长时间 [英] Convert list of pyodbc.rows to pandas Dataframe takes very long time
本文介绍了将 pyodbc.rows 列表转换为 pandas Dataframe 需要很长时间的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
是否有更快的方法将 pyodbc.rows 对象转换为 pandas Dataframe?将超过 1000 万个 pyodbc.rows 对象的列表转换为 pandas 数据框大约需要 30-40 分钟.
Is there a faster way to convert pyodbc.rows object to pandas Dataframe? It take about 30-40 minutes to convert a list of 10 million+ pyodbc.rows objects to pandas dataframe.
import pyodbc
import pandas
server = <server_ip>
database = <db_name>
username = <db_user>
password = <password>
port='1443'
conn = pyodbc.connect('DRIVER={SQL Server};SERVER='+server+';PORT='+port+';DATABASE='+database+';UID='+username+';PWD='+ password)
#takes upto 12 minutes
rows = cursor.execute("select top 10000000 * from [LSLTGT].[MBR_DIM] ").fetchall()
#Read cursor data into Pandas dataframe.....Takes forever!
df = pandas.DataFrame([tuple(t) for t in rows])
推荐答案
使用生成器表达式而不是列表推导式可能会得到一些改进:
You might get some improvement by using a generator expression rather than a list comprehension:
df = pandas.DataFrame((tuple(t) for t in rows))
这篇关于将 pyodbc.rows 列表转换为 pandas Dataframe 需要很长时间的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文