pandas相关内容

从pyarrow.Table转换为Pandas时处理大时间戳

我有一个时间戳9999-12-31 23:59:59作为int96存储在拼图文件中。我使用pyarrow.DataSet读取此拼图文件,并将结果表转换为 pandas 数据帧(使用pyarrow.Table.to_pandas())。转换为Pandas DataFrame会将我的时间戳转换为1816-03-30 05:56:07.066277376(Pandas时间戳的有效日期范围可能较小),而不 ..
发布时间:2022-05-11 22:22:30 Python

每个点都有时间序列的点之间的相关性下降

我正在研究如何快速实现计算点之间的相关性(在X、Y、Z中),并在给定搜索方向的情况下测量相关性何时降至特定阈值以下。我在Calculating correlation between points where each points has a timeseries之前提出了一个相关问题,但我认为我需要重新表述这个问题以使其更清楚。 我有平面中点速度的时间历史,例如XZ平面,我想量化用于模拟 ..
发布时间:2022-05-06 09:30:49 Python

pandas 滚窗斯皮尔曼关联

我要使用滚动窗口计算DataFrame的两列之间的Spearman和/或Pearson相关性。 我已尝试df['corr'] = df['col1'].rolling(P).corr(df['col2']) (P为窗口大小) 但我似乎无法定义该方法。(添加method='spearman'作为参数会产生错误: File "main.py", line 29, in __init ..
发布时间:2022-05-05 23:37:38 Python

无法创建第二个DataFrame蟒蛇 pandas

我创建第二个数据框时,它没有加载值。对于它为什么不起作用,有什么帮助吗?当我让我的光标成为一个列表时,它里面有一堆值,但无论出于什么原因,当我第二次尝试用 pandas 加载正常的数据框时,它不起作用。 我的代码: conn = pyodbc.connect(constr, autocommit=True) cursor = conn.cursor() seco ..
发布时间:2022-04-25 09:29:07 Python

对于 pandas 来说,有没有办法将Read_SQL()与接受多个变量的SQL语句一起使用?

这是我代码的一部分。我已经有了一个包含值的数据库,需要根据该数据框中的值创建一个新的数据框(目前这些值只有12&;13,存储在header_row_ids变量中)。 当我运行该脚本时,收到以下错误消息: pandas.io.sql.DatabaseError:对SQL‘SELECT*FROM dbo.TestDetails WHERE ID IN(?,?),(13,12)’:(‘ ..
发布时间:2022-04-24 23:09:37 Python

使用Execute More From pyodbc将数据帧传输到SQL Server

我正在尝试使用Pyodbc将数据从DataFrame加载到SQL Server,它逐行插入,速度非常慢。 我已经尝试了两种在网上找到的方法(中等),但我没有发现任何性能改善。 尝试在SQL Azure中运行,因此SQL AlChemy不是一种简单的连接方法。请找到我遵循的方法,以及是否有其他方法可以提高批量加载的性能。 方法1 cursor = sql_con.curso ..
发布时间:2022-04-24 22:57:25 Python

在Python中使用factorize()后如何获取原始值?

我是一个初学者,正在尝试使用Python中的随机森林,使用训练和测试数据集来创建预测模型。序列[“允许/阻止”]可以取4个预期值中的1个(所有字符串)。测试[“允许/阻止”]是需要预测的。 y,_ = pd.factorize(train["ALLOW/BLOCK"]) y Out[293]: array([0, 1, 0, ..., 1, 0, 2], dtype=int64) 我使 ..
发布时间:2022-04-22 19:25:43 Python

如何根据Excel Dataframe中的内容突出显示行?

我有一个包含如左图所示数据的EXCEL文件,我正在尝试将其格式化以获取 数据格式设置为右侧的表格。 使用我当前的代码,我能够格式化包含标题(h1,h2,...)的所有行 这是文件的内容。xlsx: 这是我当前的代码: import pandas as pd import numpy as np from xlsxwriter.utility import xl_rowco ..
发布时间:2022-04-19 13:11:17 Python

每个月的 pandas 分组和总和

我正在做一个Ploly Dash应用程序,其中有一个用于选择年份的下拉列表。在 pandas 中,我希望按年份对列的值进行分组,并计算该年每列的总和。这样做后,我将能够在下拉列表中选择一个月,并对该月的数据进行筛选以更新Sankey图表。我怎样才能做到这一点? 列:[‘Month’];[‘Value1’];[‘Value2’]...;[‘Value20’]//我想我必须创建一个新的数据框,在其中我 ..
发布时间:2022-04-19 10:49:47 Python

带下拉菜单的短划线回调

我正在尝试弄清楚如何为具有多个国家/地区的情节实现下拉菜单。我对DASH和PARTHY是个新手。这是我的代码: import pandas as pd import plotly.express as px import dash import dash_core_components as dcc import dash_html_components as html df = pd.r ..
发布时间:2022-04-19 10:11:04 Python

绘制热图图未渲染所有yAxis标签

我构建了一个带有热图的仪表板。然而,我注意到t=y轴上的一些标签没有显示。我只是拿到了限制版,我不确定出了什么问题。这是我的仪表板: import dash import dash_table import plotly.graph_objs as go import dash_html_components as html import dash_core_components as dc ..
发布时间:2022-04-19 09:54:55 Python

Python Dash:将 pandas 数据帧加载到数据表

最近我一直在尝试用Dash构建一个应用程序,但尽管看了很多指南,我就是想不出如何将 pandas 数据帧导入到Dash的数据表中(这本质上是 pandas 数据帧,除了网络托管和被动)。 大多数示例说明了如何手动从已在示例中硬编码的数据帧中挑选特定的列/行,如here中所示。然而,在我的情况下,数据帧是在我的代码中构建的( pandas 是实现这一点的最简单的方法),所以我最终不得不想出一种 ..
发布时间:2022-04-19 09:24:30 Python

将列表追加为数据框行

我有一个带有5个元素的计数列表。 counts = [33, 35, 17, 38, 29] 此计数列表每天都会更新新的编号。因此,我希望创建一个dataframe,并每天将计数数据作为新行追加。列表中的每个元素都应该出现在数据帧中的单独列中。我想做的是: df = pd.DataFrame(columns = ['w1', 'w2', 'w3', 'w4', 'w5']) df ..
发布时间:2022-04-18 15:10:25 Python

将表格数据转换为列,并按频率统计

我有一个以下形式的数据帧: 形状为2326 x 1271 列名只是从0到1269的序列化,而行是可以重复的类别,如本例中的“Apple”。内部数据点可以表示任何内容(在本例中,假设它们表示商店),我正在尝试将它们转换为列,并使数据点成为该类别在该“商店”中出现的次数。从视觉上看,这是我想要到达的表格: 请注意,Apple在AA和RR中出现了两次 推荐答案 使用stac ..
发布时间:2022-04-18 14:43:12 Python