箭/拼花错误地保存大的时间戳 [英] pyarrow/parquet saving large timestamp incorrectly

问题描述

我在数据库中有一些9999-12-31的时间戳，正在尝试转换为拼花。不知何故，这些时间戳在拼花文件中都以1816-03-29 05:56:08.066结束。

下面是重现该问题的一些代码。

file_path = "tt.parquet"
schema = pa.schema([pa.field("tt", pa.timestamp("ms"))])
table = pa.Table.from_arrays([pa.array([datetime(9999, 12, 31),], pa.timestamp('ms'))], ["tt"])
writer = pq.ParquetWriter(file_path, schema)
writer.write_table(table)
writer.close()

我没有尝试使用 pandas 读取数据，但我尝试了使用 pandas 进行检查，但以pyarrow.lib.ArrowInvalid: Casting from timestamp[ms] to timestamp[ns] would result in out of bounds timestamp:错误告终。

我正在将拼图文件加载到Snowflake中，并得到了错误的时间戳。我也试过用镶木地板工具检查，但这似乎不适用于时间戳。

拼花/箭不支持大时间戳吗？如何存储正确的时间戳？

推荐答案

原来是因为我需要在镶木地板上use_deprecated_int96_timestamps=Falsewriter

它默认情况下会说它是假的，但我已将风味设置为"Spark"，所以我认为它会覆盖它。

感谢您的帮助

这篇关于箭/拼花错误地保存大的时间戳的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！