blaze相关内容

如何使用sqlite后端为python blaze提供用户定义的功能?

我使用以下命令连接到Blaze中的sqlite数据库 df = bz.Data("sqlite:///) 一切正常,但我不知道如何在与df的交互中提供用户定义的功能. 我在df中有一个称为IP的列,它是包含IP地址的文本.我还具有toSubnet(x,y)函数,该函数以文本格式获取IP地址(x)并返回其/y子网.例如: out = toSubnet('1.1.1.1' ..
发布时间:2020-07-18 20:23:31 数据库

使用odo将数据迁移到SQL

我有一个3 GB的CSV大文件,我想使用Blaze来调查数据,选择我感兴趣的数据,最终目标是将该数据迁移到合适的计算后端例如SQlite,PostgresSQL等.我可以将这些数据导入Blaze并对其进行良好的处理,但这是我遇到麻烦的部分: db = odo(bdata, 'sqlite:///report.db::report')` 我不确定如何正确创建一个用sqlite打开的数据库文 ..
发布时间:2020-07-18 20:23:27 数据库

如何将Parquet文件读入Pandas DataFrame?

如何在不设置集群计算基础架构(例如Hadoop或Spark)的情况下,将大小适中的Parquet数据集读取到内存中的Pandas DataFrame中?我只想在笔记本电脑上使用简单的Python脚本在内存中读取这些数据,这只是一个中等数量的数据.数据不驻留在HDFS上.它位于本地文件系统上,也可能位于S3中.我不想启动并配置其他服务,例如Hadoop,Hive或Spark. 我认为Blaze ..
发布时间:2020-05-23 22:13:35 Python

您如何在Python中安装blaze模块(Continuum Analytics)?

如何在Python中本机(即,不在虚拟环境中)安装 blaze ?我发现的唯一说明在软件包的文档中(请参阅链接),并且此处,在虚拟环境中. 解决方案 我没有在网上找到任何相关说明,但这相对简单. 关于我使用的平台/工具: Mac OSX(山狮) Python 2.7.3 自制软件 pip 似乎您可能需要安装Cython,但不确定,因为我已经安装了它.您可以使用pip i ..
发布时间:2020-05-18 20:56:00 Python

pydata blaze:是否允许并行处理?

我正在寻求并行化numpy或pandas操作.为此,我一直在研究pydata的火焰.我的理解是,并行化是它的主要卖点. 不幸的是,我无法找到在多个内核上运行的操作.火焰中的并行处理是否可用或当前仅是既定目标?难道我做错了什么?我正在使用blaze v0.6.5. 我希望并行化的一个函数示例:(对pytables列进行重复数据删除,使其无法容纳在内存中) import pandas ..
发布时间:2020-05-13 19:56:08 Python