解析非常大的CSV数据集 [英] Parse a very large CSV dataset

问题描述

我有一个非常大的CSV数据集(900M条记录)，由以下格式组成:

I have a very large CSV dataset (900M records) that consists of the following format:

URL | IP | ActivityId

示例数据:

http://google.com/ | 127.0.0.1 | 2
http://google.com/ | 12.3.3.1 | 2

对于这种格式，我希望获得每个URL的所有唯一活动.

For this format, I wish to get all the unique activities per URL.

我试图做的是创建一个字典，其中的键是URL，值是一组唯一的活动.但是，这在性能方面非常可惜-它耗尽了所有RAM，并且在时间方面非常慢(O(n)操作)

What I tried to do was create a dictionary where the key is the URL, and the value is a set of unique activities. However, this fails miserably performance wise - it eats up all the RAM and is very slow time-wise ( O(n) operation )

还有其他更快的方法吗?

Is there any other faster approach?

推荐答案

我认为您可以使用然后有与熊猫相同的解决方案:

df.groupby('URL')['ActivityId'].nunique()

这篇关于解析非常大的CSV数据集的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！