grep -vf对于大文件太慢了 [英] grep -vf too slow with large files

问题描述

我尝试使用存储在文件filter.txt中的模式从data.txt过滤数据。像下面这样，

  grep -v -f filter.txt data.txt> op.txt 
  

这个grep需要超过10-15分钟才能处理filter.txt中的30-40行而在data.txt中~300K行。

有没有什么办法可以加快这个速度？

数据。 txt

  data1 
 data2 
 data3 
  

filter.txt

  data1 
  

op.txt

  data2 
 data3 
  

这适用于codeforester提供的解决方案，但在filter.txt为空时会失败。

解决方案

基于 Inian's 解决方案在 awk 命令应该可以解决你的问题：

  awk'FNR == NR {hash [$ 0];下一个}！（$ 0中的散列）'filter.txt data.txt> op.txt 
  

I am trying filter data from data.txt using patterns stored in a file filter.txt. Like below,

grep -v -f filter.txt data.txt > op.txt

This grep takes more than 10-15 minutes for 30-40K lines in filter.txt and ~300K lines in data.txt.

Is there any way to speed up this?

data.txt

data1
data2
data3

filter.txt

data1

op.txt

data2
data3

This works with solution provided by codeforester but fails when filter.txt is empty.

解决方案

Based on Inian's solution in the related post, this awk command should solve your issue:

awk 'FNR==NR {hash[$0]; next} !($0 in hash)' filter.txt data.txt > op.txt

这篇关于grep -vf对于大文件太慢了的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！