Unix：删除重复的行而不进行排序 [英] Unix: removing duplicate lines without sorting

问题描述

在Python中有一个实用程序脚本：
$ b $ pre $ code $＃/ usr / bin / env python
import sys
unique_lines = []
duplicate_lines = []
用于sys.stdin中的行：
if line中的unique_lines：
duplicate_lines.append（line）
否则：
unique_lines.append（line）
sys.stdout.write（line）
＃可选地做一些与duplicate_lines

这个简单的功能（uniq，不需要先排序，稳定的排序）必须作为一个简单的UNIX工具使用，不是吗？也许在一个管道中的过滤器的组合？

询问的理由：需要这个功能的系统上，我不能从任何地方执行python
UNIX Bash脚本博客 .htmlrel =noreferrer>建议：

  awk'！x [$ 0] ++'
  

这个命令只是告诉awk要打印哪些行。变量 $ 0 包含一行的全部内容，方括号是数组访问。因此，对于文件的每一行，数组 x 的节点增加，如果该节点的内容不是（！ ）以前设置。

I have a utility script in Python:

#!/usr/bin/env python
import sys
unique_lines = []
duplicate_lines = []
for line in sys.stdin:
  if line in unique_lines:
    duplicate_lines.append(line)
  else:
    unique_lines.append(line)
    sys.stdout.write(line)
# optionally do something with duplicate_lines

This simple functionality (uniq without needing to sort first, stable ordering) must be available as a simple UNIX utility, mustn't it? Maybe a combination of filters in a pipe?

Reason for asking: needing this functionality on a system on which I cannot execute python from anywhere

解决方案

The UNIX Bash Scripting blog suggests:

awk '!x[$0]++'

This command is simply telling awk which lines to print. The variable $0 holds the entire contents of a line and square brackets are array access. So, for each line of the file, the node of the array x is incremented and the line printed if the content of that node was not (!) previously set.

这篇关于Unix：删除重复的行而不进行排序的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！