删除使用Bash脚本重复条目 [英] Remove duplicate entries using a Bash script

问题描述

我想从一个文本文件中删除重复的条目，例如：

  kavitha =周二2月20日下午2点19 IST 2012（重复的条目）
SREE =周二1月20日14:05 19 IST 2012
迪夫亚=周二1月20日14时20分19 IST 2012
anusha =周二1月20日14:45 19 IST 2012
kavitha =周二2月20日下午2点19 IST 2012（重复的条目）
 

是否有任何可能的方式使用Bash脚本来删除重复的条目？

所需的输出

  kavitha =周二2月20日下午2点19 IST 2012
SREE =周二1月20日14:05 19 IST 2012
迪夫亚=周二1月20日14时20分19 IST 2012
anusha =周二1月20日14:45 19 IST 2012
 

解决方案

可以排序然后 uniq的：

  $排序-u input.txt中
 

或者使用 AWK ：

  $ AWK'！a [$ 0] ++'input.txt中
 

I want to remove duplicate entries from a text file, e.g:

kavitha= Tue Feb    20 14:00 19 IST 2012  (duplicate entry) 
sree=Tue Jan  20 14:05 19 IST 2012  
divya = Tue Jan  20 14:20 19 IST 2012  
anusha=Tue Jan 20 14:45 19 IST 2012 
kavitha= Tue Feb    20 14:00 19 IST 2012 (duplicate entry) 

Is there any possible way to remove the duplicate entries using a Bash script?

Desired output

kavitha= Tue Feb    20 14:00 19 IST 2012 
sree=Tue Jan  20 14:05 19 IST 2012  
divya = Tue Jan  20 14:20 19 IST 2012  
anusha=Tue Jan 20 14:45 19 IST 2012

解决方案

You can sort then uniq:

$ sort -u input.txt

Or use awk:

$ awk '!a[$0]++' input.txt

这篇关于删除使用Bash脚本重复条目的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！