伯爵在多个文件中的字段的唯一事件 [英] Count unique occurrences of a field across multiple files
问题描述
我收集了大量的日志文件,每个文件包含格式记录...
I have a large collection of log files where each file contains records of the form ...
2015-06-07 23:59:53 [uid:123] {success,1} .
对于每一个文件,我想指望许多独特的UID是如何present。
For each file, I want to count how many unique UIDs are present.
因此,在这个文件片段,我们看到的UID 123和124 ......
So in this file snippet we see the uids 123 and 124 ...
2015-06-07 23:59:53 [uid:123] {success,1}
2015-06-07 23:59:53 [uid:123] {success,1}
2015-06-07 23:59:53 [uid:123] {success,1}
2015-06-07 23:59:53 [uid:124] {success,1}
所以我算此文件的结果将是的 2 。
如何使用bash和/或AWK我得到的数据?
How can I get the data using bash and/or awk?
我试过
cat 20150607.log | awk '{print $3}' | sort | uniq | wc -l
这个效果不错,但问题是我有这么多的文件,我不希望运行上面的命令一个接一个。
This worked well, but the problem is I have so many files and I do not want to run the above command one by one.
有没有得到这个数翻过多个文件的简单的方法?
Is there a simpler way of getting this count accross multiple files?
推荐答案
使用GNU AWK为 ENDFILE
和长度(阵列)
:
Using GNU awk for ENDFILE
and length(array)
:
awk '{unq[$3]} ENDFILE{print FILENAME, length(unq); delete unq}' *.log
使用其他awks:
awk '
!seen[FILENAME,$3]++ { unq[FILENAME]++ }
END { for (i=1;i<ARGC;i++) print ARGV[i], unq[ARGV[i]]+0 }
' *.log
这篇关于伯爵在多个文件中的字段的唯一事件的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!