去除重复行的工具 —— uniq

uniq 可以去除文件中的重复行，但是它只会去除连续的重复行，如果重复的行不在一起，那么 uniq 不会把它们去除，所以必须先用 sort 命令对文件进行排序，然后再调用 uniq。

跳过 3 个字段，然后按照接下来的 8 个字符排序
sort -f 3 -w 8 test.txt

其实 sort 本身也有去除重复的作用，也可以不用 uniq:
sort -u -f 3 -w 8 test.txt