uniq FILE

このコマンドで重複を削除することができる。ただしソートされていることが大事で、sortからパイプをつないで実行することがほとんど。

ソートする必要がない。

awk '!a[$0]++' FILE