RSS Email Twitter GitHub Dribbble LinkedIn Facebook Instagram YouTube Pinterest Reddit icon menu

Cody's 探索日誌

東摸西摸,十分好奇

PV: / UV:

文章分類

Linux 文字檔案去重過濾篩選

將文字檔內開頭有重複的內容篩選出來,然後匯出有重複的所有資料 以下指令為,將檔案內的文字以 , 分隔,然後使用第一個變數內容做排序、統計重複的數量 然後將只有一筆的資料排除,最後只顯示超過兩筆的資料欄位開頭 再將這個開頭讀取出來變為 id 這個變數,用來過濾出該開頭的資料,並寫入到 outputfile.txt 中 1 awk -F"," '{print $1}' <filename>.txt | sort | uniq -c | grep -v ' 1' | awk '{print $2}' | while read id; do egrep "^$id," <filename>.txt; done > outputfile.txt