重複行削除ツール

テキストの重複行を削除します。元の順序の維持や空白のトリムをオプションで設定できます。

機能

処理前後の行数
元の順序を保持
大文字小文字の区別を選択
削除された行を表示

使い方

1. 入力ボックスにテキストを貼り付けます(1行に1項目)。

2. 大文字・小文字の区別やトリムオプションを必要に応じて切り替えます。

3. 「重複を削除」をクリックすると、重複が除去された結果が右側に表示されます。

このツールについて

表計算ソフト、ログ、エクスポート、コピー&ペーストで集めたリストには重複がつきものです。このツールは重複した行を削除し、各行の最初の出現を元の位置に残すので、リストは並べ替えられず順序が保たれます。「同じ」とみなす条件はオプションで決めます。大文字と小文字の区別で「Apple」と「apple」を別物とするかどうか、前後の空白の削除で目に見えないのに行を別物にしてしまうスペースを無視するかどうか、空行の削除で結果を整えるかどうかです。処理前後の行数と削除した行数も表示されます。メールアドレスのリスト、キーワード、タグ、ファイルパス、ログを別のシステムに取り込む前の整理に便利です。

よくある質問

重複した行のうち、どれが残りますか?
最初に出てきた行が元の位置に残り、後から出てくる重複が削除されます。残った行の全体の順序は変わらないので、出力は並べ替えられません。
見た目がまったく同じ2行がまとまらないのはなぜですか?
行末のスペース、タブ、ノーブレークスペースなど目に見えない文字が違うか、大文字・小文字だけが違う可能性があります。「前後の空白を削除」をオンにし、「大文字と小文字を区別」をオフにすると同じ行として扱えます。
空白の削除は出力の行にも反映されますか?
反映されます。空白の削除は比較に使われるだけでなく、残った行の先頭と末尾のスペースも取り除きます。行の途中のスペースはそのままです。
行ではなく重複した単語を削除できますか?
このツールは行単位で処理します。単語やカンマ区切りの値の重複を除くには、エディターでカンマを改行に置き換えるなどして、先に1項目を1行にしてください。
何行まで処理できますか?
処理はブラウザー内で行われるので、一般的なパソコンなら数万行でもすぐに終わります。非常に大きなファイルは sort -u や awk などのコマンドラインツールで処理するほうが適しています。

関連ツール