去除重复行

从文本列表中移除重复行。可选择保留原顺序或自动去除空白。

功能特性

处理前后行数统计
保持原有顺序
可选是否区分大小写
显示被删除的行

使用方法

1. 把文本粘贴到输入框(每行一项)。

2. 按需切换大小写敏感和去空白等选项。

3. 点击「去重」—— 右侧将显示去重后的结果。

关于这个工具

从表格、日志、导出文件或复制粘贴收集来的列表里常常充满重复项。这个工具删除重复的行,并把每一行的第一次出现保留在原来的位置,所以列表顺序保持不变,而不是被重新排序。选项决定什么算“相同”:区分大小写决定 “Apple” 和 “apple” 是否视为不同;去除首尾空白会忽略那些看不见却让两行不同的空格;删除空行则让结果更整洁。统计信息会显示处理前后的行数以及删除了多少行。它适合在导入其他系统之前清理邮箱列表、关键词、标签、文件路径和日志条目。

常见问题

重复的行保留哪一条?
保留第一次出现的那一条,位置不变,后面的重复项被删除。其余行的整体顺序不会改变,所以输出不会被排序。
为什么两行看起来一模一样却没有合并?
它们很可能在看不见的字符上有差别,比如行尾空格、制表符或不换行空格,或者只是大小写不同。勾选“去除首尾空白”并取消“区分大小写”,就能把它们视为相同。
去除空白会改变输出中的行吗?
会。去除空白既用于比较,也会删掉保留下来的行首尾的空格;行内部的空格保持不变。
能删除重复的单词而不是重复的行吗?
它按行处理。要对单词或逗号分隔的值去重,请先让每一项单独占一行,例如在编辑器里把逗号替换成换行。
最多能处理多少行?
处理在浏览器中进行,普通电脑上几万行也能很快完成。特别大的文件更适合用 sort -u 或 awk 之类的命令行工具处理。

相关工具