文本去重在线工具

文本去重怎么用

这个工具最常被用来清洗"一行一条"的列表数据：SEO 从业者合并多来源的关键词表、运营整理去重后的用户邮箱名单、开发人员清理日志里重复出现的 ID、学生把试卷选项汇总成不重复的答案列表。只要你的内容可以按行拆分，它就能在毫秒级给出干净结果。具体步骤：

1. 第一步：把原始文本粘贴到左侧输入框，每行一条，顺序不限；
2. 第二步：按需勾选选项——「去除首尾空白」可把"关键词A"和"关键词A "视为同一条；「去除空行」用来清理复制时带入的空段落；排序下拉可选保持原顺序、字典升序或降序；
3. 第三步：点击「开始去重」，右侧立即输出结果，并统计原始行数、去重后行数、删除的重复条数与空行数；
4. 第四步：点击「复制结果」把干净列表带去别处使用。
5. 补充：如果你的数据是 CSV/TSV 表格（一行多条、用逗号或制表符分列），把模式开关切到「按列去重」，选一列作为去重依据即可——工具自动识别分隔符，按 RFC 4180 规则解析引号字段，重复行整行删除、其他列数据原样保留。若文本不含分隔符，会自动退回按整行去重。
6. 补充：上传 CSV/TXT 文件去重——不想复制粘贴时，点「导入文件（TXT/CSV）」按钮选择本地文件，或把文件拖入输入框上方的虚线框（上限 1MB，UTF-8 与 GBK 编码自动识别）。导入后内容自动填入输入框并保留原始表头，列模式会按文件首行重新识别分隔符并刷新列下拉，再点「开始去重」即可，适合处理 Excel 导出的数据表格。

需要说明的是，本工具是按行去重而不是全文去重：它把每一行当作一条独立记录来比较，适合名单、关键词、ID 这类结构化数据。如果你想去除一段连续文章中重复出现的词语，请先分词或按词换行后再粘贴。另外，去重默认保留每条内容的首次出现顺序——先出现的留下，后面重复的直接删除，因此输出顺序与你输入的主体顺序一致，方便对照检查；需要按字母序整理时再切换排序选项即可。

常见问题

粘贴的内容会被上传到服务器吗？

不会。去重逻辑全部在你的浏览器内用 JavaScript 完成，文本不经过任何网络请求，关闭页面后即消失。处理敏感名单（如客户邮箱、内部 ID）也可以放心使用。

空行会被当作一条记录参与去重吗？

默认不会。勾选「去除空行」时空行直接被清理并单独计数；如果你希望保留空行结构（比如段落间隔有含义），取消勾选即可，此时连续的空行也只保留第一行。

区分大小写吗？

区分。"Apple"、"apple" 与 "APPLE" 会被视为三条不同记录。中文没有大小写问题，但全角／半角、不同空白字符属于不同内容——建议勾选「去除首尾空白」消除最常见的假性重复。

重复条目保留哪一次出现？

保留第一次出现的那一行，并维持原始出现顺序；后续所有重复行被删除并计入「去除重复 N 条」统计。选字典排序后顺序会重排，但内容仍是去重后的集合。

和 Excel 的"删除重复项"比有什么优势？

无需安装 Office、跨平台（手机浏览器也能用）、粘贴即用并实时反馈删除统计。现在还支持按列去重（CSV/TSV）：切到「按列去重」模式，选一列作为判断依据，重复行整行删除、其余列关联数据原样保留，行为与 Excel"删除重复项"一致。两处差异需要注意：①本工具区分大小写，"AB123" 与 "ab123" 算两条记录（Excel 默认不区分，对产品编码、订单号这类大小写有含义的数据，本工具更安全）；②勾选「去除首尾空白」后 "Smith " 与 "Smith" 会被视为同一条，省去 Excel 里先 TRIM 再去重的步骤。十万行以上的超大表格仍建议用 Excel / WPS 处理。

CSV 文件怎么按某一列去重？

切到「按列去重（CSV/TSV）」模式，工具会自动嗅探分隔符（逗号 / 制表符 / 分号），并在下拉框列出每一列（含首行预览片段，方便对照表头）。选中列后点击「开始去重」：该列值首次出现的行保留，后续重复行整行删除并计入统计。带引号转义的字段（如 "a,b"）按 RFC 4180 标准解析；引号字段内的换行暂不支持，请先把多行字段展开为单行。

可以上传文件按列去重吗？

可以。点「导入文件（TXT/CSV）」按钮从本地选择文件，或把文件直接拖到输入框上方的虚线框内（上限 1MB，超出会被拒绝）。文件编码自动识别：UTF-8 优先，解码失败自动回退 GBK，Excel 导出的中文 CSV 也能正常读取。导入后内容填入输入框并保留原始表头；若当前处于「按列去重」模式，会立即按文件首行重新嗅探分隔符并刷新列下拉，再点「开始去重」即按所选列去重。整个过程在你的浏览器内完成，文件内容不会发送到任何服务器。