文本去重
按行、按词或按自定义分隔符去重，支持忽略大小写与空白、保留首次或最后一次出现、排序、统计重复次数，还可以按指定列对 CSV 去重。
浏览器本地运行所有计算都在你的浏览器里完成，数据不会离开本机。
原始文本
拆分方式
重复时保留
去重结果
粘贴文本后自动去重
CSV 按列去重
这个工具能做什么
- 清理从数据库或日志里导出的一列值：按行去重，顺便看到每个重复项出现在第几行。
- 整理关键词或标签列表：按逗号 / 顿号 / 竖线等自定义分隔符切分后去重，再排序输出。
- 合并两份名单时用「忽略大小写」把 Apple 和 apple 视作同一项，避免漏掉重复。
- CSV 按列去重：用户表按 id 列去重、订单表按订单号去重，保留首次或最后一次记录。
示例
输入
apple banana Apple banana cherry apple（按行、区分大小写、保留首次出现）
输出
apple banana Apple cherry 统计：总条目 6，唯一 4，移除 2，重复组 2 被移除：apple 出现 2 次（位置 1, 6）、banana 出现 2 次（位置 2, 4）
关闭「忽略大小写」时 Apple 与 apple 是两个不同的键，所以 6 条只去掉了 2 条。勾上「忽略大小写」后唯一项会变成 3 条。
常见问题
保留首次出现和保留最后一次有什么区别？
只有被保留下来的那一条内容不同：例如列表里的 apple 和 Apple，保留首次得到 apple，保留最后一次得到 Apple。「保留原顺序」决定输出按哪一次出现的位置排序，所以两种组合的结果顺序也会不一样。
忽略空白字符会做什么？
比较前先把所有空白字符（空格、制表符、换行）从去重键里删掉，所以「New York」和「NewYork」会被当成同一项。注意它只影响比较，输出的仍然是原文写法。
CSV 去重为什么提示列号不合法？
列号从 1 开始，且不能超过 CSV 的实际列数。如果某一行只有 1 列却指定按第 2 列去重，就会报错。去掉表头行后剩余行数不足以去重时同样会提示。
CSV 里带逗号的字段会被切错吗？
不会。CSV 解析是逐字符做的，支持双引号包裹、字段内的逗号与换行，以及 `""` 转义。输出时也只在必要时加引号，所以重新粘回表格或程序里不会串列。
处理过程会把文本发出去吗？
不会。去重、统计和 CSV 解析全部在浏览器里完成，没有网络请求，也不会缓存你的数据。
关键词：去重dedupededuplicateunique唯一重复duplicate文本textcsv按列去重