跳到主内容
UniKit

列表去重

按行或按自定义分隔符去掉重复项:支持忽略大小写与首尾空白、保留第一次或最后一次出现、可选排序,并给出总条目、唯一数与重复项明细。

浏览器本地运行所有计算都在你的浏览器里完成,数据不会离开本机。

列表

去重结果

一行一项,可直接复制。

输入列表后即可去重

总条目: 0 · 唯一: 0 · 移除: 0 · 重复组: 0

这个工具能做什么

  • 合并多份名单、日志或导出的表格时一键去重,保留原有先后顺序,不用先排序再人工比对。
  • 核对哪些条目重复出现、各出现几次——重复项明细会列出每一次出现的位置。
  • 需要「以最新为准」时切换到保留最后一次出现,例如同一 ID 的状态行按行序覆盖。

示例

输入

apple
banana
Apple
banana
cherry
apple

输出

apple
banana
cherry

勾选了「忽略大小写」:Apple 与 apple 视为同一项,输出保留首次出现的写法。

常见问题

大小写不同算重复吗?

默认不算,勾选「忽略大小写」后才算同一项。忽略大小写只影响判断,输出仍然保留你选择保留的那一次出现的原始写法,不会把大写强行改成小写。

空行会被保留吗?

默认丢掉。空行在多数导出文件里只是排版残留,留着会被当成一个「空条目」参与统计。需要保留连续空行时把「丢掉空条目」关掉。

最多能处理多少条?

20 万条。超过会直接报错而不是让页面卡死,因为去重在浏览器主线程里做,超大输入会把标签页拖垮。

按逗号分隔的列表怎么去重?

把切分方式切到「按分隔符」,分隔符填逗号(也可以填 \t 表示制表符、| 表示竖线)。输出同样是一行一项,可以直接贴回表格。

关键词:列表去重去重复重复项dedupeunique去重list unique重复次数

同类工具