跳到主内容
UniKit

英文分词

把英文段落切成独立单词:缩写 don't 算一个词、点号缩写 U.S.A. 折成一个词、连字符复合词可用选项决定是否拆分,并给出词数、去重词数与字符数。

浏览器本地运行所有计算都在你的浏览器里完成,数据不会离开本机。

英文段落

分词结果

一行一项,可直接复制。

粘贴英文段落后即可分词

词数: 0 · 唯一: 0 · 字符数: 0

这个工具能做什么

  • 把英文段落切成单词列表,喂给词频统计、词云或背单词工具。
  • 做文本预处理:先统一处理缩写与连字符,避免 don't 被拆成 don 与 t。
  • 核对术语写法:统计一篇文章里 well-known 这类复合词到底是拆开写还是连起来写。

示例

输入

Don't stop; it's a well-known idea. The U.S.A. matters.

输出

Don't
stop
it's
a
well
known
idea
The
U.S.A
matters

don't 与 it's 各算一个词,U.S.A. 折成 U.S.A 一个词(去掉句末点号),well-known 默认拆成两个词。

常见问题

don't 会被拆开吗?

不会,默认把词内撇号视为单词的一部分,所以 don't、it's、o'clock 各算一个词。关掉「撇号算作单词的一部分」才会拆。

U.S.A. 怎么处理?

默认把词内的点号保留并把句末的点号去掉,所以结果是 U.S.A 一个词;关掉「保留点号缩写」则会按字母拆成 U、S、A 三个词。

连字符算分隔符吗?

默认算,well-known 会拆成 well 与 known;把「拆分连字符」关掉就整体保留为一个词。

数字会被当成单词吗?

不会,分词只认拉丁字母,123、3.14 之类都会被丢掉;需要数字请用数字号码提取工具。

词数统计包含重复词吗?

两个数都会给出:「词数」是切分出的单词总数(含重复),「去重词数」是按当前大小写规则去重后的数量。

关键词:英文分词分词word segmentationtokenizer英文拆分单词切分词数统计U.S.A.

同类工具