英文分词
把英文段落切成独立单词:缩写 don't 算一个词、点号缩写 U.S.A. 折成一个词、连字符复合词可用选项决定是否拆分,并给出词数、去重词数与字符数。
浏览器本地运行所有计算都在你的浏览器里完成,数据不会离开本机。
英文段落
分词结果
一行一项,可直接复制。
粘贴英文段落后即可分词
词数: 0 · 唯一: 0 · 字符数: 0
这个工具能做什么
- 把英文段落切成单词列表,喂给词频统计、词云或背单词工具。
- 做文本预处理:先统一处理缩写与连字符,避免 don't 被拆成 don 与 t。
- 核对术语写法:统计一篇文章里 well-known 这类复合词到底是拆开写还是连起来写。
示例
输入
Don't stop; it's a well-known idea. The U.S.A. matters.
输出
Don't stop it's a well known idea The U.S.A matters
don't 与 it's 各算一个词,U.S.A. 折成 U.S.A 一个词(去掉句末点号),well-known 默认拆成两个词。
常见问题
don't 会被拆开吗?
不会,默认把词内撇号视为单词的一部分,所以 don't、it's、o'clock 各算一个词。关掉「撇号算作单词的一部分」才会拆。
U.S.A. 怎么处理?
默认把词内的点号保留并把句末的点号去掉,所以结果是 U.S.A 一个词;关掉「保留点号缩写」则会按字母拆成 U、S、A 三个词。
连字符算分隔符吗?
默认算,well-known 会拆成 well 与 known;把「拆分连字符」关掉就整体保留为一个词。
数字会被当成单词吗?
不会,分词只认拉丁字母,123、3.14 之类都会被丢掉;需要数字请用数字号码提取工具。
词数统计包含重复词吗?
两个数都会给出:「词数」是切分出的单词总数(含重复),「去重词数」是按当前大小写规则去重后的数量。
关键词:英文分词分词word segmentationtokenizer英文拆分单词切分词数统计U.S.A.