不用自己收集单词:46 万英语单词现成词库,直接抱走就能用
【免费下载链接】english-words:memo: A text file containing 479k English words for all your dictionary/word-based projects e.g: auto-completion / autosuggestion项目地址: https://gitcode.com/gh_mirrors/en/english-words
English Words 是一个开源英语词汇库:一整个 46 万英语单词的数据集,外加 370,105 个词的纯字母版、Python 读取示例,以及可重新生成词库的脚本。
包里有什么
| 文件 | 内容 | 适合谁 |
|---|---|---|
| words_alpha.txt | 370,105 个纯字母单词,一行一个 | 拼写检查、自动补全这类要干净词表的活 |
| words_dictionary.json | 键是单词、值全为 1 的字典 | 用 JSON 做程序化查询的服务 |
| words.txt | 46 万+ 词全量,含全部单词变体 | 想要完整英语单词数据集的场景 |
获取方式:git clone https://gitcode.com/gh_mirrors/en/english-words,或者只把需要的文件从仓库里拿走。
该拿哪个文件 🧭
- 做 Web 服务或 API:选
words_dictionary.json,每个单词都挂在字典上,判断"这个词在不在"直接查键。 - 做文本处理、统计词频:选 TXT,一行一个单词,按行读就行。
- 还在纠结:直接拿 words_alpha.txt,数字和符号都滤掉了,拿过去就能用。
10 行代码读进 Python
def load_words(): with open('words_alpha.txt') as f: return set(f.read().split()) words = load_words() print('fate' in words) # True print('fats' in words) # Falsewords_dictionary.json不用额外处理:json.load读出来就是上面那个 set 的字典版,查法一样。
拿这些词能做什么
| 方向 | 典型用法 | 建议词表 |
|---|---|---|
| 找词、用词 | 搜索框的单词自动补全词库、猜词游戏、NLP 基础词表 | words_alpha.txt |
| 校验、纠错 | 拼写检查、判断输入是不是有效单词 | words_dictionary.json |
词表从何而来 📦
这套词表整理自 Moby 词汇项目。scripts/create_json.py 能把任意词表重新生成成 JSON 格式的字典;scripts/gen.sh 负责批量处理:排序去重、滤掉非字母内容,再打包产出仓库里的三个词库文件。完整流程都在 scripts/ 目录下。
一句话:这套 46 万英语单词的词库不用自己采集、清洗和对齐,挑一个文件就能开工。需要的话 clone 一份仓库,剩下的交给现成脚本。
【免费下载链接】english-words:memo: A text file containing 479k English words for all your dictionary/word-based projects e.g: auto-completion / autosuggestion项目地址: https://gitcode.com/gh_mirrors/en/english-words
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考