【小沐探索自然语言处理】NLTK库在Python中的安装及入门教程

2.1 安装nltk库

The Natural Language Toolkit (NLTK) is a Python package for natural language processing. NLTK requires Python 3.7, 3.8, 3.9, 3.10 or 3.11.

pip install nltk
# or
pip install nltk -i https://pypi.tuna.tsinghua.edu.cn/simple

可以用以下代码测试nltk分词的功能：

2.2 安装nltk语料库

在NLTK模块中包含数十种完整的语料库，可用来练习使用，如下所示：
古腾堡语料库：gutenberg，包含古藤堡项目电子文档的一小部分文本，约有36000本免费电子书。
网络聊天语料库：webtext、nps_chat
布朗语料库：brown
路透社语料库：reuters
影评语料库：movie_reviews，拥有评论、被标记为正面或负面的语料库；
就职演讲语料库：inaugural，有55个文本的集合，每个文本是某个总统在不同时间的演说.

• 方法1：在线下载

import nltk
nltk.download()

通过上面命令代码下载，大概率是失败的。

• 方法2：手动下载，离线安装
  github：https://github.com/nltk/nltk_data/tree/gh-pages
  gitee：https://gitee.com/qwererer2/nltk_data/tree/gh-pages
  

• 查看packages文件夹应该放在哪个路径下
  
  将下载的packages文件夹改名为nltk_data，放在如下文件夹：
  

• 验证是否安装成功

from nltk.book import *

• 分词测试

import nltk
ret = nltk.word_tokenize("A pivot is the pin or the central point on which something balances or turns")
print(ret)

• wordnet词库测试

WordNet是一个在20世纪80年代由Princeton大学的著名认知心理学家George Miller团队构建的一个大型的英文词汇数据库。名词、动词、形容词和副词以同义词集合（synsets）的形式存储在这个数据库中。

import nltk
nltk.download('wordnet')
from nltk.corpus import wordnet as wn

from nltk.corpus import brown
print(brown.words())