升级版！文本到上下文 #2：NLP 数据预处理的下一步骤——词干提取与词形还原

        词干提取和词形还原都是自然语言处理 (NLP) 中使用的文本规范化技术，用于将单词还原为其基本形式或词根形式。虽然他们的共同目标是简化单词，但他们在应用语言知识方面的运作方式有所不同。

        词干提取：还原为根形式

        词干提取涉及切断单词的前缀或后缀以获得其词根或基本形式，称为词干。目的是将具有相似含义的单词视为相同的单词。词干提取是一种基于规则的方法，并不总是产生有效的单词，但计算量较小。

        词形还原：转换为字典形式

        另一方面，词形还原涉及将单词减少为其基本形式或字典形式，称为词条。它考虑了句子中单词的上下文并应用形态分析。词形还原会产生有效的单词，并且与词干提取相比在语言学上更具信息性。

        何时使用词干提取与词形还原：

        词干提取：

• 优点：简单且计算成本较低。
• 缺点：可能并不总是产生有效的单词。

        词形还原：

• 优点：产生有效的单词；考虑语言背景。
• 缺点：比词干提取的计算强度更大。

        在词干提取和词形还原之间进行选择：

Day 4: Stemming and Lemmatization - Nomidl

        词干提取和词形还原之间的选择取决于 NLP 任务的具体要求。如果您需要一种快速而直接的文本分析方法，词干提取可能就足够了。然而，如果语言准确性至关重要，特别是在信息检索或问答等任务中，则通常首选词形还原。

        在实践中，选择通常取决于基于 NLP 应用程序的具体特征的计算效率和语言准确性之间的权衡。

# Example Stemming, and Lemmatization 
from nltk.stem import PorterStemmer, WordNetLemmatizer

stemmer = PorterStemmer()
lemmatizer = WordNetLemmatizer()

stemmed_words = [stemmer.stem(word) for word in filtered_sentence]
lemmatized_words = [lemmatizer.lemmatize(word) for word in filtered_sentence]

print(stemmed_words)
print(lemmatized_words)

['nlp', 'amaz', 'let', 'explor', 'wonder']
['nlp', 'amazing', 'let', 'explore', 'wonder']