|
本文将讨论自然语言处理中文本预处理的基本步骤。要将文本从人类语言转换成用于进一步处理的机器可读格式。我们还将讨论文本预处理工具。
在获得文本之后，我们从文本规范化开始。文本规范化包括：
将所有字母转换为小写或大写 将数字转换为单词或删除数字 删除标点、重音符号和其他音调符号 删除空格 扩展缩写词 删除停止词、稀疏词和特定词 文本规范化
我们将在下面详细描述文本规范化步骤。
1. 将字母转换为小写
Python 代码：
input_str = ”The 5 biggest countries by population in
2017 are China, India, United States, Indonesia, and
Brazil.”
input_str = input_str.lower()
print(input_str)
输出：
the 5 biggest countries by population in 2017 are china, india, united states, indonesia, and brazil.
2. 删除数字
删除与分析无关的数字。通常，正则表达式用于删除数字。
Python 代码：
import re
input_str = ’Box A contains 3 red and 5 white balls,
while Box B contains 4 red and 2 blue balls.’
result = re.sub(r’\d+’, ‘’, input_str)
print(result)
输出：
Box A contains red and white balls, while Box B contains red and blue balls.
3. 删除标点符号
以下代码删除了这组符号：[!”#$%&’()*+,-./:;<=>?@[\]^_`{|}~]:
Python 代码：
import string
input_str = “This &is [an] example? {of} string.
with.? punctuation!!!!” # Sample string
result = input_str.translate(string.maketrans(“”,””),
string.punctuation)
print(result)
输出：
This is an example of string with punctuation
4. 删除空格
要删除前导空格和结束空格，可以使用 strip() 函数。
Python 代码：
input_str = “ \t a string example\t “
input_str = input_str.strip()
input_str
输出：
‘a string example’
5. 删除停止词
“停止词”是语言中最常见的词，如“the”、“a”，“开”、“是”、“全部”。这些词没有重要意义，而且通常从文本中删除。可以使用自然语言工具包（NLTK），一套用于符号和统计自然语言处理。
Python 代码：
input_str = “NLTK is a leading platform for building
Python programs to work with human language data.”
stop_words = set(stopwords.words(‘english’))
from nltk.tokenize import word_tokenize
tokens = word_tokenize(input_str)
result = [i for i in tokens if not i in stop_words]
print (result)
输出：
[‘NLTK’, ‘leading’, ‘platform’, ‘building’, ‘Python’, ‘programs’, ‘work’, ‘human’, ‘language’, ‘data’, ‘.’]
6. Stemming
Stemming 是将单词减为词干、词根或词干的过程。根表单（例如，books-book、looked-look）。主要两个算法是 Porter stemming algorithm（从单词中删除常见的词尾）和 Lancaster stemming algorithm（一种更具攻击性的词干算法）。
Python 代码：
from nltk.stem import PorterStemmer
from nltk.tokenize import word_tokenize
stemmer= PorterStemmer()
input_str=”There are several types of stemming
algorithms.”
input_str=word_tokenize(input_str)
for word in input_str:
print(stemmer.stem(word))
输出：
There are sever type of stem algorithm.
7. Lemmatization
Lemmatization 与 Stemming 功能相似，但作用相反。它不是简单地切掉词干。相反，它使用词汇知识获取正确单词基本形式的基础。
Python 代码：
from nltk.stem import WordNetLemmatizer
from nltk.tokenize import word_tokenize
lemmatizer=WordNetLemmatizer()
input_str=”been had done languages cities mice”
input_str=word_tokenize(input_str)
for word in input_str:
print(lemmatizer.lemmatize(word))
输出：
be have do language city mouse
8. 语音标记部分
词性标记的一部分旨在将词性部分分配给基于它的给定文本（如名词、动词、形容词和其他）定义及其上下文。
Python 代码：
input_str=”Parts of speech examples: an article, to
write, interesting, easily, and, of”
from textblob import TextBlob
result = TextBlob(input_str)
print(result.tags)
输出：
[(‘Parts’, u’NNS’), (‘of’, u’IN’), (‘speech’, u’NN’), (‘examples’, u’NNS’), (‘an’, u’DT’), (‘article’, u’NN’), (‘to’, u’TO’), (‘write’, u’VB’), (‘interesting’, u’VBG’), (‘easily’, u’RB’), (‘and’, u’CC’), (‘of’, u’IN’)]
9. 分块（浅解析）
分块是一种自然的语言过程，用于识别组成部分把句子（名词、动词、形容词等）联系起来具有离散语法意义的顺序单位（名词组或短语、动词组等）。
Python 代码：
input_str=”A black television and a white stove were
bought for the new apartment of John.”
from textblob import TextBlob
result = TextBlob(input_str)
print(result.tags)
输出：
[(‘A’, u’DT’), (‘black’, u’JJ’), (‘television’, u’NN’), (‘and’, u’CC’), (‘a’, u’DT’), (‘white’, u’JJ’), (‘stove’, u’NN’), (‘were’, u’VBD’), (‘bought’, u’VBN’), (‘for’, u’IN’), (‘the’, u’DT’), (‘new’, u’JJ’), (‘apartment’, u’NN’), (‘of’, u’IN’), (‘John’, u’NNP’)]
Python 代码：
reg_exp = “NP: {<DT>?<JJ>*<NN>}”
rp = nltk.RegexpParser(reg_exp)
result = rp.parse(result.tags)
print(result)
输出：
(S (NP A/DT black/JJ television/NN) and/CC (NP a/DT white/JJ stove/NN) were/VBD bought/VBN for/IN (NP the/DT new/JJ apartment/NN) of/IN John/NNP)
10. 命名实体识别 命名实体识别（NER）旨在在文本中查找命名实体并将其分为预先定义的类别（人员姓名，地点、组织、时间等）。
Python 代码：
from nltk import word_tokenize, pos_tag, ne_chunk
input_str = “Bill works for Apple so he went to Boston
for a conference.”
print ne_chunk(pos_tag(word_tokenize(input_str)))
输出：
(S (PERSON Bill/NNP) works/VBZ for/IN Apple/NNP so/IN he/PRP went/VBD to/TO (GPE Boston/NNP) for/IN a/DT conference/NN ./.)
11. 词搭配提取
搭配是经常出现在一起的单词组合。例如 “break the rules,” “free time,” “draw a conclusion,” “keep in mind,” “get ready,” 等。
Python 代码：
input=[“he and Chazz duel with all keys on the line.”]
from ICE import CollocationExtractor
extractor =
CollocationExtractor.with_collocation_pipeline(“T1” ,
bing_key = “Temp”,pos_check = False)
print(extractor.get_collocations_of_length(input,
length = 3))
输出：
[“on the line”]
总结
在本文中，我们讨论了文本预处理，并描述了它的主要功能。步骤包括标准化、标记化技术、词干化、分组、语音标记、命名实体识别等。我们还讨论了文本预处理工具和示例。文本预处理完成后，结果可用于更多复杂的 NLP 任务，例如机器翻译或自然翻译语言生成。
| 
发表于 2019-1-27 10:41:42
