Beispiel für die Verarbeitung natürlicher Sprache in Python: Erkennung benannter Entitäten

王林
Freigeben: 2023-06-09 22:52:35
Original
2253 Leute haben es durchsucht

Python是一门功能强大的编程语言,其生态系统中有许多自然语言处理(NLP)相关的库和工具。命名实体识别(Named Entity Recognition, 简称NER)是NLP中很重要的一个任务,它能够识别文本中的命名实体,如人名、地名、组织机构名等。在本文中,我们将介绍如何使用Python中的NER库进行命名实体识别的实例。

  1. 安装NER库

我们将使用Python中的spacy库进行命名实体识别。可以通过以下代码安装spacy库:

pip install spacy
Nach dem Login kopieren

安装完成后,我们需要下载spacy库的英文模型,这里我们选择下载en_core_web_sm模型:

python -m spacy download en_core_web_sm
Nach dem Login kopieren
  1. 加载模型

安装完英文模型后,我们需要先将它加载到Python中。可以通过以下代码加载模型:

import spacy

nlp = spacy.load('en_core_web_sm')
Nach dem Login kopieren

这里,我们通过import语句引入spacy库,然后使用load方法加载英文模型。在load方法中传入的参数'en_core_web_sm'即为我们下载的英文模型名称。

  1. 进行命名实体识别

完成模型的加载后,我们可以使用该模型进行命名实体识别了。可以通过以下代码进行命名实体识别:

text = "Apple is looking at buying U.K. startup for $1 billion"

doc = nlp(text)

for ent in doc.ents:
    print(ent.text, ent.label_)
Nach dem Login kopieren

这里,我们定义了一个文本变量text,其中包含了一些命名实体。然后我们将文本变量作为参数传入spacy的nlp方法中,得到一个doc对象。doc对象中包含了文本中的各个单词和它们的词性、语法等信息。我们可以通过doc.ents属性获取文本中的命名实体,然后遍历每个命名实体,输出它的文本和标签。

在上面的代码中,我们的输出结果如下:

Apple ORG
U.K. GPE
$1 billion MONEY
Nach dem Login kopieren

可以看到,代码正确地识别出了三个命名实体。其中,Apple被识别为机构名称(ORG)、U.K.被识别为地理位置名称(GPE)、$1 billion被识别为货币名称(MONEY)。

  1. 自定义标签

如果我们想要识别自定义的命名实体标签,可以使用spacy库提供的EntityRecognizer。可以通过以下代码自定义标签:

from spacy.tokens import Doc, Span

nlp = spacy.load('en_core_web_sm')

#自定义标签
LABEL = 'MY_ENTITY'
nlp.entity.add_label(LABEL)

#手动给文档添加实体
doc = nlp('I am looking for a new phone and camera. Any suggestions?')
phone_span = Span(doc, 5, 6, label=LABEL)
doc.ents = list(doc.ents) + [phone_span]

for ent in doc.ents:
    print(ent.text, ent.label_)
Nach dem Login kopieren

在上面的代码中,我们首先用import语句引入了Doc和Span类,然后使用add_label方法自定义了一个标签'MY_ENTITY',接着我们创建了一个doc对象,手动将一个Span对象添加到了doc.ents属性中,再遍历doc.ents属性,输出识别结果。

  1. 结语

以上就是Python中命名实体识别的简单实例。spacy库不仅支持命名实体识别,还支持词性标注、情感分析等多种自然语言处理任务。在实际应用中,我们可以根据具体需要,选择合适的工具和库,进行自然语言处理任务。

Das obige ist der detaillierte Inhalt vonBeispiel für die Verarbeitung natürlicher Sprache in Python: Erkennung benannter Entitäten. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Quelle:php.cn
Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Beliebte Tutorials
Mehr>
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage