Python 경량 검색 도구 Whoosh 사용(요약 공유)

이 글에서는 Python에 대한 관련 지식을 제공합니다. Python의 경량 검색 도구인 Whoosh를 간략하게 소개하고 해당 사용 예제 코드를 함께 살펴보겠습니다.

【관련 추천: Python3 동영상 튜토리얼】

이 글에서는 Python의 경량 검색 도구인 Whoosh를 간략하게 소개하고 해당 사용 예제 코드를 제공합니다.

Whoosh 소개

Whoosh는 Matt Chaput에 의해 만들어졌습니다. Houdini 3D 애니메이션 소프트웨어 패키지의 온라인 문서에 대한 간단하고 빠른 검색 서비스 도구로 시작된 이후 서서히 성숙한 검색 솔루션 도구가 되었으며 오픈 소스가 되었습니다. .

Whoosh는 순수하게 Python으로 작성되었으며 유연하고 편리하며 가벼운 검색 엔진 도구입니다. 이제 Python2와 3을 모두 지원합니다. 장점은 다음과 같습니다.

• Whoosh는 순수하게 Python으로 작성되었지만 매우 빠릅니다. , Python 환경만 필요하며 컴파일러는 필요하지 않습니다.
• Okapi BM25F 정렬 알고리즘은 기본적으로 사용되며 다른 정렬 알고리즘도 지원됩니다.
• Whoosh는 더 작은 인덱스 파일을 생성합니다. 인코딩은 유니코드여야 합니다.
• Whoosh는 모든 Python 개체를 저장할 수 있습니다.
• Whoosh 공식 소개 사이트는 https://whoosh.readthedocs.io/en/latest/intro.html입니다. ElasticSearch 또는 Solr와 같은 성숙한 검색 엔진 도구에 비해 Whoosh는 더 가볍고 작동이 간단하며 소규모 검색 프로젝트에 사용하는 것을 고려할 수 있습니다.

Index & query

ES에 익숙한 분들이라면 검색의 두 가지 중요한 측면은 매핑과 쿼리, 즉 인덱스 구성과 쿼리이며, 그 뒤에는 복잡한 인덱스 저장, 쿼리 구문 분석 및 정렬 알고리즘이 있습니다. ES 경험이 있다면 Whoosh를 시작하는 것은 매우 쉽습니다.

저자의 이해와 Whoosh의 공식 문서에 따르면 Whoosh의 입문 용도는 주로 인덱스와 쿼리입니다. 검색 엔진의 강력한 기능 중 하나는 BM25와 같은 정렬 알고리즘과 필드 저장 방법에 따라 달라지는 전체 텍스트 검색을 제공할 수 있다는 것입니다. 따라서 index가 명사로 사용되는 경우에는 해당 필드의 인덱스를 의미하고, 동사로 사용되는 경우에는 해당 필드의 인덱스를 설정하는 것을 의미합니다. 쿼리는 정렬 알고리즘을 사용하여 쿼리해야 하는 명령문을 기반으로 합리적인 검색 결과를 제공합니다.

Whoosh 사용과 관련하여 공식 문서에 자세한 지침이 제공되어 있습니다. 여기에서는 Whoosh가 검색 경험을 쉽게 향상시킬 수 있는 방법을 설명하기 위해 간단한 예만 제공합니다.

예제 코드

Data

이 프로젝트의 예제 데이터는 poem.csv입니다. 다음 그림은 데이터 세트의 처음 10개 행입니다.

Fields

데이터 세트의 특성에 따라, 제목, 왕조, 시인, 내용의 네 가지 필드( 필드)를 만듭니다. 생성된 코드는 다음과 같습니다.

# -*- coding: utf-8 -*-
import os
from whoosh.index import create_in
from whoosh.fields import *
from jieba.analyse import ChineseAnalyzer
import json

# 创建schema, stored为True表示能够被检索
schema = Schema(title=TEXT(stored=True, analyzer=ChineseAnalyzer()),
                dynasty=ID(stored=True),
                poet=ID(stored=True),
                content=TEXT(stored=True, analyzer=ChineseAnalyzer())
                )

그 중 ID는 단위 값만 가능하며 여러 단어로 나눌 수 없습니다. 파일 경로, URL, 날짜 및 분류에 자주 사용됩니다. 텍스트의 색인을 설정하고 저장하며, 단어 검색을 지원합니다. 분석기는 말더듬이 있는 중국어 단어 분할기를 선택합니다.

인덱스 파일 만들기

다음으로 인덱스 파일을 만들어야 합니다. 프로그램을 사용하여 먼저 poem.csv 파일을 구문 분석하고 이를 인덱스로 변환한 후 indexdir 디렉터리에 씁니다. Python 코드는 다음과 같습니다.

# 解析poem.csv文件
with open('poem.csv', 'r', encoding='utf-8') as f:
    texts = [_.strip().split(',') for _ in f.readlines() if len(_.strip().split(',')) == 4]

# 存储schema信息至indexdir目录
indexdir = 'indexdir/'
if not os.path.exists(indexdir):
    os.mkdir(indexdir)
ix = create_in(indexdir, schema)

# 按照schema定义信息，增加需要建立索引的文档
writer = ix.writer()
for i in range(1, len(texts)):
    title, dynasty, poet, content = texts[i]
    writer.add_document(title=title, dynasty=dynasty, poet=poet, content=content)
writer.commit()

색인이 성공적으로 생성되면 위의 poem.csv 데이터의 각 필드에 대한 색인 파일이 포함된 indexdir 디렉터리가 생성됩니다.

Query

인덱스가 성공적으로 생성된 후 이를 쿼리에 사용합니다.

예를 들어 내용에

가 포함된 구절을 쿼리하려면 다음 코드를 입력하면 됩니다.

# 创建一个检索器
searcher = ix.searcher()

# 检索content中出现'明月'的文档
results = searcher.find("content", "明月")
print('一共发现%d份文档。' % len(results))
for i in range(min(10, len(results))):
    print(json.dumps(results[i].fields(), ensure_ascii=False))

출력 결과는 다음과 같습니다.

총 44개의 문서가 검색되었습니다.
처음 10개의 문서는 다음과 같습니다.
{"content": "침대 앞에는 밝은 달빛이 있고 땅에는 서리가 내린 것으로 의심됩니다. 밝은 달을 올려다보며 고향을 내려다봅니다. ", "dynasty": "당나라", "poet": "이백", "title": "고요한 밤 생각"}
{"content": "가장자리의 풀, 가장자리의 풀, 노병이 산의 남쪽과 북쪽에 눈이 맑고 수천 마일 동안 달이 빛나고 있습니다. ", "왕조": "당나라", "시인": "대. Shulun", "title": "Tiao Xiaoling·Biancao"}
{"content": "한적한 대나무에 홀로 앉아 피아노를 치며 깊은 숲 속에서 울부짖는다. 사람들은 밝은 달이 사람을 비추는 것을 모른다. . 수천 마일의 가을 바람이 손님의 옷을 가볍게 닦았지만 여전히 황제의 수도에서 먼지가 남아 있습니다. }
{"content": "진나라의 밝은 달과 한나라의 관, 사람들이 수천 마일을 행군했지만 돌아오지 못했습니다. 그러나 Dragon City의 날아다니는 장군들은 Hu Ma에게 음산을 건너는 법을 가르치지 않을 것입니다. , "title": "성밖의 두 시·하나"}
{"content": "Jingkou Guazhou의 물 사이에 Zhongshan은 여러 개의 산으로 만 분리되어 있습니다. 강 남쪽 기슭에는 봄바람이 녹색입니다. . 밝은 달은 언제 나를 비출 것인가? ", "dynasty": "송나라", "poet": "Wang Anshi", "title": "Boaring Guazhou"}
{"content": "둘러보세요. 산과 물, 난간에 기대어 연꽃 냄새를 맡으십시오. 바람과 밝은 달은 무인이며 남쪽 타워는 항상 차갑습니다. "푸른 산은 희미하고 물은 멀다. 가을이 지나도 장강 남쪽의 풀은 시들지 않았습니다. 24교의 달밤에 미인이 어디에서 피리 연주하는 법을 가르쳐 줄 수 있습니까?", "왕조": "당나라", " 시인": "두무", "제목" : "양주의 한추오 판사에게 보내다"}
{"내용": "이슬 공기는 차갑고 빛은 모이고 태양은 추추 유인원 아래에서 빛난다. 동정나무에서 노래하고, 사람들은 목련배를 타고 있다. 광택에는 밝은 달이 있고, 창산에는 거센 조류가 있다. 운중군이 당신을 보지 못하니, 밤에는 가을이 슬프다. 왕조", "시인": "마대", "제목": "추장의 세 가지 향수 중 하나"}
{"내용": " 밝은 달이 바다 위에 떠오르고, 세상은 지금 연인입니다. 먼 밤에는 서로 미워하지만 저녁에는 서로를 그리워하며 그들의 손에 이슬이 느껴집니다. ", "왕조": "당나라", "시인": "장 Jiuling", "title": "달을 바라보며 회원 / 달을 바라보며 향수"}

[관련 권장 사항:

Python3 비디오 튜토리얼

]

위 내용은 Python 경량 검색 도구 Whoosh 사용(요약 공유)의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!