Elasticsearch를 사용한 효율적인 중국 검색

elasticsearch 중국 검색 : 분석기 및 모범 사례 분석 및 어휘는 특히 영어가 아닌 언어를 다룰 때 Elasticsearch의 내용 지수에 중요합니다. 중국인의 경우,이 과정은 한자의 특성과 단어와 문장 사이의 공간 부족으로 인해 훨씬 ​​더 복잡합니다.

이 기사에서는 기본 중국 분석기, Paoding 플러그인, CJK 분석기, SmartCN 분석기 및 ICU 플러그인을 포함하여 Elasticsearch에서 중국 내용을 분석하기위한 몇 가지 솔루션에 대해 설명하고 장점 및 단점 및 적용 가능한 시나리오를 분석합니다.

중국 검색의 도전

중국어는 단어 나 형태소 (언어에서 가장 작은 의미있는 단위)를 나타내는 표표입니다. 함께 결합되면 그 의미는 완전히 새로운 단어를 나타냅니다. 또 다른 어려움은 단어와 문장 사이에 공백이 없으므로 컴퓨터가 단어가 시작되고 끝나는 위치를 알기가 어렵다는 것입니다.

만다린 (공식 중국어와 세계에서 가장 널리 사용되는 중국인) 만 고려하더라도 실제로 중국어를 쓰더라도 3 ~ 4 천만 있어야합니다. 한자. 예를 들어, "화산"(화산)은 실제로 다음 중 한자의 조합입니다.

화재 : 화재 산 : 산 우리의 단어 분사는 분리 될 때와 다르기 때문에이 두 중국어를 분리하는 것을 피할 정도로 똑똑해야합니다.

또 다른 어려움은 사용 된 철자 변형입니다

단순화 된 중국어 : 서예 전통적인 중국어, 더 복잡하고 풍부한 : 도서 방법

Pinyin, 로마 화 된 만다린 형태 : Shū fǎ

Elasticsearch
• 의 중국 분석기 현재, Elasticsearch는 다음 중국 분석기를 제공합니다
Lucene 4의 더 이상 사용되지 않은 클래스를 기반으로 한
• 기본
분석기;

플러그인은 더 이상 유지 관리되지는 않지만 매우 좋은 사전을 기반으로합니다

컨텐츠를 이진화하는 분석기;

공식적으로 지원되는 플러그인; ICU 플러그인 및 워드 세분화 장치.

이 분석기는 크게 다르며 성능을 간단한 테스트 단어 "휴대폰"과 비교할 것입니다. "휴대 전화"는 "휴대 전화"와 "휴대 전화"및 "모바일"을 나타내는 두 개의 한자로 구성된 "휴대 전화"를 의미합니다. "ji"라는 단어는 또한 많은 다른 단어를 구성합니다 :

• 항공편 : 에어 티켓 로봇 : 로봇 기관총 : 기관총 기회 : 기회
우리의 분사는 "휴대폰"을 검색하면 람보를 기관총을 소유 한 문서를 원하지 않기 때문에 중국어를 분할 할 수 없습니다.
• 우리는 강력한
api : 를 사용하여 이러한 솔루션을 테스트합니다.

• Default

  분석기 : 는 모든 한자를 단어 요소로 만 나눕니다. 따라서 휴대폰과 휴대폰의 두 가지 어휘 요소가 있습니다. Elasticsearch의 분석기는 정확히 동일한 출력을 생성합니다. 따라서 는 더 이상 사용되지 않으며 곧 로 대체되며 피해야합니다. Chinese standard Chinese 플러그인 : standard 거의 업계 표준이며 우아한 솔루션으로 간주됩니다. 불행히도 Elasticsearch 용 플러그인은 유지되지 않으며 수정 후 버전 1.0.1에서만 실행할 수 있습니다. (설치 단계가 생략되고, 원본 텍스트가 제공됩니다) 설치 후 새로운 워드 세그먼트와 두 개의 수집기 : 및 가 나타납니다. 기본적으로 공개 분석기가 없으므로 새 분석기를 선언해야합니다. (구성 단계가 생략되고 원본 텍스트가 제공됩니다) 두 구성 모두 명확하고 고유 한 어휘 요소로 좋은 결과를 제공합니다. 또한 더 복잡한 문장을 다룰 때 매우 잘 작동합니다.

• paoding 분석기 : 텍스트 만 바이너리로 변환하는 매우 간단한 분석기. "휴대 전화"만 인덱스 paoding는 좋지만, 우리가 "랜턴 페스티벌 (Lantern Festival)"(랜턴 페스티벌)과 같은 더 긴 단어를 사용하면 랜턴 페스티벌과 Xiao Festival, "랜턴 페스티벌"을 의미합니다. 그리고 각각 "Xiao Festival". paoding max_word_len most_word

플러그인 :
• 설치가 매우 쉽습니다. (설치 단계는 생략되고, 원본 텍스트가 제공됩니다) Lucene 's 를 사용하여 워드 세그먼터뿐만 아니라 새로운 분석기를 노출시킵니다. Hidden Markov 모델과 많은 양의 교육 텍스트를 사용하여 Words Suite를 사용하여 Words의 가장 좋은 세그먼트를 찾습니다. 따라서 상당히 좋은 교육 사전이 포함되어 있습니다. 우리의 예는 올바르게 참여합니다.

  cjk ICU 플러그인 : 또 다른 공식 플러그인. (설치 단계는 생략되고 원본 텍스트가 제공됩니다) 영어 이외의 언어를 다루는 경우이 플러그인을 사용하는 것이 좋습니다. 그것은 , , 등과 같은 많은 강력한 분석 도구뿐만 아니라 A 워드 세그먼터를 공개합니다. 그것은 중국어 그룹을 추론하기 위해 단어 빈도에 대한 정보를 포함하는 중국어와 일본 사전을 사용합니다. "휴대 전화"에서는 모든 것이 정상이며 예상대로 작동하지만 "랜턴 페스티벌"에서는 랜턴 페스티벌과 페스티벌 - "랜턴 페스티벌"과 "축제"가 "랜턴 페스티벌보다 더 중요하기 때문입니다. ". 흔한. 手机

결과 비교 (생략 된 형식, 원본 텍스트 제공) 내 관점에서 와 는 최상의 결과를 얻었습니다. 분사라는 단어는 매우 나쁘고 smartcn는 "랜턴 페스티벌"에서 약간 실망하지만 전통적인 중국인을 다루는 데 매우 능숙합니다. smartcn 전통적인 중국 지원 smartcn_tokenizer 문서 또는 사용자 검색 요청에서 전통적인 중국어를 처리해야 할 수도 있습니다. 이러한 전통적인 입력을 현대 중국어로 변환하려면 정규화 단계가 필요합니다.

또는 와 같은 플러그인은 올바르게 처리하지 않기 때문입니다. smartcn 응용 프로그램을 통해 처리하거나 플러그인을 사용하여 Elasticsearch에서 직접 처리 할 수 ​​있습니다. 전통적인 및 단순화 된 문자를 양방향으로 변환 할 수 있습니다. (설치 단계가 생략되고 원본 텍스트가 제공되었습니다) paoding 마지막 솔루션은

를 사용하는 것입니다. 제대로 입력 할 수없는 경우에도 여전히 필요한 문서를 캡처 한 다음 관련성을 향상시킬 가능성이 높습니다.

추가 개선 elasticsearch-analysis-stconvert

Elasticsearch 분석을위한 완벽한 보편적 솔루션은 없으며 중국어도 예외는 아닙니다. 얻은 정보에 따라 자신의 분석기를 결합하고 구축해야합니다. 예를 들어, 검색 필드 및 다중 경기 쿼리를 사용하여 검색 필드에서 및

분사를 사용합니다. cjk icu_tokenizer (FAQ 부품 생략, 원본 텍스트 제공)

위 내용은 Elasticsearch를 사용한 효율적인 중국 검색의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!