Recherche chinoise efficace avec elasticsearch

Elasticsearch Chinese Search: Analysers and Best Practices

L'analyse et la lexisation sont cruciales dans l'indice de contenu d'Elasticsearch, en particulier lorsqu'ils traitent des langues non anglophones. Pour le chinois, ce processus est encore plus compliqué en raison des caractéristiques des caractères chinois et du manque d'espaces entre les mots et les phrases.

Cet article traite de plusieurs solutions pour analyser le contenu chinois dans Elasticsearch, notamment l'analyseur chinois par défaut, le plug-in PAODing, l'analyseur CJK, l'analyseur SmartCN et le plug-in USI, et analyse leurs avantages et inconvénients et scénarios applicables.

Défis de la recherche chinoise

Les caractères chinois sont des idéogrammes qui représentent un mot ou des morphèmes (la plus petite unité significative de la langue). Lorsqu'il est combiné ensemble, sa signification changera, représentant un tout nouveau mot. Une autre difficulté est qu'il n'y a pas d'espaces entre les mots et les phrases, ce qui rend difficile pour les ordinateurs de savoir où commence et se termine un mot.

Même si vous ne considérez que le mandarin (la langue chinoise officielle et le chinois le plus utilisé au monde), il y a des dizaines de milliers de caractères chinois, même si vous écrivez réellement le chinois, vous n'avez qu'à connaître trois à quatre mille Caractères chinois. Par exemple, "Volcano" (volcan) est en fait une combinaison des deux caractères chinois suivants:

• Fire: Fire
• montagne: montagne

Notre Parti de la Parole doit être assez intelligent pour éviter de séparer ces deux caractères chinois, car leur signification est différente de la séparation.

Une autre difficulté est la variante d'orthographe utilisée:

• chinois simplifié: calligraphie
• Chinois traditionnel, plus complexe et plus riche: méthode du livre
• pinyin, forme romanisée de mandarin: shū fǎ

Analyseur chinois dans Elasticsearch

À l'heure actuelle, Elasticsearch fournit les analyseurs chinois suivants:

• Analyseur par défaut Chinese, basé sur des classes obsolètes dans Lucene 4; Le plugin
• , bien que non maintenu, est basé sur un très bon dictionnaire; paoding
Analyseur, qui binarrise le contenu;
• cjk Analyseur, un plug-in officiellement pris en charge;
plug-in de soins intensifs et son dispositif de segmentation de mots.
• smartcn
Ces analyseurs varient considérablement et nous comparerons leurs performances avec un simple mot de test "téléphone mobile". "Téléphone mobile" signifie "téléphone mobile", qui se compose de deux caractères chinois, qui représentent "main" et "mobile". Le mot "ji" constitue également de nombreux autres mots:

vols: billets d'air

robot: robot

• Match Gun: Machine Gun
• Opportunité: Opportunité
Notre participe ne peut pas diviser ces caractères chinois parce que si je recherche "téléphone mobile", je ne veux pas de documentation sur la possession d'une mitrailleuse.
Nous testerons ces solutions en utilisant la puissante API

API:

_analyze

• Default Chinese analyseur: Il ne divise que tous les caractères chinois en éléments de mot. Par conséquent, nous obtenons deux éléments lexicaux: le téléphone portable et le téléphone portable. L'analyseur standard d'Elasticsearch produit exactement la même sortie. Par conséquent, Chinese est obsolète et sera bientôt remplacé par standard et devrait être évité.

• paoding Plug-in: paoding presque une norme de l'industrie et est considéré comme une solution élégante. Malheureusement, le plugin pour Elasticsearch n'est pas maintenu, et je ne peux l'exécuter que sur la version 1.0.1 après quelques modifications. (Les étapes d'installation sont omises, texte d'origine fournis) Après l'installation, nous obtenons un nouveau segmentateur de mots paoding et deux collectionneurs: max_word_len et most_word. Par défaut, il n'y a pas d'analyseur public, nous devons donc déclarer un nouvel analyseur. (Les étapes de configuration sont omises, le texte original fourni) Les deux configurations fournissent de bons résultats avec des éléments lexicaux clairs et uniques. Il se comporte également très bien lorsqu'il s'agit de phrases plus complexes.

• cjk Analyseur: Analyseur très simple qui ne convertit que n'importe quel texte en binaires. "Phone Mobile" ne dit que 手机, ce qui est bien, mais si nous utilisons des mots plus longs, tels que "Lantern Festival" (Lantern Festival), deux mots seront générés: Lantern Festival et Xiao Festival, qui signifie "Lantern Festival" et respectivement "Xiao Festival".

• smartcn Plug-in: Très facile à installer. (Les étapes d'installation sont omises, le texte d'origine fourni) Il expose un nouvel analyseur smartcn, ainsi que le segmenter de mots smartcn_tokenizer, en utilisant Lucene's SmartChineseAnalyzer. Il utilise une suite de probabilité pour trouver la meilleure segmentation des mots, en utilisant des modèles de Markov cachés et une grande quantité de texte de formation. Par conséquent, un assez bon dictionnaire de formation a été intégré - nos exemples sont correctement participés.

• Plugin USI: Un autre plugin officiel. (Les étapes d'installation sont omises, texte original fourni) Si vous traitez avec une langue non anglaise, il est recommandé d'utiliser ce plugin. Il révèle un segmenter de mots icu_tokenizer, ainsi que de nombreux outils d'analyse puissants tels que icu_normalizer, icu_folding, icu_collation, etc. Il utilise des dictionnaires chinois et japonais qui contiennent des informations sur la fréquence des mots pour déduire des groupes de caractères chinois. Sur "Mobile Phone", tout est normal et fonctionne comme prévu, mais sur "Lantern Festival", deux mots seront produits: Lantern Festival and Festival - c'est parce que "Lantern Festival" et "Festival" sont plus importants que "Lantern Festival ". commun.

Comparaison des résultats (le formulaire omis, texte original fourni)

De mon point de vue, paoding et smartcn ont obtenu les meilleurs résultats. chinese Le mot participe est très mauvais, icu_tokenizer est un peu décevant sur le "Lantern Festival", mais il est très bon pour traiter avec le chinois traditionnel.

Support chinois traditionnel

Vous devrez peut-être traiter les Chinois traditionnels à partir d'un document ou d'une demande de recherche d'utilisateurs. Vous avez besoin d'une étape de normalisation pour convertir ces entrées traditionnelles en chinois modernes parce que des plugins comme smartcn ou paoding ne le gérent pas correctement.

Vous pouvez le gérer via votre application ou essayer d'utiliser le plugin elasticsearch-analysis-stconvert pour le gérer directement dans Elasticsearch. Il peut convertir des caractères traditionnels et simplifiés dans les deux sens. (Les étapes d'installation sont omises, le texte d'origine a été fourni)

La dernière solution consiste à utiliser cjk: Si vous ne pouvez pas entrer correctement du participe, vous êtes toujours très susceptible de capturer la documentation requise, puis d'utiliser icu_tokenizer (également assez bon) pour améliorer la pertinence.

Améliorations supplémentaires

Il n'y a pas de solution universelle parfaite pour l'analyse Elasticsearch, et le chinois ne fait pas exception. Vous devez combiner et construire vos propres analyseurs en fonction des informations que vous avez obtenues. Par exemple, j'utilise le participe cjk et smartcn sur le champ de recherche, en utilisant une requête multi-champs et multi-matchs.

(partie FAQ omise, texte original fourni)

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!