Analyse et application d'événements financiers basées sur des modèles pré-entraînés

1. Les tâches principales de l'analyse des événements financiers

Les tâches principales de l'analyse des événements financiers peuvent être divisées en trois parties :

① La première partie est l'analyse intelligente des données non structurées. Les informations dans le domaine financier ont leurs propres caractéristiques uniques par rapport aux informations Internet. Les informations dans le domaine financier existent souvent sous une forme non structurée, et il existe certains formats de fichiers spéciaux, tels que PDF, qui posent un plus grand défi pour extraire des données claires et précises à partir de fichiers ou de données. Le format PDF est un format de composition et d'impression et ne comporte pas de paragraphes aussi clairs que les autres types de fichiers. Le PDF est davantage destiné à la composition, il n'y a donc que quelques informations de localisation dans le fichier. Il est plus difficile d’analyser un texte formaté avec précision et sémantiquement clair à partir de données non structurées. De plus, lorsque la sémantique du format dans le document n'est pas claire, l'analyse des événements entraînera du bruit, et ces données sales provoqueront de nombreuses interférences dans la formation et l'inférence du modèle. Par conséquent, afin d’améliorer la précision du modèle, les données non structurées doivent être analysées en premier.

② La deuxième partie est la compréhension de la sémantique des événements, qui est une partie techniquement importante. Cela implique principalement la détection d’événements, l’extraction d’éléments d’événements et l’extraction de relations d’événements.

③ Basé sur la compréhension des événements, le troisième module le plus important dans la tâche est introduit, l'analyse des graphiques d'événements, qui comprend l'analyse de la chaîne d'événements et la prédiction d'événements.

Afin d'accomplir les tâches ci-dessus, deux systèmes plus importants sont introduits. Le premier est le système d'événements financiers. Un système d'événements financiers comprend des entités pertinentes dans le domaine financier, et ces entités ont également différents scénarios d'application. Afin de mieux prendre en charge ces sujets et scénarios, un système d'événements correspondant doit être établi, ce qui implique de nombreuses connaissances du domaine et nécessite que les experts du domaine fournissent les connaissances correspondantes en guise d'entrée. Cela nous aide à construire un système plus complet et scientifique pouvant couvrir les scénarios correspondants. Bien entendu, outre les connaissances d’experts, la technologie sera également nécessaire pour l’apprentissage inductif, qui peut également fournir un système événementiel complet, basé sur des scénarios et évolutif.

Parce que l'introduction de connaissances expertes concerne principalement les événements les plus importants de la scène. Pour certains événements de moyenne et longue traîne, le problème est principalement résolu à l’aide de technologies basées sur l’apprentissage. Avec le graphique d'événements financiers, nous combinons la technologie d'extraction d'événements. Après l'extraction d'événements, la classification des relations d'événements et l'apprentissage de la représentation des événements, nous pouvons construire un graphique à des fins d'analyse et de prédiction.

Avec des tâches claires et le soutien de la technologie, nous pouvons traiter des actualités ou des documents et répondre à de nombreuses questions en résumé. Par exemple, quel type d'événement s'est produit dans quelle entreprise et quels éléments ont été impliqués dans l'événement, tels que les éléments communs, l'heure, le lieu, les personnes ou les éléments liés au type d'événement. Par exemple, l'événement « émission d'actions de l'entreprise » inclut. les éléments prix d'émission, circulation etc. De plus, nous pouvons également prêter attention à ces informations, telles que l'évaluation des gens sur cet événement (analyse des sentiments). et des prédictions sur ce qui arrivera à l'entreprise dans le futur après la survenue de certains types d'événements. Si vous pouvez répondre aux questions ci-dessus, cela sera utile dans de nombreux scénarios.

Prenons un exemple spécifique.

La figure ci-dessus divise le système d'événements financiers en deux niveaux. Le premier niveau comprend cinq catégories, qui se distinguent principalement en fonction d'objets spécifiques, tels que les événements d'entreprise, les événements boursiers, les événements industriels et macro, et les événements de type sinistres et les événements de type fonds. Différents types d'événements sont définis pour différents objets d'événement. Ce sont les objets les plus courants en finance. Au deuxième niveau, nous subdivisons chaque type d'objet. Par exemple, les types d'événements courants dans une entreprise, tels que la réduction des actionnaires, etc. (voir l'image ci-dessus). Prenons comme exemple des événements tels que des actionnaires réduisant leurs participations. Les éléments d'événement qu'il contient incluent le moment de la réduction, les actionnaires qui ont réduit leurs participations, le prix de la transaction au moment de la réduction et d'autres informations. La définition d'un système d'événements complet ciblé sur le scénario est une condition préalable importante pour que l'analyse d'événements atteigne ses objectifs. Le degré de détail de la définition du système d'événements déterminera le degré de précision des informations sur les événements que l'analyse d'événements finale peut fournir. atteindre.

La carte des événements est présentée ci-dessous.

Le graphe d'événements est un graphe et contient des nœuds et des arêtes. Dans le graphique d'événements, les nœuds d'événements peuvent être des événements ou des entités dans les événements, telles que des entreprises. Une limite est la relation entre des événements, ou entre des événements et des entités, ou entre des entités.

Regardons un exemple. L’image ci-dessus est un article de presse présentant l’acquisition d’iRobot par Amazon. Au total, quatre événements ont été décrits dans ce reportage, dont deux étaient des acquisitions, survenus à des moments différents. Les deux autres sont les événements de création d’entreprise et les événements de coopération. Ces événements sont liés par la séquence chronologique de leur apparition. En plus des événements, ces nouvelles contiennent également d'autres entités et heures, et ces entités et heures sont également reliées par des relations correspondantes.

En examinant les informations d'une page Web non structurée de cette manière, en analysant le texte et les paragraphes du document, en effectuant une analyse sémantique des paragraphes et en extrayant les entités et les relations d'événements, nous pouvons construire un graphique d'événements. Il s’agit de convertir des données non structurées en informations structurées. Avec des informations structurées, il est plus facile de comprendre et de traiter les informations. Ces informations peuvent être utilisées dans des scénarios d'acquisition d'informations tels que la recherche et les questions et réponses, ou dans des scénarios commerciaux tels que la surveillance des risques et l'investissement quantitatif dans le domaine financier.

La chaîne d'événements est un graphe d'événements spécial et un mode simplifié du graphe d'événements. Il se concentre principalement sur une série d’événements qui surviennent à un participant et sur la relation entre les événements. Comme le montre la figure ci-dessus, le graphique d'événements de gauche peut être simplifié en deux chaînes d'événements de droite. La chaîne d'événements ne contient que des nœuds simplifiés et d'autres éléments peuvent être considérés comme des informations d'attribut de la chaîne d'événements. Cette simplification est utile pour l’application pratique des graphiques d’événements. Une fois les relations et les nœuds du graphe d'événements simplifiés, l'apprentissage et le traitement du graphe par le modèle se concentrent uniquement sur un type de nœud et un type de relation entre les événements, ce qui réduit la complexité de ce problème. Bien que simplifiées, les informations principales de l'événement seront toujours conservées, telles que le type d'événement, le sujet de l'événement et d'autres informations.

Voyons comment une chaîne d'événements est prédite.

L'image ci-dessus est un modèle de prédiction d'une chaîne d'événements. Il se compose principalement de trois parties. La première partie est la représentation des événements, où se trouvent les événements actuels, les événements historiques et finalement les événements du texte que nous voulons prédire. Les événements historiques et les événements à prédire, les mots déclencheurs et les éléments événementiels qu'ils représentent peuvent être assemblés pour mieux capturer les informations historiques. En combinant la représentation contextuelle et la représentation historique des événements, nous entrons dans la deuxième partie, la représentation séquentielle des événements. Une structure de réseau LSTM est utilisée ici, qui peut capturer la relation temporelle entre les événements et intégrer les informations de séquence d'événements dans la représentation des événements. Enfin, les représentations d'événements contenant des relations chronologiques sont introduites dans un réseau dynamique, qui peut être utilisé pour prédire les événements candidats et les événements dans l'actualité donnée. Par exemple, s'il existe des dizaines de types d'événements candidats, nous pouvons alors prédire quel événement pourrait être un type d'événement plus important qui se produirait dans le futur pour ce sujet, en fonction des types d'événements que nous avons vus dans l'actualité actuelle. Le résultat est une distribution de types d’événements.

Ce qu'il faut souligner ici, c'est que les résultats de prédiction de ce modèle ne visent pas à prédire des événements qui se produiront certainement dans l'entreprise à l'avenir, mais à fournir des informations auxiliaires pour fournir une base d'analyse, de prédiction et jugement.

La chaîne d'événements et la prédiction d'événements mentionnées ci-dessus sont des prédictions et des jugements sur des situations qui ne se sont pas encore produites. La prédiction d’événements peut en fait fournir une aide utile pour les événements qui se sont déjà produits.

Regardons un autre exemple. Cet exemple est basé sur des événements déjà survenus pour fournir une aide utile.

Ce type de questions et réponses sur les événements basées sur la bibliothèque d'événements peut prendre en charge la recherche d'événements en langage naturel. Nous extrayons d'abord du corpus et construisons une bibliothèque d'événements structurés. Chaque type d'événement créera une table. Chaque champ de la table représente différents éléments d'événement. Combinée avec la technologie NL2SQL, l'instruction de requête peut être convertie en une instruction de requête de base de données. De cette façon, nous pouvons trouver le type exact d’événement dans le tableau que nous venons de créer. Ceci est différent de l’expérience de recherche d’événements avec les moteurs de recherche généraux actuellement disponibles sur le marché. Les résultats renvoyés par le moteur de recherche contiennent de nombreux types d'informations sur ce type d'événement. Même si des informations pertinentes sont trouvées, le résultat que vous voyez est un rapport complet plutôt que des informations spécifiques sur un événement spécifique. Grâce aux questions-réponses sur les événements basées sur la base de données des événements, nous pouvons effectuer des recherches de questions-réponses sur les événements avec plus de précision.

Grâce à l'exemple ci-dessus, vous pouvez voir l'analyse des événements dans des scénarios spécifiques Comment l’analyse peut-elle être effectuée. Les fluctuations des cours des actions des entreprises sont au centre du marché. Les fluctuations du cours des actions basées sur des événements constituent également un scénario dans lequel la PNL et le domaine financier sont combinés dans une analyse d'événements, qui peut réaliser la transformation des informations sur le marché et des fluctuations du cours des actions. La figure ci-dessus montre deux caractéristiques du modèle. L’une représente une entreprise spécifique et l’autre représente les relations entre les entreprises. Nous introduisons l'analyse des événements pour extraire les types d'événements et les différentes entreprises impliquées dans l'événement. Les types d'événements extraits et deux types d'informations que l'entreprise peut fournir, l'un est la représentation de l'événement, qui peut devenir une fonctionnalité et être intégrée aux fonctionnalités de l'entreprise. La relation entre entreprises et événements peut construire le module de relation d'association entre entreprises. Ajoutez ensuite des fonctionnalités existantes, telles que des indicateurs techniques spécifiques à l'entreprise ou des cartes de relations d'entreprise. En combinant les deux, nous pouvons construire un graphique avec des informations sur l'entreprise et des informations sur les relations. Sur la base de ce graphique, nous utilisons Graph Attention Network pour capturer l'impact de la relation entre les entreprises sur la performance de fluctuation des cours des actions des entreprises. En utilisant les fluctuations du cours des actions comme cible de l'apprentissage du modèle pour former le modèle, la structure du réseau modèle que nous avons obtenue peut permettre de porter un jugement sur les caractéristiques futures de l'entreprise à partir de caractéristiques telles que la carte de l'industrie de l'information et la carte des relations d'entreprise. Grâce à l'analyse du modèle Attention, nous pouvons également savoir de quels modules proviennent principalement les fluctuations, qu'il s'agisse d'un module de type événement ou d'un module de relation événementielle. Et la modélisation des relations entre entreprises permet également d'analyser la manière dont cet impact se propage entre les entreprises liées. C'est ce que l'on peut également appeler l'utilité des retombées dynamiques dans le domaine financier.

Basé sur les différentes technologies et scénarios d'analyse d'événements que nous avons présentés plus tôt . Nous avons résumé un cadre complet d’analyse d’événements. (Comme indiqué ci-dessous)

Il offre plusieurs fonctionnalités majeures : #🎜🎜 #

① Tout d'abord, il peut rechercher un certain événement ou divers événements sur un certain sujet.

② Deuxièmement, il peut rechercher divers événements liés à une entreprise dans le même secteur à travers la chaîne industrielle, ce qui peut être un chaîne industrielle ou chaîne d’entreprise.

③ Ce cadre peut également prédire d'éventuels événements futurs en fonction des résultats de recherche d'une entreprise.

L'avantage de ce framework est qu'il est basé sur le modèle pré-entraîné, a la capacité de transférer l'apprentissage, et peut prend en charge l'entraînement zéro tir/quelques tirs, le démarrage à froid est rapide. De plus, cette méthode systématique possède des capacités relativement complètes et peut prendre en charge une variété de scénarios.

Tous les scénarios ne nécessitent pas tous les modules du framework, et les modules peuvent être divisés et utilisés séparément en fonction des besoins.

2. Technologie d'analyse des événements financiers

Technologie d'analyse des événements financiers Les deux éléments de contenu les plus importants sont la détection et l'extraction d'événements.

Le but de la tâche de détection d'événements est d'extraire les événements du texte et de les classer. Habituellement, les mots déclencheurs sont extraits pour la détection d'événements, mais il existe également certaines méthodes de détection d'événements sans extraction de mots déclencheurs. Le défi de ce type de problème est l'étiquetage des mots déclencheurs, ou lorsque des problèmes tels que la migration sémantique, le fractionnement d'événements et les changements de définition d'événement surviennent, nous devons réétiqueter les données. Ce type de problème se produit souvent dans des scénarios réels. Bien que nous disposions de notre propre solution de détection d'événements, lorsqu'ils sont appliqués à différents domaines ou confrontés à différents besoins des clients, leurs systèmes d'événements sont très différents. Comment combiner les modèles et les données existants pour mieux prendre en charge le système d'événements est le plus grand défi auquel nous sommes actuellement confrontés ? . L'approche actuelle est la détection d'événements basée sur des mots indicateurs et des modèles pré-entraînés. Selon l'invite du type d'événement, nous pouvons mieux effectuer la migration des données ou la formation du modèle dans des scénarios à quelques tirs.

La figure ci-dessus montre le modèle et la méthode basés sur des mots déclencheurs. Selon l'invite du type d'événement, l'entrée du modèle peut être annotée au niveau du jeton, de sorte que les mots déclencheurs des événements correspondants puissent être extraits. Si le mot déclencheur est modifié en fonction de l'invite actuelle, le type d'événement et le mot déclencheur correspondants peuvent être modifiés en conséquence. Grâce à la comparaison des données sur des ensembles de données publics, nous pouvons constater que dans l'ensemble des données, les performances de notre modèle ont été grandement améliorées par rapport aux méthodes précédentes. Même dans le cas de quelques tirs, les performances de notre modèle sont meilleures. que les autres modèles.

La tâche d'extraction d'événements est une extension de la fonction de tâche de détection d'événements. Il identifie non seulement le type d'événement et les mots déclencheurs, mais extrait également les éléments correspondants dans l'événement. Cela a un effet plus important sur les scénarios dans lesquels l'analyse des événements nécessite des informations relativement complètes. L'exemple de la figure ci-dessus peut extraire des informations plus fines. Les défis de l'extraction d'événements incluent le fait que dans un système d'événements complet, il y aura de nombreux éléments d'événements, l'annotation des données nécessite des experts du domaine, le coût est relativement élevé et il est difficile de l'étendre à de nombreux types d'événements. Notre solution actuelle consiste à utiliser des modèles et des invites pré-entraînés. La méthode générative basée sur

peut également avoir de bonnes performances de modèle dans des scénarios avec moins de données annotées, a une utilisation et une flexibilité des données plus élevées et est plus facile à étendre à de nouveaux types d'événements. .

La tâche d'extraction d'événements est une extension de la fonction de tâche de détection d'événements. Il identifie non seulement le type d'événement et les mots déclencheurs, mais extrait également les éléments correspondants dans l'événement. Cela a un effet plus important sur les scénarios dans lesquels l'analyse des événements nécessite des informations relativement complètes. L'exemple de la figure ci-dessus peut extraire des informations plus fines. Les défis de l'extraction d'événements incluent le fait que dans un système d'événements complet, il y aura de nombreux éléments d'événements, l'annotation des données nécessite des experts du domaine, le coût est relativement élevé et il est difficile de l'étendre à de nombreux types d'événements. Notre solution actuelle consiste à utiliser des modèles et des invites pré-entraînés. La méthode générative peut également obtenir de bonnes performances de modèle dans des scénarios avec moins de données annotées, a une utilisation et une flexibilité des données plus élevées et est plus facile à étendre à de nouveaux types d'événements.

L'image ci-dessus est une méthode d'extraction d'événements génératifs basée sur un modèle. Cette méthode d'extraction définit plusieurs concepts importants. Tout d'abord, nous devons prédéfinir le modèle avant l'extraction. Grâce au modèle, il peut être fourni au modèle lors de la formation. Lors de la définition d'un nouvel événement, certains éléments sont liés aux événements précédents. à l'avance. De cette manière, le modèle peut apprendre de nouveaux types d’événements avec une petite quantité de données.

Bien que la méthode ci-dessus puisse résoudre le problème de l'extraction d'événements dans une certaine mesure, il reste encore beaucoup à faire. Par exemple, la connexion entre les mots déclencheurs et les éléments d'événement de la méthode actuelle est faible ; tous les types d'événements doivent être interrogés lors de l'inférence, ce qui nécessite une grande quantité de calculs et un long temps d'inférence ; par Pipeline, ce qui entraîne une propagation d’erreurs.

Nous avons amélioré le modèle en fonction des questions soulevées ci-dessus et avons proposé une autre méthode d'extraction d'événements génératifs basée sur l'amélioration de la détection des mots déclencheurs TDE-GTEE.

(Ge Shi, Yunyue Su, Yongliang Ma et Ming Zhou (2023). Un cadre de détection et de génération hybride avec des encodeurs séparés pour l'extraction d'événements. Dans les actes de la 17e conférence du chapitre européen de l'Association for Computational Linguistique : Volume principal. Association pour la linguistique informatique.)

Dans cette méthode, le module de détection d'événements fournit des informations sur les mots déclencheurs d'événements. Nous marquerons les mots déclencheurs dans l'entrée et sélectionnerons le modèle correspondant en fonction des informations sur le type d'événement. Ces modèles d'entrée et d'événement sont ensuite combinés pour former la représentation du module de détection d'événements. Cette représentation est introduite dans le modèle de sujet et finalement le modèle rempli est obtenu. La différence entre ce modèle et le modèle précédent est que ce modèle possède une représentation de mot déclencheur supplémentaire et combine également des informations contextuelles. Cela résout le premier problème que nous venons de mentionner, celui du manque de connexions entre les mots déclencheurs et les éléments d'extraction des mots déclencheurs. Ce modèle peut construire la relation d'affichage entre les deux. Dans le même temps, grâce à la saisie du mot déclencheur, nous pouvons connaître le type d'événement lié au mot déclencheur. De cette façon, nous pouvons filtrer les types d'événements non pertinents. Le module de détection d'événements extraira uniquement les événements pour les types d'événements pertinents. Enfin, le module de détection d'événements et le module d'extraction d'événements peuvent former une formation conjointe de bout en bout. Ce modèle peut résoudre les deux autres problèmes mentionnés ci-dessus.

Le modèle TDE-GTEE a atteint le niveau SOTA sur les deux ensembles de données publics ACE et ERE. Dans les expériences, nous avons utilisé la totalité des données. Afin de vérifier les performances de ce modèle avec un petit nombre d'échantillons, nous avons également apporté quelques ajustements au module de détection d'événements, comme le remplacement de la méthode multi-classification d'origine par une méthode basée sur les invites. Les modèles peuvent également obtenir de bons résultats sur des tirs nuls/quelques tirs. Nous pensons que ce modèle peut être largement utilisé dans des scénarios pratiques.

3. Résumé et perspectives

La technologie d'analyse d'événements est largement utilisée dans le domaine financier et il existe de nombreux scénarios. Un cadre complet de système d'analyse d'événements fournira un soutien technique solide pour la compréhension des informations dans le domaine financier.

TDE-GTEE et d'autres méthodes proposées par Lanzhou Technology dans le domaine de l'analyse des événements financiers peuvent atteindre le niveau SOTA et fonctionner correctement dans des scénarios à quelques échantillons et à zéro échantillon. Nous continuerons à promouvoir le progrès technologique et la production dans le domaine de l'analyse des événements financiers.

IV. Séance de questions-réponses

Q1 : Existe-t-il une base de données spécifiquement pour les graphiques d'événements ? La base de données de graphiques traditionnelle telle que Neo4j est-elle adaptée au stockage et à la gestion des graphiques d'événements ?

A1 : Il existe une base de données spécifiquement pour les graphiques d'événements. Par exemple, des entreprises telles que Lanzhou Technology et Ant Group créeront également leurs propres bases de données au sein de leur entreprise. Neo4j peut être utilisé pour stocker et gérer des graphiques d'événements. Selon le scénario d'utilisation, Neo4j est plus adapté au stockage et à la gestion dans des scénarios complexes. Si elle est simplifiée en une chaîne d'événements, la représentation des événements peut être plus flexible. Ce que nous faisons est d'extraire les données du texte pour générer une chaîne d'événements comme données de formation pour le modèle. Aucune opération graphique n’est impliquée dans la formation.

Q2 : Comment évaluer l'effet de l'analyse des fluctuations des stocks ?

A2 : Il existe deux manières principales. Dans le processus de construction et d’évaluation de modèles spécifiques, nous nous appuyons davantage sur les informations provenant du marché boursier. Cela peut être compris comme un backtesting dans le trading quantitatif. Nous utilisons des données historiques pour la formation et l'évaluation. L'autre est que dans des scénarios réels, nous utiliserons un jugement manuel, par exemple en prévoyant les fluctuations du cours des actions au cours du mois prochain sur la base de l'actualité de l'entreprise et des indicateurs techniques du volume des actions et des prix des échanges. Nous examinerons spécifiquement si des fluctuations du cours des actions se produiront réellement ce mois-ci. Si des fluctuations se produisent, le type d'événement correspondant, le volume du cours des actions correspondant, les informations sur les prix et d'autres éléments seront analysés pour déterminer s'il existe une forte relation de cause à effet.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!