Intégration de PHP et traitement des flux de données

Avec l'amélioration continue des exigences en matière de traitement des données et la vulgarisation des applications Big Data, la technologie de traitement des flux de données a été largement utilisée ces dernières années. L'objectif de la technologie de traitement des flux de données est de traiter les données en temps réel dans le flux de données et de générer simultanément de nouveaux résultats de flux de données pendant le processus de traitement. PHP est un langage de programmation Web très populaire qui prend en charge le traitement des données et, après la version PHP7.0, il a introduit de nouvelles fonctionnalités pour répondre aux besoins du traitement des flux de données, telles que le générateur, la fermeture, les indices de type, etc. Cet article présentera comment PHP est intégré à la technologie de traitement des flux de données.

1. Qu'est-ce que le traitement des flux de données ?

En bref, le traitement des flux de données est une technologie de traitement des flux de données. Contrairement au traitement par lots, il peut traiter des données continues provenant de plusieurs sources. Les résultats du traitement du flux de données peuvent être envoyés directement aux nœuds de traitement en aval ou conservés sur des périphériques de stockage.

2. Comment PHP implémente-t-il le traitement des flux de données ?

Dans les versions précédentes, PHP ne pouvait pas exploiter directement les données de flux et les développeurs ne pouvaient opérer que via des bibliothèques dans d'autres langages. Cependant, après la version PHP7.0, PHP a introduit le générateur, la fermeture et d'autres fonctionnalités, permettant à PHP de prendre en charge le traitement des flux de données.

1. Generator

Generator est l'une des nouvelles fonctionnalités de PHP. Il peut fournir une méthode plus flexible pour générer des itérateurs. La fonction Generator peut combiner la logique de traitement et les fonctions d'itérateur pour générer un flux de données. Considérons l'exemple suivant :

function dataGenerator($n){
    for($i=0;$i<$n;$i++){
        yield $i;
    }
}

$data = dataGenerator(10);
foreach($data as $entry){
    echo $entry.PHP_EOL;
}

Grâce au code ci-dessus, nous pouvons voir que la séquence de points de données générée par la fonction dataGenerator peut être traitée comme un flux de données. L'avantage d'utiliser la fonction Générateur pour exploiter des flux de données est qu'elle peut optimiser l'utilisation de la mémoire et réduire la surcharge de mémoire lors du traitement des ensembles de données.

2. Closure

Closure est une autre nouvelle fonctionnalité de PHP. Il s'agit d'une fonction anonyme qui peut capturer des variables définies dans la portée externe, puis utiliser ces variables pendant le processus d'exécution réel. Closure est généralement utilisé avec Generator pour traiter les flux de données.

Considérez l'exemple suivant :

$data = [1, 2, 3, 4];

$mapper = function($value){
    return $value * $value;
};

$closure = function($data,$mapper){
    foreach($data as $entry) {
        yield $mapper($entry);
    }
};

$stream = $closure($data,$mapper);
foreach($stream as $entry){
    echo $entry.PHP_EOL;
}

Le code ci-dessus utilise Closure pour implémenter un flux de données, mettre au carré la valeur dans la source de données $data et la renvoyer. La fermeture fournit un mécanisme puissant pour traiter une fonction comme un objet et faciliter sa transmission entre les flux de données.

3. Framework de traitement des flux de données

Bien que PHP 7.0 puisse déjà prendre en charge le traitement des flux de données, afin de traiter les flux de données plus facilement, vous pouvez utiliser un framework de traitement de flux de données tiers. Ci-dessous, nous présenterons deux frameworks classiques de traitement de flux de données en PHP.

1. ReactPHP

ReactPHP est un framework de programmation basé sur les événements qui peut être utilisé pour créer des applications asynchrones hautes performances, prenant en charge les applications Web, les serveurs HTTP et les serveurs Socket. ReactPHP est basé sur un modèle de boucle d'événements à thread unique, traitant plusieurs requêtes parallèles et générant des données en streaming en répondant aux événements.

Le code pour utiliser ReactPHP pour implémenter le traitement du flux de données est le suivant :

$stream = new ReactStreamReadableResourceStream(
    fopen(__DIR__ . '/../fixture/lorem-ipsum.txt', 'r'),
    $loop
);

$stream->on('data', function($data) use ($output) {
    $output->write($data);
    echo $data;
});

Dans le code ci-dessus, nous utilisons le mécanisme de boucle d'événements de ReactPHP pour créer un flux de données. Dans la boucle d'événements, $stream lit les données et déclenche en permanence des fonctions de rappel pour gérer l'afflux de données.

2. Fractal

Fractal est une bibliothèque qui implémente le traitement des flux de données en PHP. Cette bibliothèque est principalement utilisée pour formater et transformer des données. Nous pouvons utiliser Fractal pour créer des flux de données dans plusieurs hiérarchies.

Fractal est souvent utilisé pour gérer les deux situations suivantes qui nécessitent une plus grande prise en charge du traitement des flux de données :

(1) Lorsque vous souhaitez construire un format de réponse spécifique étape par étape, Fractal peut être traité comme code par défaut, mais qui données groupées Ou incluez les propriétés qui seront très différentes ;

(2) Lorsque vos couches de données se trouvent sur des adresses physiques différentes, la fusion de ces flux de données offre des performances de concurrence plus élevées, de cette manière, plusieurs données peuvent être traitées en flux avec à la fois complexité et flexibilité.

Exemple :

$books = [
    [
        "id" => 1,
        "title" => 'A Game of Thrones',
        "author_name" => 'George R. R. Martin',
        "currency" => 'USD',
        "price" => 19.99
    ]
];
$manager = new LeagueFractalManager();
$resource = new LeagueFractalResourceCollection($books, function ($book) {
    return [
        'id' => (int) $book['id'],
        'title' => $book['title'],
        'author' => [
            "name" => $book['author_name'],
        ],
        'price' => [
            'currency' => $book['currency'],
            'amount' => $book['price']
        ]
    ];
});

$manager->setSerializer(new LeagueFractalSerializerJsonApiSerializer());
$json = $manager->createData($resource)->toJson();
echo $json.PHP_EOL;

Dans le code ci-dessus, nous utilisons le gestionnaire et la collection de Fractal pour implémenter le traitement des flux de données. Manager est utilisé pour gérer les détails de sérialisation des données et Collection est utilisé pour créer le format de transmission. Ici, nous utilisons JsonApiSerializer comme outil de sérialisation pour générer un flux de données au format JSON.

4. Conclusion

L'innovation et la vulgarisation de la technologie des flux de données revêtent une grande importance pour le développement futur du domaine du traitement des données. Cet article présente principalement la méthode d'utilisation de la technologie de traitement des flux de données en PHP, y compris les nouvelles fonctionnalités de PHP7.0, l'utilisation de Closure et Generator et l'application pratique de frameworks de traitement de flux de données tels que Fractal et ReactPHP. Avec l’évolution continue des applications Big Data, on pense que la technologie de traitement des flux de données sera plus largement utilisée à l’avenir.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!