php - Comment résoudre la perte de données lorsque Logstash écrit des données sur ElasticSearch

Question

Il y a plus de 600 éléments de données dans mon journal, mais seulement plus de 300 éléments sont écrits dans elasticsearch
Quelqu'un en connaît-il la raison ?
Voici ma configuration
entrée {

file {
    path => ["／usr/local/20170730.log"]
    type => "log_test_events"
    tags => ["log_tes_events"]
    start_position => "beginning"
    sincedb_path => "/data/logstash/sincedb/test.sincedb"
    codec => "json"
    close_older => "86400"
    #1 day
    ignore_older => "86400"
}
beats{port => 5044}

}
filtre {

urldecode {
    all_fields => true
}

}

sortie{

   elasticsearch {
      hosts  => "localhost:9200"
      index  => "logstash_%{event_date}"
}

stdout { codec => json }
}

Answer 1

Parce que lors de la lecture des journaux, le modèle es crée automatiquement des types de données en fonction du format des données. Par exemple, la valeur du champ a est un int et une chaîne. Le premier index qu'il crée lit un nombre, qui est l'index de type int

.

Modifier la configuration et effectuer le mappage
sortie {

      elasticsearch {
        hosts  => "localhost:9200"
        index  => "test1"
        manage_template => true
        template_overwrite => true
        template => "/usr/local/logstash/templates/stat_day.json"
     }
     

format de modèle stat_day.json

     {

"order" : 1,
"template" : "test1",
"mappings" : {

 "log_test": {
      "properties" : {
            "event_id": { "type": "string"}
       }
  }

}
}