php - Bagaimana untuk menyelesaikan kehilangan data apabila logstash menulis data ke elasticsearch

Question

Terdapat lebih daripada 600 keping data dalam log saya, tetapi hanya lebih daripada 300 keping ditulis ke elasticsearch
Adakah sesiapa tahu sebabnya?
Ini ialah konfigurasi
masukan saya {

file {
    path => ["／usr/local/20170730.log"]
    type => "log_test_events"
    tags => ["log_tes_events"]
    start_position => "beginning"
    sincedb_path => "/data/logstash/sincedb/test.sincedb"
    codec => "json"
    close_older => "86400"
    #1 day
    ignore_older => "86400"
}
beats{port => 5044}

}
tapis {

urldecode {
    all_fields => true
}

}

keluaran{

   elasticsearch {
      hosts  => "localhost:9200"
      index  => "logstash_%{event_date}"
}

stdout { codec => json }
}

Answer 1

Sebab apabila membaca log, templat es secara automatik mencipta jenis data berdasarkan format data Contohnya, nilai medan a ialah int dan rentetan indeks pertama yang dia cipta membaca nombor, iaitu indeks jenis int

Ubah suai konfigurasi dan lakukan pemetaan
output {

      elasticsearch {
        hosts  => "localhost:9200"
        index  => "test1"
        manage_template => true
        template_overwrite => true
        template => "/usr/local/logstash/templates/stat_day.json"
     }
     

stat_day.json format templat

     {

"pesanan" : 1,
"template" : "test1",
"pemetaan" : {

 "log_test": {
      "properties" : {
            "event_id": { "type": "string"}
       }
  }

}
}