Pembinaan praktikal dan aplikasi sistem analisis pintar acara dipacu AI

1. Latar Belakang

Dengan aplikasi meluas teknologi baharu seperti maya dan pengkomputeran awan, skala infrastruktur IT dalam pusat data perusahaan telah berkembang dengan pesat. Ini mengakibatkan peningkatan dalam saiz perkakasan dan perisian komputer, serta kegagalan komputer yang kerap. Oleh itu, kakitangan operasi dan penyelenggaraan barisan hadapan amat memerlukan alat operasi dan penyelenggaraan yang lebih profesional dan berkuasa untuk menghadapi cabaran.

Dalam operasi harian dan penyelenggaraan pusat data, sistem pemantauan asas dan sistem pemantauan aplikasi biasanya digunakan untuk membina mekanisme pengesanan kerosakan. Dengan menetapkan ambang pratetap, apabila pelbagai keabnormalan perisian dan perkakasan berlaku, item penunjuk akan melebihi ambang ini, sekali gus mencetuskan penggera. Pakar operasi dimaklumkan dengan segera dan melakukan penyelesaian masalah untuk memastikan operasi stabil pusat data. Mekanisme pemantauan sedemikian boleh mengesan dan menyelesaikan masalah yang berpotensi dalam masa, meningkatkan kebolehpercayaan dan ketersediaan pusat data.

Sistem analisis pintar acara ialah sistem yang direka untuk menyelesaikan peralihan penggera dan menganalisis serta mengendalikannya.

2. Keseluruhan seni bina

1. Seni bina sistem analisis pintar acara

Sistem analisis pintar acara mencipta proses penuh "sistem pengendalian kesalahan pengendalian kesalahan" sistem pengendalian kerosakan sepenuhnya menyepadukan operasi dan penyelenggaraan Pengalaman pakar terkumpul ke dalam model digital Apabila kerosakan berlaku, kerosakan boleh secara automatik "dikenal pasti-dianalisis-dilupuskan", dengan itu memendekkan MTTR (Mean Time To Repair).

Sistem analisis pintar acara memperkenalkan teknologi AI untuk memperkasakan setiap modul sistem Apabila pakar operasi dan penyelenggaraan tidak membuat model kerosakan secara manual, AI akan secara automatik mewujudkan kerosakan untuk penggera, menganalisisnya secara automatik, dan kemudian. menyediakan pelan analisis untuk membantu pakar Operasi dan penyelenggaraan menganalisis kerosakan. Pemerkasaan AI mengurangkan tekanan beban kerja pemodelan pakar operasi dan penyelenggaraan, dan juga menggantikan pengalaman pakar operasi dan penyelenggaraan yang buta.

Berikut ialah gambar rajah seni bina keseluruhan sistem analisis pintar acara:

gambar

Bahagian biru ialah modul berfungsi bagi sistem pintar acara, dan bahagian analisis pintar acara sistem persisian, menyediakan data atau antara muka yang sepadan.

2. Hubungan dengan sistem sekeliling

Platform acara bersatu: Sistem Amaran mengumpul penggera daripada pelbagai sistem pemantauan (pemantauan asas, pemantauan aplikasi dan pemantauan log), dan selepas pengagregatan bersatu, menukarnya menjadi a format bersatu , dihantar ke kafka sistem analisis pintar acara akan membaca semua data penggera daripada sistem kafka.

Platform automasi: Pakar operasi dan penyelenggaraan membuat beberapa orkestrasi dan skrip pada platform automasi terlebih dahulu sebagai kaedah untuk menangani kerosakan Selepas analisis kerosakan menemui punca, tugas pelupusan boleh diatur dan dikeluarkan untuk dilaksanakan oleh. memanggil antara muka platform automasi Akhirnya, Untuk mencapai tujuan pelupusan automatik.

CMDB: Semasa analisis kerosakan, anda boleh menggunakan atribut contoh objek dan perhubungan yang disimpan dalam CMDB untuk mengaitkan kejadian penggera dan kejadian pelupusan secara logik pada masa yang sama, apabila memaparkan beberapa maklumat tentang objek yang mengelilingi objek penggera, anda juga perlu mengaitkan data contoh objek CMDB yang sepadan.

ITSM: Menyediakan data pesanan kerja seperti pesanan perubahan dan pesanan insiden Apabila berlaku kegagalan, data pesanan kerja ini perlu digunakan untuk analisis.

Pengendalian dan penyelenggaraan platform data besar: Platform data besar menyediakan alat pembersihan data untuk membantu platform analisis pintar acara membersihkan data yang diperlukan, dan juga menyediakan sokongan teknikal untuk penyimpanan data besar-besaran adalah data yang diperlukan; analisis pintar acara Ia juga menyediakan data analisis untuk analisis AI seterusnya, termasuk data objek CMDB, data pesanan kerja ITSM, data penunjuk sistem pemantauan dan data penggera, dsb.

3. Penjelasan terperinci tentang fungsi

1. Pengenalpastian kerosakan

Fungsi utama pengenalpastian kerosakan adalah untuk menukar model kerosakan, yang boleh mentakrifkan kerosakan masa yang sama, takrifan model kerosakan juga Satu pengelasan mudah kesalahan, seperti kesalahan penggunaan CPU yang tinggi, kesalahan penggunaan memori yang tinggi, kesalahan penggunaan cakera yang tinggi, kerosakan kelewatan rangkaian, dan lain-lain. Secara ringkasnya, penggera yang mana boleh menjadi satu. kesalahan, penggera dan kerosakan Hubungan kuantitatif boleh menjadi sama ada 1:1 atau n:1 hanya apabila kesalahan tertentu berlaku, analisis dan pelupusan seterusnya dapat dipermudahkan.

Alarm Formatting:

Standardkan penggera yang diterima dari platform acara bersatu, dan memproses format yang diperlukan oleh sistem pemprosesan acara pintar. .

Definisi model kesalahan:

Takrifan model senario kerosakan terutamanya merangkumi maklumat asas, peraturan kesalahan dan fungsi membuat keputusan analisis adalah seperti berikut:

1) Maklumat asas. , objek kepunyaan, kesalahan Maklumat seperti jenis dan keterangan kesalahan

2) Peraturan kesalahan boleh dibahagikan kepada kategori berikut:

• Menetapkan peraturan kata kunci untuk pemadanan penggera: medan seperti ringkasan dan tahap dalam medan json penggera boleh ditetapkan sebagai syarat, dan berbilang peraturan boleh ditetapkan secara logik (DAN atau BUKAN peraturan)
• Peraturan masa); : termasuk pelaksanaan segera (kejadian kesalahan dijana serta-merta selepas menerima penggera), menunggu tetingkap masa tetap (penggera dalam tempoh masa selepas penggera awal mula memaksa pengagregatan kejadian kesalahan), dan menunggu tetingkap masa gelongsor ( selepas penggera terakhir dimulakan) Penggera dalam tempoh masa dipaksa untuk mengagregatkan kejadian kerosakan); diagregatkan menjadi satu contoh kesalahan.

3) Kaitkan pokok keputusan analisis yang ditentukan untuk menentukan pelan analisis.

2. Analisis kesalahan

Analisis kesalahan adalah untuk menganalisis dan memaparkan kerosakan dari pelbagai aspek seperti paparan data yang berkaitan, paparan data topologi, pepohon keputusan analisis dan pengambilan semula pangkalan pengetahuan, menyediakan sokongan data untuk operasi dan penyelenggaraan pakar , membantu mereka mencari punca kerosakan dengan cepat dan menangani kerosakan tersebut. Pohon keputusan analisis boleh dikaitkan dengan pelupusan.

Paparan maklumat berkaitan:

1) Analisis penggera: Data penggera dalam 48 jam terakhir untuk subsistem fizikal yang sepadan dengan objek penggera dan objek perisian dan perkakasan lain yang dikaitkan dengan unit penempatan; analisis: Data penunjuk subsistem fizikal yang sepadan dengan objek penggera dan objek perisian dan perkakasan lain yang dikaitkan dengan unit penggunaan dalam masa 2 jam sebelum kegagalan

3) Analisis perubahan: Tukar rekod pesanan kerja sistem yang sepadan dengan objek penggera dalam 48 jam terakhir, Jalankan analisis perubahan;

4) Analisis log: menganalisis log aplikasi dan log sistem bagi laluan tertentu bagi objek penggera dan objek di sekelilingnya, dan memaparkannya

5) Analisis pautan: Dengan kod transaksi sebagai teras, objek penggera Menganalisis dan memaparkan data pautan huluan dan hiliran kod transaksi yang terlibat

Paparan struktur topologi:

Mengambil subsistem fizikal sebagai dimensi, objek operasi dan penyelenggaraan yang terlibat; dalam keseluruhan sistem disusun ke dalam topologi pokok Struktur dipaparkan, dan nod dengan penggera ditanda merah untuk memberi amaran kepada pakar operasi dan penyelenggaraan.

Contoh khusus adalah seperti berikut:

Gambar

Pepohon keputusan analisis,

, perhubungan dan log pada CM s, dsb. Bersepadu ke dalam pokok keputusan analisis boleh diedit tersuai.

Pakar operasi dan penyelenggaraan boleh pratetapkan susunan dan kriteria pertimbangan untuk menganalisis data, dan mencetuskan pengalaman operasi dan penyelenggaraan ke dalam pepohon keputusan analisis dalam bentuk model digital Apabila kegagalan berlaku, platform akan menggunakan pratetap pokok keputusan analisis Menganalisis dan menilai data yang berkaitan, dan akhirnya memberikan keputusan.

Nod daun akhir pepohon keputusan analisis boleh dikaitkan dengan pelupusan, memastikan operasi automatik bagi keseluruhan kitaran hayat "pengenalpastian-analisis-pelupusan" kerosakan.

Contoh khusus adalah seperti berikut:

Gambar

Pencarian asas pengetahuan:

Pusat data membina operasi platform data yang besar berdasarkan sistem pangkalan data dan penyelenggaraan yang besar. pelan, Data teks seperti rekod keseluruhan proses pemprosesan tiket insiden dan ringkasan pengalaman pakar operasi dan penyelenggaraan.

Apabila kesalahan berlaku, kata kunci kesalahan akan digunakan untuk mencari pangkalan pengetahuan (padanan rentetan), dan pengetahuan teks yang sepadan akan dikembalikan sebagai pengalaman pakar. Dalam bab tentang pemerkasaan AI, kita akan bercakap tentang menggunakan analisis teks untuk carian berkaitan, bukan hanya padanan rentetan mudah.

3. Pengendalian kerosakan

Pengendalian kerosakan terutamanya dikendalikan mengikut model pelupusan yang telah ditetapkan, yang terutamanya termasuk membuat keputusan pelupusan dan operasi pelupusan, dan perlu bergantung pada platform orkestrasi dan pelaksanaan tugas pelupusan.

1) Orkestrasi pelupusan: Orkestrasi pelupusan ialah gabungan organik dari siri operasi pelupusan, kerana sesetengah pelupusan memerlukan objek operasi dan penyelenggaraan diasingkan dan kemudian dimulakan semula skrip operasi pelupusan disunting supaya beberapa skrip operasi diproses mengikut yang ditetapkan Pesanan dihantar ke mesin contoh tertentu dan dilaksanakan

2) Operasi pelupusan: Bungkus skrip (shell, python) supaya ia boleh dilaksanakan pada mesin contoh atau dipanggil oleh orkestrasi pembuangan; dimendakan secara digital ke dalam model.

Selepas pengendalian kerosakan selesai, rekod pengendalian yang berkaitan akan direkodkan mengikut proses untuk semakan dan analisis seterusnya.

4. Pemerkasaan AI

Pemerkasaan AI adalah untuk meminimumkan beban kerja konfigurasi manual dan mengurangkan tekanan kerja pakar operasi dan penyelenggaraan dalam keseluruhan proses "pengenalan-analisis-pelupusan" kerosakan. Ia juga boleh menggantikan bahagian yang tidak boleh dilindungi oleh pengalaman pakar operasi dan penyelenggaraan, dan boleh Fasa permulaan meliputi 100% jenis penggera yang telah berlaku dalam sejarah prinsip keseluruhannya adalah menggunakan pengiraan AI untuk membina model kesalahan dan pelan analisis dalam bidang pengenalpastian dan analisis kerosakan melalui pemodelan automatik; , pengagregatan automatik, analisis automatik, dsb. Berikan rujukan kepada pakar operasi dan penyelenggaraan, tetapi pastikan pertimbangan dan kawalan muktamad dibuat oleh pakar operasi dan penyelenggaraan, memastikan bahawa algoritma melakukan 99% kerja, dan semakan manual memastikan yang terakhir 1% daripada kerja.

1. Pemodelan automatik

Mengingat takrif model kerosakan dalam Bab 3-1, kami mendapati bahawa selagi peraturan penggera, peraturan masa dan peraturan spatial ditentukan, dan pokok keputusan analisis adalah ditentukan, model kesalahan boleh diwujudkan, manakala peraturan masa dan peraturan spatial boleh lalai kepada pelaksanaan segera yang paling biasa dan mesin yang sama, pokok keputusan analisis boleh menggunakan pemeriksaan kesihatan yang paling biasa.

Jadi untuk mewujudkan model kerosakan dan membina model untuk jenis kerosakan yang sama, masalah teras adalah untuk mengklasifikasikan kerosakan melalui kandungan penggera, dan kami menggunakan kata kunci kandungan penggera untuk menentukan klasifikasi, dan kemudian mewujudkan jenis model kesalahan tertentu. Kemudian masalah pemodelan automatik dikurangkan kepada mencari kata kunci untuk penggera dan mewujudkan model kerosakan berdasarkannya.

Rajah logik keseluruhan adalah seperti berikut:

Pictures

Input penggera sejarah dan penggera masa nyata ke dalam model kesalahan satu demi satu. , tamatkan artikel ini Pemprosesan penggera; jika tiada model kerosakan yang sepadan, kata kunci kandungan penggera dikira melalui algoritma, dan model kerosakan dibina berdasarkan kata kunci, dan kemudian model kerosakan yang baru dibina ditambah kepada kerosakan. senarai model.

Pakar operasi dan penyelenggaraan boleh membuat generalisasi model kerosakan dan meletakkannya dalam talian melalui pengesahan manual.

Kaedah pemodelan automatik ini mempunyai kelebihan berikut:

1) Ia boleh memproses penggera dalam masa nyata, menjalankan pemodelan kesalahan dalam masa nyata dan mengemas kini model dengan cepat

2) Pemodelan tidak bergantung pada Berdasarkan pengalaman pakar operasi dan penyelenggaraan, pemodelan boleh dilakukan secara terus melalui kandungan penggera

3) Ia boleh merangkumi semua penggera sejarah dan bertindak balas kepada penggera baharu dalam masa nyata

4) Tidak perlu untuk operasi dan penyelenggaraan pakar untuk melaksanakan sejumlah besar kerja penetapan model, menjimatkan tenaga kerja ; , tetapi mempunyai kebarangkalian rendah untuk muncul dalam dokumen besar-besaran, menjadi Semakin besar kebarangkalian kata kunci, hasil pemprosesan sebahagian memori penggera adalah seperti berikut:

Gambar

Menggunakan algoritma di atas dan menggunakan sebahagian daripada kandungan penggera untuk pengiraan, kesan data yang diperoleh adalah seperti berikut:

Gambar

Gambar

.

kegagalan pengelompokan automatik.🜎

Sejak Google dikeluarkan BERT (Perwakilan Pengekod Dua Arah daripada Transformers), ia telah mendahului kedudukan dalam pelbagai tugasan teks dan mencapai kesan yang Sangat baik, jadi gunakannya untuk mengira persamaan teks, terutamanya untuk mengira persamaan antara kandungan penggera dan penerangan kesalahan.

Sekarang bina algoritma pengelompokan kami, rajah proses khusus adalah seperti berikut:

Gambar

Langkah-langkah khusus adalah seperti berikut: secara manual, anda boleh tetapkan seperti berikut:

) penerangan kesalahan sebagai kesalahan Arah berlabuh pengelompokan; langkah ini tidak perlu, jika tidak, langkau terus

2) Bersihkan maklumat penggera dan keluarkan beberapa aksara yang tidak berguna

3) Gunakan model BERT untuk menganalisis teks ringkasan penggera Laksanakan pengiraan persamaan teks pada kandungan dan maklumat semua kluster kesalahan untuk mendapatkan hasil yang serupa (tentukan sama ada ia serupa dengan menilai sama ada ia melebihi ambang

4) Jika ia serupa, maka penggera ini tergolong; kepada kluster kerosakan ini ;

7) Dari Langkah 2 kemudian memproses data penggera seterusnya.

Algoritma ini boleh mengaitkan penggera kepada jenis kerosakan yang berbeza.

Kelebihan algoritma ini adalah seperti berikut:

1) Pengelasan kerosakan automatik tanpa pengawasan melalui data penggera sejarah dan masa nyata, tanpa perlu membina model kerosakan, menjimatkan tenaga manusia

2) Untuk penggera masa nyata , pengelompokan kesalahan Proses memastikan kemas kini dalam talian masa nyata tanpa memerlukan pengiraan biasa dan kemas kini model

3) Penggera dijana secara automatik atau dikaitkan dengan kerosakan, yang boleh dikaitkan lagi dengan pelan kecemasan yang sepadan untuk mendapatkan pelan analisis kesalahan dan pelupusan; kaedah.

3 Menjana pelan analisis secara automatik

Semak Bab 3-2 Analisis Kerosakan terutamanya memfokuskan pada memaparkan maklumat nod kerosakan dan nod sekeliling, dan menyediakan pepohon keputusan analisis. Ia juga memerlukan lebih banyak tetapan manual.

Selepas pemerkasaan AI, pertimbangkan untuk menggunakan pelan kecemasan, butiran penggera dan paparan maklumat dalam analisis kerosakan sebagai gesaan (gesaan) dan gunakan model bahasa besar sedia ada dengan hasil yang sangat baik untuk menyediakan penyelesaian analisis kesalahan secara automatik.

Memandangkan isu penempatan yang diswastakan, model bahasa yang besar boleh mempertimbangkan ChatGLM2, llama2, dsb. Dalam peringkat pelaksanaan khusus, model bahasa besar yang berbeza boleh dipilih mengikut keperluan dan tahap perkakasan Dalam penerangan penyelesaian artikel ini. LLM digunakan secara seragam untuk mewakili bahasa yang besar, pembaca sila beri perhatian kepada perbezaan.

Rajah proses utama adalah seperti berikut:

Gambar

Selepas pengecaman kerosakan sebenar, data kecemasan yang berkaitan diperolehi dan data kecemasan yang berkaitan diperolehi dalam masa nyata untuk membentuk gabungan segera dan gesaan gesaan Tujuan perkataan tersebut adalah untuk mendapatkan kesan keluaran yang lebih baik apabila mengemukakan soalan tentang model bahasa besar LLM.

Pada masa yang sama, pelan kecemasan dan data penggera sejarah disimpan dalam pangkalan data vektor faiss dalam kelompok Jumlah teks dalam setiap kelompok tidak melebihi had token LLM apabila gabungan perkataan gesaan model bahasa yang besar, ia akan Prompt menggabungkan kata-kata gesaan untuk menanyakan pangkalan data vektor faiss untuk mendapatkan teks dengan vektor yang paling serupa dengan pertanyaan LLM dengan teks ini yang tidak melebihi had panjang token, dan hasil yang dikembalikan ialah analisis kesalahan pelan (dalam bentuk teks).

Sila rujuk gambar di bawah untuk kesan khusus:

Pictures

4. semua sistem dan Langkah-langkah analisis dan pengendalian untuk kerosakan yang sepadan dengan semua objek operasi dan penyelenggaraan adalah data teks yang sangat baik untuk bergantung kepada kandungan pelan kecemasan akan digunakan di banyak tempat dalam sistem ini. Oleh itu, adalah perlu untuk menyediakan keupayaan mendapatkan semula untuk pelan kecemasan, dan sistem pangkalan pengetahuan boleh digunakan sebagai pangkalan mendapatkan semula untuk pelan kecemasan.

boleh menyediakan perolehan teks melalui pemadanan rentetan, perolehan kata kunci selepas analisis teks, dan perolehan persamaan vektor peringkat semantik sama ada dengan mendapatkan pelan kecemasan sepadan yang diperlukan oleh sistem.

Beberapa kaedah carian di atas boleh diproses menggunakan cara teknikal yang dinyatakan di atas, dan tidak akan diterangkan lagi di sini.

5. Kesimpulan

Sistem analisis pintar acara adalah untuk membantu pakar operasi dan penyelenggaraan mengendalikan dan menyelenggara setiap sistem Oleh itu, ia menyediakan satu siri kaedah pemodelan supaya pakar operasi dan penyelenggaraan boleh mencetuskan pengalaman operasi dan penyelenggaraan ke dalam model Digital; apabila jumlah data (data sampel kesalahan dan data berkaitan operasi dan penyelenggaraan) menjadi lebih besar dan lebih besar, penggunaan beberapa algoritma AI boleh mengurangkan beban kerja pakar operasi dan penyelenggaraan serta membantu pakar operasi dan penyelenggaraan dalam membuat analisis dan keputusan; akhirnya, adalah diharapkan bahawa tiada operasi akan diperlukan.

Atas ialah kandungan terperinci Pembinaan praktikal dan aplikasi sistem analisis pintar acara dipacu AI. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!