Partage de code implémenté en Python pour un script qui vide la base de données IP innocente

Nous avons souvent besoin d'utiliser les données de la base de données Innocence IP pour l'analyse au travail. L'article suivant présente principalement comment utiliser Python pour implémenter un dump de la base de données Innocence IP. Il est utile à tout le monde. . Il a une certaine valeur de référence et d’apprentissage. Les amis qui en ont besoin peuvent y jeter un œil ci-dessous.

Avant-propos

J'ai déjà écrit de nombreux articles sur l'analyse des scripts, mais je n'ai jamais écrit sur l'endroit où j'ai obtenu mon segment IP d'analyse. viennent souvent poser des questions sur leur expérience de numérisation. Pour être honnête, je pense que cet outil n'a pas de contenu technique réel, mais il peut améliorer l'efficacité du travail, je le partagerai donc avec tout le monde ~

En ce qui concerne l'expérience de numérisation. , I Les individus choisissent généralement différents types de segments pour différents appareils et applications.

Par exemple, la cible que je scanne est un modem optique de télécommunication. Naturellement, je choisis le segment IP de China Telecom. Les modems optiques sont généralement des utilisateurs domestiques. Nous filtrons les segments IP actifs des utilisateurs domestiques. peut les cibler le sexe.

Pour un autre exemple, si je souhaite maintenant analyser un périphérique de routage d'entreprise, je peux alors choisir un segment avec de nombreuses entreprises.

Innocent IP est vraiment un bon outil. Je l'utilise habituellement pour rechercher des segments IP dans une certaine région. Cependant, cet outil a un défaut très fatal, c'est-à-dire qu'il ne peut pas requête conjointe, ce qui rend C'est très ennuyeux, et chaque fois que j'utilise ce truc, je dois changer pour gagner. Pour une personne Linux comme moi, c'est naturellement intolérable, alors j'ai simplement écrit un moyen de transférer les innocents. IP vers le script Base de données MySQL , vous n'avez donc pas besoin d'aller gagner à chaque fois que vous interrogez, et vous pouvez également le déployer directement sur la télécommande. La chose la plus importante est. pour prendre en charge les requêtes multi-conditions.

Exigences

L'écriture de ce script en Python n'est pas techniquement difficile Il utilise principalement la bibliothèque MySQLdb Concernant l'installation

du. Bibliothèque MySQLdb Je n'en dirai pas beaucoup plus, j'ai déjà écrit des articles sur ce sujet sur mon blog. Ici, nous devons d'abord analyser la structure des fichiers de données de la base de données Innocence IP et constater que la structure de chaque ligne est en fait fixe, elle est donc simple à écrire.

Je n'entrerai pas dans les détails du codage. Cela peut être facilement réalisé avec quelques méthodes simples

#!/usr/bin/env python
# coding=utf-8
# kbdancer@92ez.com

import MySQLdb
import sys

reload(sys)
sys.setdefaultencoding('utf8')


def save_data_to_mysql(mysql_object, ip_line):
 try:
  begin = ip_line[0:16].replace(' ', '')
  end = ip_line[16:32].replace(' ', '')
  try:
   location = line[32:].split(' ')[0]
  except:
   location = ''
  try:
   isp_type = line[32:].replace(' ', ' ').split(' ')[1].replace('\n', '').replace('\r', '')
  except:
   isp_type = ''

  this_line_value = [begin + "-" + end, location, isp_type]
  do_insert(mysql_object, this_line_value)
 except Exception, e:
  print e


def do_insert(mysql_object, row_data):
 try:
  insert_sql = """INSERT INTO `ipdb` (`iprange`,`location`, `type`) VALUES ( %s, %s, %s )"""
  mysql_object.insert(insert_sql, row_data)
 except Exception, e:
  print row_data
  print e


class Database:
 host = 'localhost'
 user = 'ipdb'
 password = '3u9whrpcEUBTnNNn'
 db = 'ipinfo'
 charset = 'utf8'

 def init(self):
  self.connection = MySQLdb.connect(self.host, self.user, self.password, self.db, charset=self.charset)
  self.cursor = self.connection.cursor()

 def insert(self, query, params):
  try:
   self.cursor.execute(query, params)
   self.connection.commit()
  except Exception, e:
   print e
   self.connection.rollback()

 def query(self, query, params):
  cursor = self.connection.cursor(MySQLdb.cursors.DictCursor)
  cursor.execute(query, params)
  return cursor.fetchall()

 def del(self):
  self.connection.close()


if name == 'main':
 mysql = Database()
 ip_file = open(sys.path[0] + "/ip.txt")
 print 'Start save to mysql ...'
 for line in ip_file:
  save_data_to_mysql(mysql, line)
 ip_file.close()
 print 'Save complete.'

Remarque<.> Il y a un problème de performances ici, c'est-à-dire que lors du parcours de toutes les données, vous devez effectuer l'opération de

insertion de données dans la

bibliothèque L'efficacité de l'insertion d'une seule ligne. est très faible. Il est recommandé d'utiliser l'insertion sur plusieurs lignes, comme l'écriture de CacheArray Lorsque le tableau de cache atteint le nombre d'éléments spécifié, par exemple lorsqu'il atteint 100. éléments, 100 éléments seront stockés dans la base de données à la fois. Cette vitesse est plus rapide que le stockage d'un seul élément. Blogger, je vais creuser un trou ici. J'espère que les amis qui utilisent des scripts pourront le modifier eux-mêmes. Étant donné que le fichier txt exporté depuis la base de données Innocence IP n'est pas un encodage UTF8 standard sans nomenclature, l'analyse directe échouera définitivement. Il est recommandé d'utiliser Notepad++ pour le transcoder en premier

.

effet Données originales

Données après transfert

Pour utiliser , vous devez d'abord exporter la base de données IP innocente sous forme de document txt. Ici, je l'exporte sous forme ip.txt.

Ensuite, mettez-le dans le même répertoire du script Py

D'ailleurs, vous devez d'abord avoir une base de données mysql

et puis

importez la structure

de la base de données, qui est le fichier sql
Ensuite il faut modifier le mot de passe de connexion mysql dans le script, etc.

Enfin, exécutez simplement le script Py

Explication

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!