海量日记入库

Jun 13, 2016 am 11:46 AM
array file log mysql nbsp

海量日志入库
日志目录下有10个日志文件,每个文件压缩后大约60M左右,文件后缀是.gz,如a.gz、b.gz等,文件中行的内容是id=2112112,[email protected],等等其它,
id=2112112,[email protected],等等其它,
id=2112112,[email protected],等等其它,
id=2112112,[email protected],等等其它,
id=2112112,[email protected],等等其它,
id=2112112,[email protected],等等其它,
id=2112112,[email protected],等等其它,

现在是想把这个目录下的每个文件的所有内容insert到数据库中,数据库中的表,是通过email分表的,大约是log_1,log_2,一直到log_1000的分表的,请问下详细的解决方案,比如说怎么样能保证到每个文件在很快的时间内入库,使得脚本执行更有效率
先贴一段代码

<br />	<?php<br />		error_reporting(E_ALL & ~E_NOTICE);<br />		//接收参数<br />		$mysql_host  = XX.XX.XX.XX;<br />		$mysql_user  = XXX;<br />		$mysql_pass  = XX;<br />		$mysql_port  = 3306;<br />		$mysql_db    = 'test';		<br />		$table_pre   = 'log_';<br />		$gz_log_file = a.gz;<br />		//脚本执行日志<br />		$exec_log = '/data_log/record.txt';	<br />	    file_put_contents ($exec_log,'*****************************************START***********************************'."\r\n",FILE_APPEND );<br />		file_put_contents ($exec_log,'param is mysql_host='.$mysql_host.' mysql_user='.$mysql_user.' mysql_pass='.$mysql_pass.' mysql_port='.$mysql_port.' mysql_db='.$mysql_db.' table_pre='.$table_pre.' gz_log_file='.$gz_log_file.' start_time='.date("Y-m-d H:i:s")."\r\n",FILE_APPEND );		<br />		//读日志入库		 <br />		$z_handle = gzopen($gz_log_file,'r');<br />		$time_start = microtime_float();<br />		$mysql_value_ary = array();<br />		//链接数据库<br />		$conn = mysql_connect("$mysql_host:$mysql_port",$mysql_user,$mysql_pass);<br />		if (!$conn) {<br />			file_put_contents ($exec_log,'Could not connect database error, error='.mysql_error()."\r\n",FILE_APPEND );	<br />			exit;<br />		}<br />		$selec_db = mysql_select_db($mysql_db);<br />		if(!$selec_db){<br />			file_put_contents ($exec_log,'select database error, database='.$mysql_db."\r\n",FILE_APPEND );	<br />			exit;<br />		}<br />		while(!gzeof($z_handle)){<br />			$each_gz_line = gzgets($z_handle, 4096);<br />			$line_to_array = explode("\t",$each_gz_line);<br />			//过滤无效日志<br />			if(!empty($line_to_array[3]) && !empty($line_to_array[2]) && !empty($line_to_array[4])){<br />				$insert_value = "('".$line_to_array[3]."','".$line_to_array[2]."','".$line_to_array[1]."','".$line_to_array[4]."','".$line_to_array[0]."') ";<br />				$insert_sql = "insert into $table_name (uid,email,ip,ctime) values $insert_value ";<br />				$table_id = abs(crc32($line_to_array[2]) % 1000);<br />				$table_name = $table_pre.$table_id;<br />				$result = mysql_query($insert_sql); <br />				if(!$result){<br />					//如果插入错误,则记录日志<br />					file_put_contents ($exec_log,'table_name='.$table_name.' email='.$line_to_array[2]."\r\n",FILE_APPEND );	<br />				}<br />			}<br />		}<br />		$time_end = microtime_float();<br />		$diff = $time_end - $time_start;<br />		file_put_contents ($exec_log,'success to insert database,log_file is '.$gz_log_file.' time-consuming is='.$diff."s \r\n",FILE_APPEND );<br />		file_put_contents ($exec_log,'*******************************************END***********************************'."\r\n",FILE_APPEND );<br />		gzclose($z_handle);	<br />
Copier après la connexion

上面的代码执行起来,很慢,不可忍受,请大牛帮忙
------解决方案--------------------
表类型修改为:InnoDB,然后用事务实施,
还不行的话,换load file
------解决方案--------------------
对于innodb,开事物应该不会更慢,因为就算不开,每一条语句也都是一个事物,所以如果是只开启一个事物,最后commit一次,应该会比每条语句都begin一下,commit一下要快的(但我记得开了事物也不会快多少);但myisam在只有一个插入线程执行,并且表内总数据量比较小的场合下,肯定比innodb要快的,尤其是只有60M数据的环境下

load data infile 绝对会快很多,但你文件得先转换成另一个"xxx \t xxx"的形式,然后再load data infile,应该比一条条插入能快几倍
------解决方案--------------------
load data吧,load进去以后比对一下条数,别搞什么事务。出错几率很低的,即使出错了,删除以后重新导入也快。PS,这数据不叫海量数据。
------解决方案--------------------
不知道为什么要放在数据库中
按你的描述,数据文件展开后,每个在 60*20M左右,甚至更高
你一条一条的插入,不慢才怪呢
------解决方案--------------------
历史数据入库,只是一次性工作。无所谓“效率”
你可以直接将文件导入 text 字段后,再由 update 指令拆分

如果不打算修改日志处理方式,那么将日志增量追加入库也只是一个定期工作(周期至少大于等于1天)
同样也没效率的概念

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

MySQL: Concepts simples pour l'apprentissage facile MySQL: Concepts simples pour l'apprentissage facile Apr 10, 2025 am 09:29 AM

MySQL est un système de gestion de base de données relationnel open source. 1) Créez une base de données et des tables: utilisez les commandes CreateDatabase et CreateTable. 2) Opérations de base: insérer, mettre à jour, supprimer et sélectionner. 3) Opérations avancées: jointure, sous-requête et traitement des transactions. 4) Compétences de débogage: vérifiez la syntaxe, le type de données et les autorisations. 5) Suggestions d'optimisation: utilisez des index, évitez de sélectionner * et utilisez les transactions.

Comment ouvrir phpmyadmin Comment ouvrir phpmyadmin Apr 10, 2025 pm 10:51 PM

Vous pouvez ouvrir PHPMYADMIN via les étapes suivantes: 1. Connectez-vous au panneau de configuration du site Web; 2. Trouvez et cliquez sur l'icône PHPMYADMIN; 3. Entrez les informations d'identification MySQL; 4. Cliquez sur "Connexion".

MySQL: une introduction à la base de données la plus populaire au monde MySQL: une introduction à la base de données la plus populaire au monde Apr 12, 2025 am 12:18 AM

MySQL est un système de gestion de la base de données relationnel open source, principalement utilisé pour stocker et récupérer les données rapidement et de manière fiable. Son principe de travail comprend les demandes des clients, la résolution de requête, l'exécution des requêtes et les résultats de retour. Des exemples d'utilisation comprennent la création de tables, l'insertion et la question des données et les fonctionnalités avancées telles que les opérations de jointure. Les erreurs communes impliquent la syntaxe SQL, les types de données et les autorisations, et les suggestions d'optimisation incluent l'utilisation d'index, les requêtes optimisées et la partition de tables.

Pourquoi utiliser MySQL? Avantages et avantages Pourquoi utiliser MySQL? Avantages et avantages Apr 12, 2025 am 12:17 AM

MySQL est choisi pour ses performances, sa fiabilité, sa facilité d'utilisation et son soutien communautaire. 1.MySQL fournit des fonctions de stockage et de récupération de données efficaces, prenant en charge plusieurs types de données et opérations de requête avancées. 2. Adoptez l'architecture client-serveur et plusieurs moteurs de stockage pour prendre en charge l'optimisation des transactions et des requêtes. 3. Facile à utiliser, prend en charge une variété de systèmes d'exploitation et de langages de programmation. 4. Avoir un solide soutien communautaire et fournir des ressources et des solutions riches.

Comment utiliser un seul fileté redis Comment utiliser un seul fileté redis Apr 10, 2025 pm 07:12 PM

Redis utilise une architecture filetée unique pour fournir des performances élevées, une simplicité et une cohérence. Il utilise le multiplexage d'E / S, les boucles d'événements, les E / S non bloquantes et la mémoire partagée pour améliorer la concurrence, mais avec des limites de limitations de concurrence, un point d'échec unique et inadapté aux charges de travail à forte intensité d'écriture.

MySQL et SQL: Compétences essentielles pour les développeurs MySQL et SQL: Compétences essentielles pour les développeurs Apr 10, 2025 am 09:30 AM

MySQL et SQL sont des compétences essentielles pour les développeurs. 1.MySQL est un système de gestion de base de données relationnel open source, et SQL est le langage standard utilisé pour gérer et exploiter des bases de données. 2.MySQL prend en charge plusieurs moteurs de stockage via des fonctions de stockage et de récupération de données efficaces, et SQL termine des opérations de données complexes via des instructions simples. 3. Les exemples d'utilisation comprennent les requêtes de base et les requêtes avancées, telles que le filtrage et le tri par condition. 4. Les erreurs courantes incluent les erreurs de syntaxe et les problèmes de performances, qui peuvent être optimisées en vérifiant les instructions SQL et en utilisant des commandes Explication. 5. Les techniques d'optimisation des performances incluent l'utilisation d'index, d'éviter la numérisation complète de la table, d'optimiser les opérations de jointure et d'améliorer la lisibilité du code.

Place de MySQL: bases de données et programmation Place de MySQL: bases de données et programmation Apr 13, 2025 am 12:18 AM

La position de MySQL dans les bases de données et la programmation est très importante. Il s'agit d'un système de gestion de base de données relationnel open source qui est largement utilisé dans divers scénarios d'application. 1) MySQL fournit des fonctions efficaces de stockage de données, d'organisation et de récupération, en prenant en charge les systèmes Web, mobiles et de niveau d'entreprise. 2) Il utilise une architecture client-serveur, prend en charge plusieurs moteurs de stockage et optimisation d'index. 3) Les usages de base incluent la création de tables et l'insertion de données, et les usages avancés impliquent des jointures multiples et des requêtes complexes. 4) Des questions fréquemment posées telles que les erreurs de syntaxe SQL et les problèmes de performances peuvent être déboguées via la commande Explication et le journal de requête lente. 5) Les méthodes d'optimisation des performances comprennent l'utilisation rationnelle des indices, la requête optimisée et l'utilisation des caches. Les meilleures pratiques incluent l'utilisation des transactions et des acteurs préparés

Moniteur Disd Droplet avec service d'exportateur Redis Moniteur Disd Droplet avec service d'exportateur Redis Apr 10, 2025 pm 01:36 PM

La surveillance efficace des bases de données Redis est essentielle pour maintenir des performances optimales, identifier les goulots d'étranglement potentiels et assurer la fiabilité globale du système. Le service Redis Exporter est un utilitaire puissant conçu pour surveiller les bases de données Redis à l'aide de Prometheus. Ce didacticiel vous guidera à travers la configuration et la configuration complètes du service Redis Exportateur, en vous garantissant de créer des solutions de surveillance de manière transparente. En étudiant ce tutoriel, vous réaliserez les paramètres de surveillance entièrement opérationnels

See all articles