Maison développement back-end tutoriel php php排序1亿个QQ号码,该怎么处理

php排序1亿个QQ号码,该怎么处理

Jun 13, 2016 am 11:59 AM
amp arr foreach nbsp

php排序1亿个QQ号码
吃饱喝足了,还发贴了。
拆开分成几千份进行排序再合并。


首先先创建一个1亿个QQ号的txt。

<br /><?php<br /><br />// 创建一亿个QQ号的txt (大约需85~100秒)<br /><br />set_time_limit(0);<br />$fn = 'qq.txt';<br />$fp = fopen($fn, 'w');<br /><br />$st = microtime(true);<br /><br />$l = range(0,10000);<br />shuffle($l);<br />foreach ($l as $k=>$v)<br />{<br />	$arr = range($v*10000+10000,10000*($v+1)+9999);<br />	shuffle($arr);<br />	fputs($fp,implode("\n", $arr)."\n");<br />	unset($arr);<br />}<br /><br />echo  microtime(true)-$st;<br /><br />?><br />
Copier après la connexion




稍等一两分钟1亿个随机QQ创建完成了。

QQ号码范围为>10000。文件大小大概有840MB。



下面就进行分类划分成几千份文件。

以QQ号码长度为文件夹,QQ号码前3位为文件名。

<br /><?php<br /><br />// 长度号码分类 (大约需360~400秒)<br /><br />set_time_limit(0);<br />$st = microtime(true);<br /><br />if(!is_dir('qq_no')) mkdir('qq_no');<br />$file = fopen('qq.txt', 'r'); <br /><br /><br />$i=0;<br />$end_s = '';<br />while(!feof($file))<br />{<br />	$g = 1042*1024;<br />	fseek($file,$g*$i);<br />	$s = fread($file, $g);<br /><br /> 	<br />	$end = strrpos($s, "\n");<br />	$arr_s = $end_s.substr($s, 0, $end);<br />	$end_s = substr($s, $end);<br /><br />	$arr = explode("\n", $arr_s);<br />	foreach ($arr as $k=>$v)<br />	{<br />		if($v!='')<br />		{<br />			$tag = "$v[0]$v[1]$v[2]";<br />			$text_arr[strlen($v)][$tag][] = $v;<br />		}<br />	}<br /><br />	foreach ($text_arr as $k=>$v)<br />	{<br />		$n_dir = 'qq_no/'.$k;<br />		if (!is_dir($n_dir)) mkdir($n_dir);<br />		foreach ($v as $tag=>$val)<br />		{<br />			$n_tf = fopen($n_dir.'/'.$tag.'.txt', 'a+');<br />			fputs($n_tf,implode("\n",$val)."\n");<br />		}<br />		<br />		<br />	}<br />	unset($text_arr);<br /><br />	++$i;<br /><br />}<br /><br />echo  microtime(true)-$st;<br /><br />?><br />
Copier après la connexion




最后就要每个文件进行排序合并数据了。

<br /><?php<br /><br />// 排序完成拉 (800~920秒)<br /><br />set_time_limit(0);<br />$st = microtime(true);<br /><br />$qq_done = fopen('qq_done.txt', 'a+');<br /><br />$root = 'qq_no';<br />$dir_array = scandir($root);<br /><br />foreach ($dir_array as $key=>$val)<br />{<br />	if ($val != '.' && $val != '..')<br />		$dirs[$val] =  scandir($root.'/'.$val);<br />}<br /><br /><br />foreach ($dirs as $key=>$val)<br />{<br />	foreach ($val as $v)<br />	{<br />		if ($v != '.' && $v != '..')<br />		{<br />			$file = $root. '/' . $key . '/'. $v;<br />			$c = file_get_contents($file);<br />			$arr = explode("\n", $c);<br />			sort($arr);<br />			fputs($qq_done, implode("\n",$arr));<br />			unlink($file);<br />		}<br />	}<br />	rmdir($root. '/' . $key);<br />}<br />rmdir($root);<br /><br />echo  microtime(true)-$st;<br /><br />?><br />
Copier après la connexion



总共大概花费了20多分钟。

虽然完成了,但方法很土鳖 0_0 ,坛里各位高手们改进改进啊。

------解决方案--------------------
来个C版本的
<br />#include <stdio.h><br /><br />#define BITSPERWORD 32<br />#define SHIFT 5<br />#define MASK 0x1F<br />#define N 100000000<br /><br />int a[1 + N/BITSPERWORD];<br /><br />void set(int i)<br />{<br />	a[i>>SHIFT] <br><font color='#FF8000'>------解决方案--------------------</font><br>= (1<<(i & MASK)); //i&MASK相当于1&(32-1),即1%32<br />}<br /><br />void clr(int i)<br />{<br />	a[i>>SHIFT] &= ~(1<<(i & MASK));<br />}<br /><br />int test(int i)<br />{<br />	return a[i>>SHIFT] & (1<<(i & MASK));<br />}<br /><br />int main()<br />{<br />	int i;<br />	//初始化<br />	for(i = 0; i < N; i++)<br />		clr(i);<br /><br />	//读取文件,置位<br />	while(scanf("%d", &i) != EOF)<br />		set(i);<br /><br />	for(i = 0; i < N; i++)<br />		if(test(i))<br />			printf("%d\n", i);<br /><br />	return 0;<br />}<br />
Copier après la connexion

------解决方案--------------------

既然有现成的数据文件,就没有必要去构造插入串了
set_time_limit(0);<br />$sql =<<< SQL<br />CREATE TABLE IF NOT EXISTS qq1 (<br />  `qq` int(10) NOT NULL,<br />  KEY `qq` (`qq`)<br />) ENGINE=MyISAM DEFAULT CHARSET=utf8;<br />SQL;<br /><br />mysql_connect('localhost', 'root', '');<br />mysql_select_db('test');<br />mysql_query($sql);<br /><br />$filename = str_replace('\\', '/', realpath('qq.txt'));<br />$sql =<<< SQL<br />LOAD DATA INFILE '$filename' INTO TABLE qq1<br />SQL;<br /><br />check_speed(1);<br />mysql_query($sql) or print(mysql_error());;<br />check_speed();<br />
Copier après la connexion
时间: 182,955,851 微秒
内存: 664

<br>set_time_limit(0);<br>mysql_connect('localhost', 'root', '');<br>mysql_select_db('test');<br><br>echo '升序<br>';<br>$filename = str_replace('\\', '/', dirname(__FILE__) . '/qq_1.txt');<div class="clear">
                 
              
              
        
            </div>
Copier après la connexion
Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Article chaud

Repo: Comment relancer ses coéquipiers
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
1 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Combien de temps faut-il pour battre Split Fiction?
3 Il y a quelques semaines By DDD
Hello Kitty Island Adventure: Comment obtenir des graines géantes
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Article chaud

Repo: Comment relancer ses coéquipiers
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
1 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Combien de temps faut-il pour battre Split Fiction?
3 Il y a quelques semaines By DDD
Hello Kitty Island Adventure: Comment obtenir des graines géantes
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Tags d'article chaud

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Solution : Votre organisation vous demande de modifier votre code PIN Solution : Votre organisation vous demande de modifier votre code PIN Oct 04, 2023 pm 05:45 PM

Solution : Votre organisation vous demande de modifier votre code PIN

Comment ajuster les paramètres de bordure de fenêtre sous Windows 11 : modifier la couleur et la taille Comment ajuster les paramètres de bordure de fenêtre sous Windows 11 : modifier la couleur et la taille Sep 22, 2023 am 11:37 AM

Comment ajuster les paramètres de bordure de fenêtre sous Windows 11 : modifier la couleur et la taille

Comment changer la couleur de la barre de titre sous Windows 11 ? Comment changer la couleur de la barre de titre sous Windows 11 ? Sep 14, 2023 pm 03:33 PM

Comment changer la couleur de la barre de titre sous Windows 11 ?

Comment activer ou désactiver les aperçus miniatures de la barre des tâches sur Windows 11 Comment activer ou désactiver les aperçus miniatures de la barre des tâches sur Windows 11 Sep 15, 2023 pm 03:57 PM

Comment activer ou désactiver les aperçus miniatures de la barre des tâches sur Windows 11

Problèmes d'erreur OOBELANGUAGE dans la réparation de Windows 11/10 Problèmes d'erreur OOBELANGUAGE dans la réparation de Windows 11/10 Jul 16, 2023 pm 03:29 PM

Problèmes d'erreur OOBELANGUAGE dans la réparation de Windows 11/10

Afficher le guide de mise à l'échelle sur Windows 11 Afficher le guide de mise à l'échelle sur Windows 11 Sep 19, 2023 pm 06:45 PM

Afficher le guide de mise à l'échelle sur Windows 11

10 façons de régler la luminosité sous Windows 11 10 façons de régler la luminosité sous Windows 11 Dec 18, 2023 pm 02:21 PM

10 façons de régler la luminosité sous Windows 11

Comment désactiver l'authentification de navigation privée pour iPhone dans Safari ? Comment désactiver l'authentification de navigation privée pour iPhone dans Safari ? Nov 29, 2023 pm 11:21 PM

Comment désactiver l'authentification de navigation privée pour iPhone dans Safari ?

See all articles