php程序优化求建议,执行速度太慢
现有 四级词库4000单词txt文档,格式如下
accent n.口音,腔调;重音
acceptable a.可接受的,合意的
acceptance n.接受,验收;承认
access n.接近;通道,入口
accessory n.同谋,从犯;附件
accident n.意外的;事故
accidental a.偶然的;非本质的
现要把英汉分离后分别插入mySQL数据库内,代码如下
<?phpheader("Content-type: text/html; charset=utf-8");$file = dirname(__FILE__)."/siji.txt"; //四级词库文件if(!file_exists($file)){ echo 'Not exist';}else { $a = array();//存放英汉对照对儿的数组 $lines = file($file);//读取txt到数组,一行为一个英汉对照对 foreach ($lines as $k=>$v){ if(preg_match('/[a-zA-Z]/',$v))//有的行是标题之类的,不是英汉对照,判断后不加到数组a里面 $a[$k] = trim($v);//因为有换行符,去掉 } $b = array();//2维数组,$b[n][0]为英文,$b[n][1]为释义 foreach($a as $k=>$v){//把a数组的英汉分离,填充到b数组的第二维内 preg_match('/([a-zA-Z]*)\s(.*)/',$v,$matches);//正则英汉分离,matches[1]是英文,matches[2]是释义中文 $b[$k][0] = $matches[1]; $b[$k][1] = $matches[2]; } $dsn = 'mysql:host=localhost;dbname=test1'; $db = new PDO($dsn,'root','',array(PDO::MYSQL_ATTR_INIT_COMMAND => 'set names utf8')); foreach($b as $k=>$v){//插入数据库 $db->exec("INSERT INTO siji (en,cn) VALUES ('$v[0]','$v[1]')");//数据库3个字段,id,en是英文,cn是中文 } }
程序执行时间2分钟左右,求优化建议~我自己感觉正则那部分应该优化不了多少,主要感觉插进数据库这里费时太多,各位高人有方法请不吝赐教,现在程序执行完毕需要 120秒,希望最终优化后能到10秒内,谢谢,4级词库一共才4000对词组,120秒太长了
最终效果图:
高人们,因为我比较新手,所以不管从代码上,还是整体思路上都使这个程序运行缓慢,求优化建议,特别是 数据库这里,还有 数组这里,或者有 更好的办法。100分在这里,谢谢!
回复讨论(解决方案)
不一定能满足要求,但肯定比你的快
$ar = array_map('trim', file('siji.txt', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES ));foreach($ar as $v){ preg_match('/([a-zA-Z]*)\s(.*)/', $v, $r); if(isset($r[2])) $b[] = "('$r[1]','$r[2]')";}$dsn = 'mysql:host=localhost;dbname=test1';$db = new PDO($dsn,'root','',array(PDO::MYSQL_ATTR_INIT_COMMAND => 'set names utf8'));$db->exec('INSERT INTO siji (en,cn) VALUES ' . join(',', $b));
说一说我的想法,
也不知道效率怎么样,
不用数组,也不用循环。
首先用 file_get_contents 将文件读取为字符串,
然后 preg_replace 直接将整个字符串格式化为一个多语句sql,
接着执行一次就行了。
内存表 一次性写入数据库
1、将内容格式化成一个类似#1的插入sql语句,保存成*.sql
2、直接用mysql将上面的*.sql导入,php可以用exec
内存表 一次性写入数据库
求详解
mysql有个多行insert语句, 很多行集成到一个SQL语句, 效率比一行一条SQL语句高很多.
格式如下:
inser into (...) values (...),(...),...
不好意思, 上面insert少了个t
MySQL 的导出语句格式都是用多行insert. 导入速度很快. 一般一条语句2000行记录没问题
如果你的数据文件中的行都符合你示例的格式,那么就可以直接使用 MySQL 指令
LOAD DATA local INFILE '/路径/siji.txt' INTO TABLE siji FIELDS TERMINATED BY ' ' (en, cn);
不一定能满足要求,但肯定比你的快
$ar = array_map('trim', file('siji.txt', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES ));foreach($ar as $v){ preg_match('/([a-zA-Z]*)\s(.*)/', $v, $r); if(isset($r[2])) $b[] = "('$r[1]','$r[2]')";}$dsn = 'mysql:host=localhost;dbname=test1';$db = new PDO($dsn,'root','',array(PDO::MYSQL_ATTR_INIT_COMMAND => 'set names utf8'));$db->exec('INSERT INTO siji (en,cn) VALUES ' . join(',', $b));
我考虑了一下,用了预处理语句参数绑定
$start = microtime(true); $stmt = $db->prepare('INSERT INTO siji (en,cn) VALUES (:en,:cn)'); $stmt->bindParam(':en',$en); $stmt->bindParam(':cn',$cn); foreach($b as $k=>$v){//插入数据库 $en = $v[0]; $cn = $v[1]; $stmt->execute();//数据库3个字段,id,en是英文,cn是中文 } echo microtime(true)-$start;//127秒
对比原来的代码
$start = microtime(true); foreach($b as $k=>$v){//插入数据库 $db->exec("INSERT INTO siji (en,cn) VALUES ('$v[0]','$v[1]')");//数据库3个字段,id,en是英文,cn是中文 } echo microtime(true)-$start;//116秒
居然还慢了11秒,不是说一样类型的语句,编译成sql模板后速度会提升么,为什么这里下降啊??太奇怪!
使用参数绑定时,PDO::quote(转义特殊字符)始终都会被执行,并不理会你的数据实际并不包含特殊字符
多出来的时间就是 PDO::quote 的执行时间
如果你总是单条插入,那么无论如何都不会“高速”运行的
居然还慢了11秒,不是说一样类型的语句,编译成sql模板后速度会提升么,为什么这里下降啊??太奇怪!
预编译的提升原理在于节省了编译本身的时间,你觉得一个简单的insert编译需要时间吗?
内存表 一次性写入数据库
感觉MySQL还是弱,貌似没有类似SQLServer的bulkCopy功能,SQLBulkCopy批量插入几万条数据也是瞬间的事
“内存表 一次性写入数据库”,具体怎么实现,跪求详解啊
连接成一个SQL语句再执行,速度会快很多的

Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

Heiße Werkzeuge

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6
Visuelle Webentwicklungstools

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen



Alipay PHP ...

JWT ist ein offener Standard, der auf JSON basiert und zur sicheren Übertragung von Informationen zwischen Parteien verwendet wird, hauptsächlich für die Identitätsauthentifizierung und den Informationsaustausch. 1. JWT besteht aus drei Teilen: Header, Nutzlast und Signatur. 2. Das Arbeitsprinzip von JWT enthält drei Schritte: Generierung von JWT, Überprüfung von JWT und Parsingnayload. 3. Bei Verwendung von JWT zur Authentifizierung in PHP kann JWT generiert und überprüft werden, und die Funktionen und Berechtigungsinformationen der Benutzer können in die erweiterte Verwendung aufgenommen werden. 4. Häufige Fehler sind Signaturüberprüfungsfehler, Token -Ablauf und übergroße Nutzlast. Zu Debugging -Fähigkeiten gehört die Verwendung von Debugging -Tools und Protokollierung. 5. Leistungsoptimierung und Best Practices umfassen die Verwendung geeigneter Signaturalgorithmen, das Einstellen von Gültigkeitsperioden angemessen.

Die Anwendung des soliden Prinzips in der PHP -Entwicklung umfasst: 1. Prinzip der Einzelverantwortung (SRP): Jede Klasse ist nur für eine Funktion verantwortlich. 2. Open and Close Principle (OCP): Änderungen werden eher durch Erweiterung als durch Modifikation erreicht. 3.. Lischs Substitutionsprinzip (LSP): Unterklassen können Basisklassen ersetzen, ohne die Programmgenauigkeit zu beeinträchtigen. 4. Schnittstellen-Isolationsprinzip (ISP): Verwenden Sie feinkörnige Schnittstellen, um Abhängigkeiten und nicht verwendete Methoden zu vermeiden. 5. Abhängigkeitsinversionsprinzip (DIP): Hoch- und niedrige Module beruhen auf der Abstraktion und werden durch Abhängigkeitsinjektion implementiert.

So setzen Sie die Berechtigungen von Unixsocket automatisch nach dem Neustart des Systems. Jedes Mal, wenn das System neu startet, müssen wir den folgenden Befehl ausführen, um die Berechtigungen von Unixsocket: sudo ...

Wie debugge ich den CLI -Modus in PhpStorm? Bei der Entwicklung mit PHPSTORM müssen wir manchmal den PHP im CLI -Modus (COMS -Zeilenschnittstellen) debuggen ...

In Artikel wird die in PHP 5.3 eingeführte LSB -Bindung (LSB) erörtert, die die Laufzeitauflösung der statischen Methode ermöglicht, um eine flexiblere Vererbung zu erfordern. Die praktischen Anwendungen und potenziellen Perfo von LSB

Senden von JSON -Daten mithilfe der Curl -Bibliothek von PHP in der PHP -Entwicklung müssen häufig mit externen APIs interagieren. Eine der gängigen Möglichkeiten besteht darin, die Curl Library zu verwenden, um Post � ...

In Artikel werden wichtige Sicherheitsfunktionen in Frameworks erörtert, um vor Schwachstellen zu schützen, einschließlich Eingabevalidierung, Authentifizierung und regelmäßigen Aktualisierungen.
