PHP处理TXT文件向数据库导入海量数据
有一个TXT文件,包含了10万条记录,格式如下:
列1 列2 列3 列4 列5
a 00003131 0 0 adductive#1 adducting#1 adducent#1
a 00003356 0 0 nascent#1
a 00003553 0 0 emerging#2 emergent#2
a 00003700 0.25 0 dissilient#1
……………………后面有10万条………………
需求是要导入数据库中,数据表的结构为
word_id 自动增量
word 【adductive#1 adducting#1 adducent#1】这一个TXT记录要转换为3个SQL记录
value =第三列-第四列;如果=0,则此条记录略过不插入数据表
[php]
$file = 'words.txt';//10W条记录的TXT源文件
$lines = file_get_contents($file);
ini_set('memory_limit', '-1');//不要限制Mem大小,否则会报错
$line=explode("\n",$lines);
$i=0;
$sql="INSERT INTO words_sentiment (word,senti_type,senti_value,word_type) VALUES ";
foreach($line as $key =>$li)
{
$arr=explode(" ",$li);
$senti_value=$arr[2]-$arr[3];
if($senti_value!=0)
{
if($i>=20000&&$i
{
$mm=explode(" ",$arr[4]);
foreach($mm as $m) //【adductive#1 adducting#1 adducent#1】这一个TXT记录要转换为3个SQL记录 {
$nn=explode("#",$m);
$word=$nn[0];
$sql.="(\"$word\",1,$senti_value,2),";//这个地方要注意到是 word有可能包含单引号(如jack's),因此我们要用双引号来包含word(注意转义)
}
}
$i++;
}
}
//echo $i;
$sql=substr($sql,0,-1);//去掉最后一个逗号
//echo $sql;
file_put_contents('20000-25000.txt', $sql); //批量导入数据库,5000条一次,大概需要40秒的样子;一次导入太多max_execution_time会不够,导致失败
?>
$file = 'words.txt';//10W条记录的TXT源文件
$lines = file_get_contents($file);
ini_set('memory_limit', '-1');//不要限制Mem大小,否则会报错
$line=explode("\n",$lines);
$i=0;
$sql="INSERT INTO words_sentiment (word,senti_type,senti_value,word_type) VALUES ";
foreach($line as $key =>$li)
{
$arr=explode(" ",$li);
$senti_value=$arr[2]-$arr[3];
if($senti_value!=0)
{
if($i>=20000&&$i
{
$mm=explode(" ",$arr[4]);
foreach($mm as $m) //【adductive#1 adducting#1 adducent#1】这一个TXT记录要转换为3个SQL记录 {
$nn=explode("#",$m);
$word=$nn[0];
$sql.="(\"$word\",1,$senti_value,2),";//这个地方要注意到是 word有可能包含单引号(如jack's),因此我们要用双引号来包含word(注意转义)
}
}
$i++;
}
}
//echo $i;
$sql=substr($sql,0,-1);//去掉最后一个逗号
//echo $sql;
file_put_contents('20000-25000.txt', $sql); //批量导入数据库,5000条一次,大概需要40秒的样子;一次导入太多max_execution_time会不够,导致失败
?>
1,海量数据导入到时候,要注意PHP的一些限制,可以临时调整一下,否则会报错
Allowed memory size of 33554432 bytes exhausted (tried to allocate 16 bytes)
2,PHP操作TXT文件
file_get_contents()
file_put_contents()
3,海量导入的时候,最好分批次导入,失败的几率小一些
4,海量导入之前,脚本一定要多次测试无误再使用,比如用100条数据来测试
5,导入之后,如果PHP的mem_limit还是不够的话,程序仍然跑不起来
(建议用修改php.ini的方式来提高mem_limit,而不是用临时的语句)

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

PHP和Python各有優勢,選擇依據項目需求。 1.PHP適合web開發,尤其快速開發和維護網站。 2.Python適用於數據科學、機器學習和人工智能,語法簡潔,適合初學者。

PHP在電子商務、內容管理系統和API開發中廣泛應用。 1)電子商務:用於購物車功能和支付處理。 2)內容管理系統:用於動態內容生成和用戶管理。 3)API開發:用於RESTfulAPI開發和API安全性。通過性能優化和最佳實踐,PHP應用的效率和可維護性得以提升。

PHP是一種廣泛應用於服務器端的腳本語言,特別適合web開發。 1.PHP可以嵌入HTML,處理HTTP請求和響應,支持多種數據庫。 2.PHP用於生成動態網頁內容,處理表單數據,訪問數據庫等,具有強大的社區支持和開源資源。 3.PHP是解釋型語言,執行過程包括詞法分析、語法分析、編譯和執行。 4.PHP可以與MySQL結合用於用戶註冊系統等高級應用。 5.調試PHP時,可使用error_reporting()和var_dump()等函數。 6.優化PHP代碼可通過緩存機制、優化數據庫查詢和使用內置函數。 7

PHP仍然具有活力,其在現代編程領域中依然佔據重要地位。 1)PHP的簡單易學和強大社區支持使其在Web開發中廣泛應用;2)其靈活性和穩定性使其在處理Web表單、數據庫操作和文件處理等方面表現出色;3)PHP不斷進化和優化,適用於初學者和經驗豐富的開發者。

PHP適合web開發,特別是在快速開發和處理動態內容方面表現出色,但不擅長數據科學和企業級應用。與Python相比,PHP在web開發中更具優勢,但在數據科學領域不如Python;與Java相比,PHP在企業級應用中表現較差,但在web開發中更靈活;與JavaScript相比,PHP在後端開發中更簡潔,但在前端開發中不如JavaScript。

PHP和Python各有優劣,選擇取決於項目需求和個人偏好。 1.PHP適合快速開發和維護大型Web應用。 2.Python在數據科學和機器學習領域佔據主導地位。

PHP和Python各有優勢,適合不同場景。 1.PHP適用於web開發,提供內置web服務器和豐富函數庫。 2.Python適合數據科學和機器學習,語法簡潔且有強大標準庫。選擇時應根據項目需求決定。

PHP主要是過程式編程,但也支持面向對象編程(OOP);Python支持多種範式,包括OOP、函數式和過程式編程。 PHP適合web開發,Python適用於多種應用,如數據分析和機器學習。
