PHP 다중 프로세스 삽입 데이터

巴扎黑
풀어 주다: 2023-03-07 13:24:01
원래의
3331명이 탐색했습니다.

가상 머신 centos7, 싱글 코어, 1G 메모리

/**
 * 模拟并发请求,10万次写入数据库
 * 拆分为10个进程,每个进程处理一万条插入
 */

$total = 10000;
$num   = 10;
$per   = $total/$num;

$sql  = '';
$child = '';

echo 'start '.microtime(true).PHP_EOL;
for($i = 1; $i<= $num; $i++)
{
    $pid = pcntl_fork();
    if($pid == -1) {
        die(&#39;fork error&#39;);
    }
    if($pid > 0) {
        //$id = pcntl_wait($status,WNOHANG);
        $child[] = $pid;
    } else if ($pid == 0) {
        $link  = mysqli_connect('localhost','root','root','yii2advanced');
        $start = ($i-1)*$per + 1;
        $end   = $start + $per;
        for($j = $start; $j< $end; $j++){
            $time = microtime(true);
            $sql = &#39;insert pcntl_test (rank,time) values (&#39;.$j.&#39;,&#39;.$time.&#39;)&#39;;
            mysqli_query($link,$sql);
        }
        mysqli_close($link);
        $id = getmypid();
        echo &#39;child &#39;.$id.&#39; finished &#39;.microtime(true).PHP_EOL;
        exit(0);
    }
}

while(count($child)){
    foreach($child as $k => $pid) {
        $res = pcntl_waitpid($pid, $status, WNOHANG);
        if ( -1 == $res || $res > 0) {
            unset($child[$k]);
        }
    }
}
echo 'end '.microtime(true).PHP_EOL;
로그인 후 복사
로그인 후 복사

$total=10000, $num = 10일 때 실행 결과는 다음과 같습니다.

start 1491903371.5548
child 19860 finished 1491903417.2113
child 19857 finished 1491903417.6909
child 19864 finished 1491903417.7793
child 19855 finished 1491903417.8695
child 19859 finished 1491903417.9162
child 19861 finished 1491903418.0089
child 19856 finished 1491903418.0532
child 19863 finished 1491903418.0842
child 19862 finished 1491903418.1474
child 19858 finished 1491903418.4341
end 1491903418.4424
总时间为46.88759994506836秒
로그인 후 복사
로그인 후 복사

$total=일 때 10000,$ num = 100일 때 실행 결과는 다음과 같습니다.

start 1491904334.1735
child 20085 finished 1491904337.0712
child 20086 finished 1491904337.144
……
child 20262 finished 1491904341.5602
child 20264 finished 1491904341.5803
end 1491904341.5869
总时间为7.413399934768677
로그인 후 복사
로그인 후 복사

$total=10000, $num = 1000일 때 실행 결과는 다음과 같습니다.

start 1491904562.0166
child 20282 finished 1491904562.1191
child 20277 finished 1491904562.1268
child 20279 finished 1491904562.1352
...
child 21586 finished 1491904576.6954
child 21582 finished 1491904576.7024
child 21584 finished 1491904576.7226
end 1491904576.7297
总时间为14.71310019493103,相比100个子进程,耗时更长了。进程切换太多,影响了了效率应该是原因之一。
로그인 후 복사
로그인 후 복사

$total일 때 =100000, $num=100 , 10만 개의 레코드, 100개의 프로세스 삽입

start 1491905670.2652
child 21647 finished 1491905725.4382
child 21651 finished 1491905725.4595
child 21642 finished 1491905725.5402
....
child 21810 finished 1491905729.7709
child 21812 finished 1491905729.8498
child 21811 finished 1491905729.9612
end 1491905729.9679
总时间为59.70270013809204
로그인 후 복사
로그인 후 복사

단일 프로세스에서 10,000개의 데이터를 삽입하는 데 18초가 소요됩니다. 이는 10개의 프로세스가 10,000개의 레코드를 삽입하는 것보다 시간이 덜 걸립니다. .
단일 프로세스에 100,000개의 레코드를 삽입하려면 187.40066790581이 소요되며 이는 상대적으로 느립니다. 3분. . .

그런데 1,000개의 프로세스를 포크하여 100,000개의 레코드를 삽입할 때 성공하면 약 36초 후에 오류가 발생할 수 있습니다. 연결 수가 제한되어 있습니까?

10,000개의 하위 프로세스를 Fork하고 100만 개의 데이터를 삽입하는 경우 연결 오류가 많이 발생합니다. 결국 360초가 소요되었으며, 945,300개의 레코드가 데이터 테이블에 삽입되었으며, 성공률은 94.53%였습니다. 그러니 해당 데이터베이스의 설정정보를 확인해 보세요

mysql>  show global status like '%connect%';
+-----------------------------------------------+---------------------+
| Variable_name                                 | Value               |
+-----------------------------------------------+---------------------+
| Aborted_connects                              | 0                   |
| Connection_errors_accept                      | 0                   |
| Connection_errors_internal                    | 0                   |
| Connection_errors_max_connections             | 628                 |
| Connection_errors_peer_address                | 0                   |
| Connection_errors_select                      | 0                   |
| Connection_errors_tcpwrap                     | 0                   |
| Connections                                   | 16519               |
| Locked_connects                               | 0                   |
| Max_used_connections                          | 501                 |
| Max_used_connections_time                     | 2017-04-12 15:19:54 |
| Performance_schema_session_connect_attrs_lost | 0                   |
| Ssl_client_connects                           | 0                   |
| Ssl_connect_renegotiates                      | 0                   |
| Ssl_finished_connects                         | 0                   |
| Threads_connected                             | 4                   |
+-----------------------------------------------+---------------------+


mysql>  show global variables like '%connect%';
+-----------------------------------------------+--------------------+
| Variable_name                                 | Value              |
+-----------------------------------------------+--------------------+
| character_set_connection                      | utf8mb4            |
| collation_connection                          | utf8mb4_general_ci |
| connect_timeout                               | 10                 |
| disconnect_on_expired_password                | ON                 |
| init_connect                                  |                    |
| max_connect_errors                            | 100                |
| max_connections                               | 500                |
| max_user_connections                          | 0                  |
| performance_schema_session_connect_attrs_size | 512                |
+-----------------------------------------------+--------------------+

修改 myqsql 配置文件,/etc/my.cnf
把max_connections 改为10000,然后重启mysql
实际MySQL服务器允许的最大连接数16384;
结果然并卵,虚拟机好像挂了了。
로그인 후 복사
로그인 후 복사

동시성이 큰 경우에는 mysql에 접속하는데 문제가 있습니다.
이 문제는 연결 풀을 통해 해결해 볼 수 있습니다.

가상 머신 centos7, 싱글 코어, 1G 메모리

/**
 * 模拟并发请求,10万次写入数据库
 * 拆分为10个进程,每个进程处理一万条插入
 */

$total = 10000;
$num   = 10;
$per   = $total/$num;

$sql  = '';
$child = '';

echo 'start '.microtime(true).PHP_EOL;
for($i = 1; $i<= $num; $i++)
{
    $pid = pcntl_fork();
    if($pid == -1) {
        die(&#39;fork error&#39;);
    }
    if($pid > 0) {
        //$id = pcntl_wait($status,WNOHANG);
        $child[] = $pid;
    } else if ($pid == 0) {
        $link  = mysqli_connect('localhost','root','root','yii2advanced');
        $start = ($i-1)*$per + 1;
        $end   = $start + $per;
        for($j = $start; $j< $end; $j++){
            $time = microtime(true);
            $sql = &#39;insert pcntl_test (rank,time) values (&#39;.$j.&#39;,&#39;.$time.&#39;)&#39;;
            mysqli_query($link,$sql);
        }
        mysqli_close($link);
        $id = getmypid();
        echo &#39;child &#39;.$id.&#39; finished &#39;.microtime(true).PHP_EOL;
        exit(0);
    }
}

while(count($child)){
    foreach($child as $k => $pid) {
        $res = pcntl_waitpid($pid, $status, WNOHANG);
        if ( -1 == $res || $res > 0) {
            unset($child[$k]);
        }
    }
}
echo 'end '.microtime(true).PHP_EOL;
로그인 후 복사
로그인 후 복사

$total=10000, $num = 10일 때 실행 결과는 다음과 같습니다.

start 1491903371.5548
child 19860 finished 1491903417.2113
child 19857 finished 1491903417.6909
child 19864 finished 1491903417.7793
child 19855 finished 1491903417.8695
child 19859 finished 1491903417.9162
child 19861 finished 1491903418.0089
child 19856 finished 1491903418.0532
child 19863 finished 1491903418.0842
child 19862 finished 1491903418.1474
child 19858 finished 1491903418.4341
end 1491903418.4424
总时间为46.88759994506836秒
로그인 후 복사
로그인 후 복사

$total= 10000, $num = 100일 때 실행 결과는 다음과 같습니다.

start 1491904334.1735
child 20085 finished 1491904337.0712
child 20086 finished 1491904337.144
……
child 20262 finished 1491904341.5602
child 20264 finished 1491904341.5803
end 1491904341.5869
总时间为7.413399934768677
로그인 후 복사
로그인 후 복사

$total=10000, $num = 1000일 때 실행 결과는 다음과 같습니다.

start 1491904562.0166
child 20282 finished 1491904562.1191
child 20277 finished 1491904562.1268
child 20279 finished 1491904562.1352
...
child 21586 finished 1491904576.6954
child 21582 finished 1491904576.7024
child 21584 finished 1491904576.7226
end 1491904576.7297
总时间为14.71310019493103,相比100个子进程,耗时更长了。进程切换太多,影响了了效率应该是原因之一。
로그인 후 복사
로그인 후 복사

$total=100000,$num =100, 레코드 100,000개, 100개의 프로세스가

start 1491905670.2652
child 21647 finished 1491905725.4382
child 21651 finished 1491905725.4595
child 21642 finished 1491905725.5402
....
child 21810 finished 1491905729.7709
child 21812 finished 1491905729.8498
child 21811 finished 1491905729.9612
end 1491905729.9679
总时间为59.70270013809204
로그인 후 복사
로그인 후 복사

삽입하는 경우 단일 프로세스에서 10,000개의 데이터를 삽입하는 데 18초가 소요됩니다. 이는 10개의 프로세스가 10,000개의 데이터를 삽입하는 것보다 시간이 덜 걸립니다. 기록.
단일 프로세스에 100,000개의 레코드를 삽입하려면 187.40066790581이 소요되며 이는 상대적으로 느립니다. 3분. . .

그런데 1,000개의 프로세스를 포크하여 100,000개의 레코드를 삽입할 때 성공하면 약 36초 후에 오류가 발생할 수 있습니다. 연결 수가 제한되어 있습니까?

10,000개의 하위 프로세스를 Fork하고 100만 개의 데이터를 삽입하는 경우 연결 오류가 많이 발생합니다. 결국 360초가 소요되었으며, 945,300개의 레코드가 데이터 테이블에 삽입되었으며, 성공률은 94.53%였습니다. 그러니 해당 데이터베이스의 설정정보를 확인해 보세요

mysql>  show global status like '%connect%';
+-----------------------------------------------+---------------------+
| Variable_name                                 | Value               |
+-----------------------------------------------+---------------------+
| Aborted_connects                              | 0                   |
| Connection_errors_accept                      | 0                   |
| Connection_errors_internal                    | 0                   |
| Connection_errors_max_connections             | 628                 |
| Connection_errors_peer_address                | 0                   |
| Connection_errors_select                      | 0                   |
| Connection_errors_tcpwrap                     | 0                   |
| Connections                                   | 16519               |
| Locked_connects                               | 0                   |
| Max_used_connections                          | 501                 |
| Max_used_connections_time                     | 2017-04-12 15:19:54 |
| Performance_schema_session_connect_attrs_lost | 0                   |
| Ssl_client_connects                           | 0                   |
| Ssl_connect_renegotiates                      | 0                   |
| Ssl_finished_connects                         | 0                   |
| Threads_connected                             | 4                   |
+-----------------------------------------------+---------------------+


mysql>  show global variables like '%connect%';
+-----------------------------------------------+--------------------+
| Variable_name                                 | Value              |
+-----------------------------------------------+--------------------+
| character_set_connection                      | utf8mb4            |
| collation_connection                          | utf8mb4_general_ci |
| connect_timeout                               | 10                 |
| disconnect_on_expired_password                | ON                 |
| init_connect                                  |                    |
| max_connect_errors                            | 100                |
| max_connections                               | 500                |
| max_user_connections                          | 0                  |
| performance_schema_session_connect_attrs_size | 512                |
+-----------------------------------------------+--------------------+

修改 myqsql 配置文件,/etc/my.cnf
把max_connections 改为10000,然后重启mysql
实际MySQL服务器允许的最大连接数16384;
结果然并卵,虚拟机好像挂了了。
로그인 후 복사
로그인 후 복사

동시성이 큰 경우에는 mysql에 접속하는데 문제가 있습니다.
이 문제는 연결 풀을 통해 해결해 볼 수 있습니다.

위 내용은 PHP 다중 프로세스 삽입 데이터의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

원천:php.cn
본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.
최신 이슈
인기 튜토리얼
더>
최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿
회사 소개 부인 성명 Sitemap
PHP 중국어 웹사이트:공공복지 온라인 PHP 교육,PHP 학습자의 빠른 성장을 도와주세요!