php多進程插入數據
個人在虛擬機器centos7，單核，1G記憶體
/**
* 模拟并发请求，10万次写入数据库
* 拆分为10个进程，每个进程处理一万条插入
*/
$total = 10000;
$num = 10;
$per = $total/$num;
$sql = '';
$child = '';
echo 'start '.microtime(true).PHP_EOL;
for($i = 1; $i<= $num; $i++)
{
$pid = pcntl_fork();
if($pid == -1) {
die('fork error');
}
if($pid > 0) {
//$id = pcntl_wait($status,WNOHANG);
$child[] = $pid;
} else if ($pid == 0) {
$link = mysqli_connect('localhost','root','root','yii2advanced');
$start = ($i-1)*$per + 1;
$end = $start + $per;
for($j = $start; $j< $end; $j++){
$time = microtime(true);
$sql = 'insert pcntl_test (rank,time) values ('.$j.','.$time.')';
mysqli_query($link,$sql);
}
mysqli_close($link);
$id = getmypid();
echo 'child '.$id.' finished '.microtime(true).PHP_EOL;
exit(0);
}
}
while(count($child)){
foreach($child as $k => $pid) {
$res = pcntl_waitpid($pid, $status, WNOHANG);
if ( -1 == $res || $res > 0) {
unset($child[$k]);
}
}
}
echo 'end '.microtime(true).PHP_EOL;當$total=10000，$num = 10;執行結果如下:
start 1491903371.5548 child 19860 finished 1491903417.2113 child 19857 finished 1491903417.6909 child 19864 finished 1491903417.7793 child 19855 finished 1491903417.8695 child 19859 finished 1491903417.9162 child 19861 finished 1491903418.0089 child 19856 finished 1491903418.0532 child 19863 finished 1491903418.0842 child 19862 finished 1491903418.1474 child 19858 finished 1491903418.4341 end 1491903418.4424 总时间为46.88759994506836秒
當$total=10000,$ num = 100時，執行結果如下：
start 1491904334.1735 child 20085 finished 1491904337.0712 child 20086 finished 1491904337.144 …… child 20262 finished 1491904341.5602 child 20264 finished 1491904341.5803 end 1491904341.5869 总时间为7.413399934768677
當$total=10000,$num = 1000時，執行結果如下：
start 1491904562.0166 child 20282 finished 1491904562.1191 child 20277 finished 1491904562.1268 child 20279 finished 1491904562.1352 ... child 21586 finished 1491904576.6954 child 21582 finished 1491904576.7024 child 21584 finished 1491904576.7226 end 1491904576.7297 总时间为14.71310019493103，相比100个子进程，耗时更长了。进程切换太多，影响了了效率应该是原因之一。
當$total=100000 ,$num=100時，十萬筆記錄，100個進程插入
start 1491905670.2652 child 21647 finished 1491905725.4382 child 21651 finished 1491905725.4595 child 21642 finished 1491905725.5402 .... child 21810 finished 1491905729.7709 child 21812 finished 1491905729.8498 child 21811 finished 1491905729.9612 end 1491905729.9679 总时间为59.70270013809204
單一進程插入1萬個數據，耗時18秒，相對10個進程插入1萬個記錄來說，耗時少一點。
而單進程插入10萬筆記錄，耗時187.40066790581，相對來說，是挺慢的了。三分鐘。 。 。
不過，本人再fork 1000個進程，來插入10萬記錄時，成功的情況下36秒左右，也可能會出現錯誤，mysqli_connection返回false，是不是連線數受限了？
fork 一萬個子進程，插入一百萬個數據，這時，出現連接錯的情況就很多了。最後耗時360秒，在資料表中插入了945,300筆記錄,成功率94.53%。於是查看資料庫的相關設定資訊
mysql> show global status like '%connect%'; +-----------------------------------------------+---------------------+ | Variable_name | Value | +-----------------------------------------------+---------------------+ | Aborted_connects | 0 | | Connection_errors_accept | 0 | | Connection_errors_internal | 0 | | Connection_errors_max_connections | 628 | | Connection_errors_peer_address | 0 | | Connection_errors_select | 0 | | Connection_errors_tcpwrap | 0 | | Connections | 16519 | | Locked_connects | 0 | | Max_used_connections | 501 | | Max_used_connections_time | 2017-04-12 15:19:54 | | Performance_schema_session_connect_attrs_lost | 0 | | Ssl_client_connects | 0 | | Ssl_connect_renegotiates | 0 | | Ssl_finished_connects | 0 | | Threads_connected | 4 | +-----------------------------------------------+---------------------+ mysql> show global variables like '%connect%'; +-----------------------------------------------+--------------------+ | Variable_name | Value | +-----------------------------------------------+--------------------+ | character_set_connection | utf8mb4 | | collation_connection | utf8mb4_general_ci | | connect_timeout | 10 | | disconnect_on_expired_password | ON | | init_connect | | | max_connect_errors | 100 | | max_connections | 500 | | max_user_connections | 0 | | performance_schema_session_connect_attrs_size | 512 | +-----------------------------------------------+--------------------+ 修改 myqsql 配置文件，/etc/my.cnf 把max_connections 改为10000，然后重启mysql 实际MySQL服务器允许的最大连接数16384； 结果然并卵，虚拟机好像挂了了。
並發量大的時候，問題就出在連接mysql這裡了。
可以透過一個連線池來嘗試解決該問題。
個人在虛擬機器centos7，單核，1G記憶體
/**
* 模拟并发请求，10万次写入数据库
* 拆分为10个进程，每个进程处理一万条插入
*/
$total = 10000;
$num = 10;
$per = $total/$num;
$sql = '';
$child = '';
echo 'start '.microtime(true).PHP_EOL;
for($i = 1; $i<= $num; $i++)
{
$pid = pcntl_fork();
if($pid == -1) {
die('fork error');
}
if($pid > 0) {
//$id = pcntl_wait($status,WNOHANG);
$child[] = $pid;
} else if ($pid == 0) {
$link = mysqli_connect('localhost','root','root','yii2advanced');
$start = ($i-1)*$per + 1;
$end = $start + $per;
for($j = $start; $j< $end; $j++){
$time = microtime(true);
$sql = 'insert pcntl_test (rank,time) values ('.$j.','.$time.')';
mysqli_query($link,$sql);
}
mysqli_close($link);
$id = getmypid();
echo 'child '.$id.' finished '.microtime(true).PHP_EOL;
exit(0);
}
}
while(count($child)){
foreach($child as $k => $pid) {
$res = pcntl_waitpid($pid, $status, WNOHANG);
if ( -1 == $res || $res > 0) {
unset($child[$k]);
}
}
}
echo 'end '.microtime(true).PHP_EOL;當$total=10000，$num = 10;執行結果如下:
start 1491903371.5548 child 19860 finished 1491903417.2113 child 19857 finished 1491903417.6909 child 19864 finished 1491903417.7793 child 19855 finished 1491903417.8695 child 19859 finished 1491903417.9162 child 19861 finished 1491903418.0089 child 19856 finished 1491903418.0532 child 19863 finished 1491903418.0842 child 19862 finished 1491903418.1474 child 19858 finished 1491903418.4341 end 1491903418.4424 总时间为46.88759994506836秒
當$total= 10000,$num = 100時，執行結果如下：
start 1491904334.1735 child 20085 finished 1491904337.0712 child 20086 finished 1491904337.144 …… child 20262 finished 1491904341.5602 child 20264 finished 1491904341.5803 end 1491904341.5869 总时间为7.413399934768677
當$total=10000,$num = 1000時，執行結果如下：
start 1491904562.0166 child 20282 finished 1491904562.1191 child 20277 finished 1491904562.1268 child 20279 finished 1491904562.1352 ... child 21586 finished 1491904576.6954 child 21582 finished 1491904576.7024 child 21584 finished 1491904576.7226 end 1491904576.7297 总时间为14.71310019493103，相比100个子进程，耗时更长了。进程切换太多，影响了了效率应该是原因之一。
當$total=100000 ,$num =100時，十萬筆記錄，100個進程插入
start 1491905670.2652 child 21647 finished 1491905725.4382 child 21651 finished 1491905725.4595 child 21642 finished 1491905725.5402 .... child 21810 finished 1491905729.7709 child 21812 finished 1491905729.8498 child 21811 finished 1491905729.9612 end 1491905729.9679 总时间为59.70270013809204
單一進程插入1萬筆數據，耗時18秒，相對10個進程插入1萬筆記錄來說，耗時少一點。
而單進程插入10萬筆記錄，耗時187.40066790581，相對來說，是挺慢的了。三分鐘。 。 。
不過，本人再fork 1000個進程，來插入10萬記錄時，成功的情況下36秒左右，也可能會出現錯誤，mysqli_connection返回false，是不是連線數受限了？
fork 一萬個子進程，插入一百萬個數據，這時，出現連接錯的情況就很多了。最後耗時360秒，在資料表中插入了945,300筆記錄,成功率94.53%。於是查看資料庫的相關設定資訊
mysql> show global status like '%connect%'; +-----------------------------------------------+---------------------+ | Variable_name | Value | +-----------------------------------------------+---------------------+ | Aborted_connects | 0 | | Connection_errors_accept | 0 | | Connection_errors_internal | 0 | | Connection_errors_max_connections | 628 | | Connection_errors_peer_address | 0 | | Connection_errors_select | 0 | | Connection_errors_tcpwrap | 0 | | Connections | 16519 | | Locked_connects | 0 | | Max_used_connections | 501 | | Max_used_connections_time | 2017-04-12 15:19:54 | | Performance_schema_session_connect_attrs_lost | 0 | | Ssl_client_connects | 0 | | Ssl_connect_renegotiates | 0 | | Ssl_finished_connects | 0 | | Threads_connected | 4 | +-----------------------------------------------+---------------------+ mysql> show global variables like '%connect%'; +-----------------------------------------------+--------------------+ | Variable_name | Value | +-----------------------------------------------+--------------------+ | character_set_connection | utf8mb4 | | collation_connection | utf8mb4_general_ci | | connect_timeout | 10 | | disconnect_on_expired_password | ON | | init_connect | | | max_connect_errors | 100 | | max_connections | 500 | | max_user_connections | 0 | | performance_schema_session_connect_attrs_size | 512 | +-----------------------------------------------+--------------------+ 修改 myqsql 配置文件，/etc/my.cnf 把max_connections 改为10000，然后重启mysql 实际MySQL服务器允许的最大连接数16384； 结果然并卵，虚拟机好像挂了了。
並發量大的時候，問題就出在連接mysql這裡了。
可以透過一個連線池來嘗試解決該問題。
以上是php多進程插入數據的詳細內容。更多資訊請關注PHP中文網其他相關文章！
熱AI工具
Undresser.AI Undress
人工智慧驅動的應用程序，用於創建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Undress AI Tool
免費脫衣圖片
Clothoff.io
AI脫衣器
Video Face Swap
使用我們完全免費的人工智慧換臉工具，輕鬆在任何影片中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費的程式碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
強大的PHP整合開發環境
Dreamweaver CS6
視覺化網頁開發工具
SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)
PHP和Python：比較兩種流行的編程語言
Apr 14, 2025 am 12:13 AM
PHP和Python各有優勢，選擇依據項目需求。 1.PHP適合web開發，尤其快速開發和維護網站。 2.Python適用於數據科學、機器學習和人工智能，語法簡潔，適合初學者。
PHP行動：現實世界中的示例和應用程序
Apr 14, 2025 am 12:19 AM
PHP在電子商務、內容管理系統和API開發中廣泛應用。 1)電子商務：用於購物車功能和支付處理。 2)內容管理系統：用於動態內容生成和用戶管理。 3)API開發：用於RESTfulAPI開發和API安全性。通過性能優化和最佳實踐，PHP應用的效率和可維護性得以提升。
PHP：網絡開發的關鍵語言
Apr 13, 2025 am 12:08 AM
PHP是一種廣泛應用於服務器端的腳本語言，特別適合web開發。 1.PHP可以嵌入HTML，處理HTTP請求和響應，支持多種數據庫。 2.PHP用於生成動態網頁內容，處理表單數據，訪問數據庫等，具有強大的社區支持和開源資源。 3.PHP是解釋型語言，執行過程包括詞法分析、語法分析、編譯和執行。 4.PHP可以與MySQL結合用於用戶註冊系統等高級應用。 5.調試PHP時，可使用error_reporting()和var_dump()等函數。 6.優化PHP代碼可通過緩存機制、優化數據庫查詢和使用內置函數。 7
PHP與Python：了解差異
Apr 11, 2025 am 12:15 AM
PHP和Python各有優勢，選擇應基於項目需求。 1.PHP適合web開發，語法簡單，執行效率高。 2.Python適用於數據科學和機器學習，語法簡潔，庫豐富。
PHP的持久相關性：它還活著嗎？
Apr 14, 2025 am 12:12 AM
PHP仍然具有活力，其在現代編程領域中依然佔據重要地位。 1)PHP的簡單易學和強大社區支持使其在Web開發中廣泛應用；2)其靈活性和穩定性使其在處理Web表單、數據庫操作和文件處理等方面表現出色；3)PHP不斷進化和優化，適用於初學者和經驗豐富的開發者。
PHP和Python：代碼示例和比較
Apr 15, 2025 am 12:07 AM
PHP和Python各有優劣，選擇取決於項目需求和個人偏好。 1.PHP適合快速開發和維護大型Web應用。 2.Python在數據科學和機器學習領域佔據主導地位。
PHP與其他語言：比較
Apr 13, 2025 am 12:19 AM
PHP適合web開發，特別是在快速開發和處理動態內容方面表現出色，但不擅長數據科學和企業級應用。與Python相比，PHP在web開發中更具優勢，但在數據科學領域不如Python；與Java相比，PHP在企業級應用中表現較差，但在web開發中更靈活；與JavaScript相比，PHP在後端開發中更簡潔，但在前端開發中不如JavaScript。
PHP和Python：解釋了不同的範例
Apr 18, 2025 am 12:26 AM
PHP主要是過程式編程，但也支持面向對象編程（OOP）；Python支持多種範式，包括OOP、函數式和過程式編程。 PHP適合web開發，Python適用於多種應用，如數據分析和機器學習。
