Maison > php教程 > php手册 > php使用mysql_query查询超大结果集超内存的解决方法,phpmysql_query

php使用mysql_query查询超大结果集超内存的解决方法,phpmysql_query

WBOY
Libérer: 2016-06-13 08:44:37
original
823 Les gens l'ont consulté

php使用mysql_query查询超大结果集超内存的解决方法,phpmysql_query

再使用mysql_query查询超大结果集的时候会出现超出内存限制的致命错误,这是因为mysql_query采用的是查询全部结果然后把结果集全部缓存到内存中的方式。

mysql的查询还提供了另外一种查询方式,函数名为mysql_unbuffered_query,这个函数采用的是查出结果后立即操作结果集,并不会把结果集缓存到内存中,这样就避免了超出内存的情况发生。但是使用这个方法的代价就是不能再查询的时候使用获取总行之类的方法,因为这种方法是便查询边返回结果。同时在使用该方法的时候不能在同一数据库链接上执行其他的操作,想要执行其他操作的时候必须先终止当前操作,释放所有未缓存的sql查询所产生的结果行,或者重新实例化一个数据库连接,使用新链接进行其他操作。

以下是使用缓存和不使用缓存的对比(所查询的表中有1000多万行数据):

<span>function</span><span> selecttest()
    {
        </span><span>try</span><span> {
            </span><span>$pdo</span> = <span>new</span> PDO("mysql:host=localhost;dbname=test", 'root', '123456'<span>);
</span><span>//</span><span>            不使用缓存结果集方式
//            $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);</span>
            <span>$sth</span> = <span>$pdo</span>->prepare('select * from test'<span>);
            </span><span>$sth</span>-><span>execute();
            </span><span>echo</span> '最初占用内存大小:' . memory_get_usage() . "\n"<span>;
            </span><span>$i</span> = 0<span>;
            </span><span>while</span> (<span>$result</span> = <span>$sth</span>->fetch(PDO::<span>FETCH_ASSOC)) {
                </span><span>$i</span> += 1<span>;
                </span><span>if</span> (<span>$i</span> > 10<span>) {
                    </span><span>break</span><span>;
                }
                </span><span>sleep</span>(1<span>);
                </span><span>print_r</span>(<span>$result</span><span>);
                </span><span>echo</span> '占用内存大小:' . memory_get_usage() . "\n"<span>;
            }
        } </span><span>catch</span> (<span>Exception</span> <span>$e</span><span>) {
            </span><span>echo</span> <span>$e</span>-><span>getMessage();
        }
    }</span>
Copier après la connexion

上面使用到的是缓存所有结果集的方式,运行该函数时将会报超内存的错误,如下所示:

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 57<span>

Call Stack</span>:
    0.0005     135392   1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0
    0.0005     135568   2. test->selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:86
    0.0055     142528   3. PDOStatement->execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:57
Copier après la connexion

在执行$sth->execute();时超出内存限制;

// $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);这行的注释去掉后将使用不缓存结果集的方式,运行该函数将输出以下内容:

最初占用内存大小:144808
<span>Array</span><span>
(
    [id] </span>=> 1<span>
    [a] </span>=><span> v
    [b] </span>=><span> w
    [c] </span>=><span> i
)
占用内存大小:</span>145544
<span>Array</span><span>
(
    [id] </span>=> 2<span>
    [a] </span>=><span> b
    [b] </span>=><span> l
    [c] </span>=><span> q
)
占用内存大小:</span>145544
<span>Array</span><span>
(
    [id] </span>=> 3<span>
    [a] </span>=><span> m
    [b] </span>=><span> p
    [c] </span>=><span> h
)
占用内存大小:</span>145536
<span>Array</span><span>
(
    [id] </span>=> 4<span>
    [a] </span>=><span> j
    [b] </span>=><span> i
    [c] </span>=><span> b
)
占用内存大小:</span>145536
<span>Array</span><span>
(
    [id] </span>=> 5<span>
    [a] </span>=><span> q
    [b] </span>=><span> g
    [c] </span>=><span> g
)
占用内存大小:</span>145536
Copier après la connexion

可以看到,使用不缓存结果集的方式获取一行结果所占用的内存是极少的。这样就结局了超出内存限制的问题。

Étiquettes associées:
source:php.cn
Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn
Recommandations populaires
Tutoriels populaires
Plus>
Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal