[PHP/MySQL] Quel est le meilleur nombre d'INSERT simultanés ?

[Myrina]

Dans le sens ou je prévois que c'est un script Web qui initie le traitement qui sera exécuté en tâche de fond (fork), normalement, il ne devrait pas y avoir de restriction de temps du point de vue du serveur.

[Sephi-Chan]

Je ne sais pas. Au pire tu utilises un système de queue : tu en auras d'autres usages si ton application est un peu complexe.

[Myrina]

En explorant les différentes possibilités, j'ai trouvé que la commande LOAD DATA INFILE serait 20 fois plus rapide que la commande INSERT. :bave:
Il faut modérer ce ratio par le cout supplémentaire d'écriture dans un fichier au lieu de stocker les différentes VALUES dans une variable (string ou array) avant l'appel de la commande MySQL.

Mais avec le passage par un fichier, la question de limitation de la volumétrie disparait.

[php_addict]

En explorant les différentes possibilités, j'ai trouvé que la commande LOAD DATA INFILE serait 20 fois plus rapide que la commande INSERT. :bave:

intéressant, si tu utilisera ceci, tu pourra nous dire si c'est vraiment plus rapide stp ?

[Myrina]

Je viens de faire une petit bench:

INSERT dans boucle :
100 -> 3,7283s
1000 -> 43,6131s
10000 ->

INSERT après boucle :
100 -> 0,0861s
1000 -> 0,1655s
10000 -> 0,6515s
15000 -> 1,0978s

LOAD DATA INFILE :
100 -> 0,0826s
1000 -> 0,16s
10000 -> 0,6896s
15000 -> 1,0418s

Alors, je n'ai pas lancé les 10 000 inserts individuels (sinon j'y serai encore demain...).
J'aurai souhaité monter plus mais, pour une raison que je n'ai pas encore trouvé, ma boucle ne dépasse pas 16383 (2^14 -1).

voici les sources des tests (fait sur un wamp):
1/ INSERT dans la boucle:

Code PHP :

<?php 

list($msec,$sec)=explode(' ',microtime());

$starttime=$msec+$sec;





$link = mysql_connect(BDD_HOST, BDD_USER, BDD_PASS);

if (is_resource($link)) {

    if (mysql_select_db(BDD_NOM,$link)) {

        mysql_query("SET NAMES 'utf8'");

    }

}



$tab=array();

$maxx=10000;

$maxy=10000;



for ($i=0;$i<10000;$i++) {

    $ok=false;

    while (!$ok) {

        $x=rand(0,$maxx);

        $y=rand(0,$maxy);

        if ($tab[$x+$y*$maxy]!=1) {

            $tab[$x+$y*$maxy]=1;

            $ok=true;

        }

    }

    mysql_query('INSERT into jeu_localisations(galaxie,objet,loc_x,loc_y,symboles,carac) VALUES (1,1,'.$x.','.$y.',\'ABCDE\',\'{"data":"rien"}\')') or die (mysql_error());

}







list($msec2,$sec2)=explode(' ',microtime());

$endtime=$msec2+$sec2;

$duree=$endtime-$starttime;

echo "durée globale: ".round($duree,4); 

[Myrina]

J'ai trouvé ma limitation à 16384 occurrences: c'est la fonction rand()!

En passant avec :

Code PHP :

<?php 

        $x=mt_rand(0,$maxx);

        $y=mt_rand(0,$maxy); 

[php_addict]

merci pour ce test, vraiment interessant

[Ter Rowan]

Est ce que y a un équivalent pour les update (autre que par une requête unique qui croise les données d'autres tables via une formule) ?


en tout cas c'est intéressant

[php_addict]

Est ce que y a un équivalent pour les update (autre que par une requête unique qui croise les données d'autres tables via une formule) ?

lit le manuel: http://dev.mysql.com/doc/refman/5.0/fr/load-data.html il faut préciser REPLACE ou un truc du genre

[jean-baptiste]

C'est marrant je me suis confronté au même problème au boulot.
Avec une échelle un peux plus importante. (1.000.000)
Dans tout les cas le faire dans un boucle en individuel est toujours plus lent.
Tout d'abbord il faut bien faire attention à sa structure de table, si tu peux éviter les autoincrements tu gagnes bien sur un peux de temps. De même si ta table est en myIsam.
L'autre avantage de le faire par lot est de controler l'intégrité de tes données au fur et à mesure.

Sinon si tu veux le faire via un fichier cela te permet de gagner bcp de temps( plus tu en as et plus tu gagnes du temps).
J'avais des champs personnellement avec bcp de donnée j'avais générer un fichier de 700Mo.
Je passais de 5 minutes via un fichier à 10aine de minute par lot de 5.000 insertions.

Tout dépend si le temps d'insertion est une priorité pour toi.

J-B