Ma question portait sur le te

eclairLucie/ = 28 Octobre, 2005 - 13:12

Ma question portait sur le temps cumulé, des requêtes préparés répétitives. Par exemple des UDATEs à l'intérieur d'une boucle.

Bonjour, Le seul moyen d'o

gsmet/ = 25 Novembre, 2005 - 01:15

Bonjour,

Le seul moyen d'obtenir une vue cumulée, c'est d'utiliser un analyseur de logs.

Pour PostgreSQL, il y a :
* http://pqa.projects.postgresql.org/ en ruby ;
* http://pgfouine.projects.postgresql.org/ en PHP sur lequel je travaille.

Ces analyseurs proposent entre autres des rapports normalisés qui regroupent les requêtes.

Tu obtiens ensuite ce genre de rapports :
* http://pqa.projects.postgresql.org/example.html
* http://pgfouine.projects.postgresql.org/sample.html
qui te permettent d'avoir une vision globale de ce qu'il se passe sur ta base.

PQA est l'historique. Il va très vite mais a besoin de beaucoup de mémoire. Du coup, ce n'est pas forcément chouette pour parser des gros logs dans un environnement de production.

pgFouine est plus lent mais utilise beaucoup moins de mémoire (c'est un des objectifs premiers). La version 0.1 marche déjà très bien et est tout à fait utilisable. La version 0.2 de pgFouine devrait sortir ce we ou courant de semaine prochaine.

Quelques conseils :
* ne pas hésiter à analyser des gros logs pour avoir une vision complète ;
* dans les versions 7.4, il n'est pas possible de parser correctement des logs stderr car ils ne contiennent pas les informations de contexte de la requête (pid, command number, command line) : si la charge est importante, on se retrouve avec toutes les requêtes mélangées et aucun moyen de les regrouper. Du coup, il faut forcément utiliser des logs Syslog pour obtenir des rapports pertinents. Dans les versions 8.x, ca va être possible en utilisant l'option log_prefix mais ni PQA ni pgFouine ne le supportent pour l'instant.

On est très preneur de retour sur l'utilisation de ces outils car on ne peut les améliorer qu'en leur soumettant des logs à analyser.

--
Guillaume

Bonjour, j'ai été très dé

sparky/ = 25 Novembre, 2005 - 14:43

Bonjour, j'ai été très déçu par PQA et j'ai donc développé mon propre outil d'analyse de log pour postgres pour les versions de postgres, supporte aussi psql 8.

Cet outil est en python, assez rapide et a toutes les fonctionnalités de PQA plus quelques une.

Je ne lui ai pas encore trouvé de nom fun, mais si tu as besoin du script...

Si le code est libre, ca pour

gsmet/ = 28 Novembre, 2005 - 16:50

Si le code est libre, ca pourrait effectivement être intéressant de comparer les optiques prises et les résultats obtenus. Ca pourrait notamment permettre d'améliorer nos parsers respectifs.
J'ai également quelques bouts de logs problématiques qu'il pourrait être intéressant de partager.

De mon côté, le code est dans le CVS de pgfoundry. Les remarques, commentaires et retours d'utilisation sont les bienvenus.

J'ai encore quelques éléments dans ma TODO avant de libérer la 0.2 mais la version CVS est en général utilisable.

pqa python

wilk/ = 27 Juillet, 2006 - 11:59

As-tu trouvé un nom à ton pqa en python ? pyqa ? Sinon, j'aimerai bien jeter un oeuil dessus ;-)