Technique - optimisation | insert/update très massifs dans table de 50 M de record.

Par nuggets le 25/07/2006 - 10:48

Mon problème :
update de 50.000.000 de records et insert de 2.000.000 d'une façon régulière

je veux améliorer les performances qui sont très insuffisantes.

J'ai exploré les pistes :
- englober les opérations par milliers (2000-3000-5000) au sein de transaction entre BEGIN et COMMIT
- modifier les paramètres du postgresql.conf
shared_buffers (plusieurs essais 30000 50000 75000)

Technique - optimisation | Gestion d'arbre avec un index sur champs text + lien symbolique

Par Froggy le 07/06/2006 - 15:13

Pour la version 2 de notre moteur d'e-commerce, je me suis occupé de refaire la gestion de l'arbre des catégories. Pour se faire, je me suis inspiré des travaux de Miguel Sofer en y ajoutant une fonctionalité assez utilisé dans l'e-commerce: la gestion de lien.

Aujourd'hui, après mûre réflexion, nous avons décidé de releaser l'algo en LGPL pour différentes raisons, dont un manque de temps pour finaliser et tester intégralement les possibilités ainsi qu'un profit éventuel pour la communauté.

Technique - optimisation | Améliorer les performances d'une base en lecture

Par Ontologiae le 27/04/2006 - 14:04

Bonjour, je tente de finaliser la migration d'une base de donnée Oracle vers Postgre et j'ai de graves problèmes de performances.
Cette base ne sert quasi exclusivement qu'en lecture. Les écritures et autres modifications sont très rares, de l'ordre de quelques lignes par mois.
C'est une petite base pesant 50 Mo environ. Elle sert pour un site web sur l'intranet de l'entreprise et est de temps en temps utilisée (quelques fois par jours).

Technique - optimisation | PostgreSQL et fréquence de réindexation

Par Julio le 15/02/2006 - 13:26

Bonjour,

Je travaille sur l'optimisation de procédures PL/pgSQL d'une base PostgreSQL.

Un certain nombre des tables de cette base connaissent beaucoup d'insertions de nouveaux enregistrements, des update et des consultation.

J'ai remarqué que même si ces tables sont toutes fraîchement réindexées, l'insertion d'une centaine de nouveaux enregistrements pénalisent énormément les temps de réponses. Ces temps de réponse chutent si je refait une réindexation juste après ces insertions.

Technique - optimisation | index de jointure

Par hondjack le 14/02/2006 - 19:08

Bonjour,

Je voudrai savoir s'il est possible de créer en PostgreSQL des index de jointure (ex. index bipmap sur oracle).

Si non y aurait il une astuce (ou un moyen) pour optimiser des jointures entre des tables.

Merci de votre aide.

Hondjack

Technique - optimisation | out of memory error

Par martial le 14/02/2006 - 17:28

Bonjour,

En voulant optimiser une requete qui passe par un hashAgregate,
j'ai l'erreur suivante "out of memory"
avec les traces qui suivent :

TopMemoryContext: 32768 total in 3 blocks; 5152 free (1 chunks); 27616 used
TopTransactionContext: 8192 total in 1 blocks; 8136 free (0 chunks); 56 used
DeferredTriggerXact: 0 total in 0 blocks; 0 free (0 chunks); 0 used
MessageContext: 24576 total in 2 blocks; 2688 free (14 chunks); 21888 used

Technique - optimisation | Grosses modifications de données... abandon et recréation des index..

Par Julio le 14/02/2006 - 11:40

Bonjour,

Dans la FAQ de PostgreSQL, au sujet de l'optimisation, j'ai lu la phrase suivante :

"... Aussi, envisagez d'abandonner et de recréer des index lors de grosses modifications de données...."

Pouvez-vous me dire comment "abandonner" un index ?
Peut-on faire autant pour une clé primaire ?

J'ai un exemple concret : j'ai une transaction dans mon code java qui insère un enregistrement dans une table. La table en question possède un trigger qui lance en "before insert" un certain nombre de procédure PL/pgSQL. J'ai essayé en début de la procédure principale de supprimer la clé primaire et de la recréer en fin de traitement. Cela n'a pas abouti. Pensez-vous que cela a pour origine le faite d'être dans une transaction ?

Technique - optimisation | Clé primaire et index : Optimisation de requête Select

Par Julio le 14/02/2006 - 10:51

Bonjour,

Dans un ensemble de procédures PL/pgSQL, on fait réalise un certain nombre d’insertions dans une table avec des select sur une autre table que j’appele T_lien.

Cette table T_lien a :
- une clé primaire sur deux champs : mere et fille.
- Un index sur le champ mere.

Dans mon code PL/pgSQL à optimiser, j’ai des select avec des clauses Where d’égalité sur le champ mere et d’autres avec le champ fille.

Technique - optimisation | Visualiser les requêtes sur un serveur postgres

Par nougasplou le 10/02/2006 - 12:14

Salut,
J'aimerais savoir s'il existe un programme ou une commande linux pour savoir qui est connecté sur la base, les requêtes envoyées, si la requête a pris beaucoup de ressources sur le CPU ...

Technique - optimisation | Augmenter les performances d'un serveur PostgreSQL

Par hlepesant le 07/02/2006 - 16:42

Bonjour,

J'ai monté pour ma boite un serveur SyslogNG afin de stocker les logs dans une base de donnée.
J'ai choisi PostgreSQL comme serveur de base de données.

La machine HP DL 380 Intel Xéon 3.0Ghz HT activé, 1Go de RAM
L'OS est FreeBSD 5.4.p10
et le PostreSQL un 8.0.6 compilé à partir des ports

Les syslogs sont "traduits" en requètes SQL par le SyslogNG dans des fichiers.
Et toutes les 5 minutes un script shell envoie ces fichiers dans la base de données.