PostgreSQL La base de donnees la plus sophistiquee au monde.

Actualités

vendredi 24 juillet 2009

Nouvelles hebdomadaires de PostgreSQL - 19 juillet 2009

La première Commitfest du cycle de développement de la 8.5 est ouverte ! http://commitfest.postgresql.org/

Le PUG italien a rejoint le "PostgreSQL Translation Project". Un groupe de travail de 9 personnes a entrepris de rendre plus verte la section italienne de babel.postgresql.org. Plus d'informations en italien : http://traduzioni.itpug.org/

Les nouveautés des produits dérivés

(lien vers l'article original)

Lire la suite...

vendredi 17 juillet 2009

Nouvelles hebdomadaires de PostgreSQL - 12 juillet 2009

Des places sont toujours disponibles pour le PgDay de San Jose, dimanche 19 juillet. Inscrivez-vous rapidement ! http://wiki.postgresql.org/wiki/PgDaySanJose2009

Un nouvel outil fait son apparition pour les Commitfests. Merci à Robert Haas, Brendan Jurd et de nombreux autres : http://commitfest.postgresql.org/

Les nouveautés des produits dérivés

(lien vers l'article original)

Lire la suite...

vendredi 10 juillet 2009

Nouvelles hebdomadaires de PostgreSQL - 5 juillet 2009

Publication de PostgreSQL 8.4.0 : http://www.postgresql.org/about/press/features84.html

Relecteurs de patchs demandés de toute urgence ! Mail à robertmhaas (chez) gmail [point] com pour se porter volontaire : http://wiki.postgresql.org/wiki/Reviewing_a_Patch

Les nouveautés des produits dérivés

(lien vers l'article original)

Lire la suite...

jeudi 9 juillet 2009

ma fonctionnalité 8.4 préférée : pg_stat_statement

Dans ce billet, je vais essayer de faire la publicité de ma fonctionnalité préférée de la version 8.4.

Comme toujours, il y a une foule de nouveautés, toutes très intéressantes, et il est difficile d'en déclarer une comme étant la meilleure. Toutefois, j'ai un faible pour pg_stat_statement, et je vais essayer de vous expliquer pourquoi

Pour superviser l'activité sur un serveur PostgreSQL, et trouver les requêtes SQL qui dégradent les performances, jusqu'à aujourd'hui, il n'y avait à ma connaissance qu'une seule solution : on active les traces des ordres SQL et de leur durée (log_statement à all, log_duration à on). Ensuite, on récupère la log de postgresql et on la fait avaler à pgfouine ou pqa, on obtient un rapport et on va voir les développeurs (ou on rajoute un index dans son coin ...) (les paramètres de log sont documentés ici : http://docs.postgresql.fr/8.4/runtime-config-logging.html)

Cette méthode fonctionne, mais a des gros défauts :
  • On trace TOUS les ordres SQL dans la log, ce qui fait qu'on a une log gigantesque assez rapidement (ça peut monter rapidement à plusieurs gigas sur une base très active)
  • C'est gourmand en ressources, parce qu'il faut formater les traces, les écrire dans la log, découper le message en plusieurs morceaux si il est plus grand qu'une trame syslog et qu'on a décidé de tracer en syslog. Et le surcoût est le même pour une requête de 20 µs et une requête de 2h.
  • On n'a que la durée des requêtes


On peut mitiger l'impact de la fonction de log de plusieurs façons :
  • On ne trace de que les ordres SQL un peu longs
  • On ne trace que sur de courtes périodes d'activités

Dans le premier cas, le problème est qu'on risque de laisser échapper des requêtes unitaires très courtes exécutées des millions de fois. Je l'ai constaté assez souvent dans des développements objets avec de (trop?) nombreux niveaux d'abstraction. On peut facilement se retrouver avec des requêtes insignifiantes exécutées plusieurs milliers de fois à la minute (l'infâme SELECT * FROM DUAL sous Oracle par exemple d'un développeur qui veut vérifier que sa session marche bien avant de lancer un autre ordre, et qui l'a mis à chaque fois qu'il récupère une session d'un pool, au cas où ... ou bien les gens qui réintérrogent un référentiel en permanence). Bref, vaut-il mieux chasser les 10000 appels inutiles à la minute à une requête qui dure 10ms, ou améliorer la requête lancée une fois par minute qui dure 1 seconde? Ça dépend des cas, mais il est  préférable que l'audit de performance révèle les 2 (ce qui est très difficile si on ne trace pas tout...)

Dans le second cas, c'est garanti, on va rater une période intéressante. Et on ne pourra pas faire d'analyse à posteriori.

C'est ici qu'arrive ma fonctionnalité préférée : "et si, au lieu de tout tracer dans une log pour ensuite devoir reparser et réanalyser tout, on avait une zone de mémoire partagée dans laquelle les processus pouvaient mettre à jour des stats cumulées sur chaque requête ?".

Les avantages de cette méthode sont :
  • C'est très performant. Je n'ai pas réussi à en mesurer l'impact, et les benchs fait par le développeur montrent un impact négligeable
  • On a un peu plus d'informations qu'avec la log (le nombre d'enregistrements cumulés ramenés par la requête)
C'est donc un mécanisme qu'on peut avoir activé en permanence, consultable par une simple requête.

Je n'ai pas de base de production sous la main en ce moment, mais voici un exemple :
"Donne moi les 2 requêtes les plus gourmandes en temps d'exécution cumulé depuis le dernier reset des stats" :
test=# SELECT * from pg_stat_statements order by total_time desc limit 2;
-[ RECORD 1 ]------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
userid     | 10
dbid       | 16384
query      | INSERT INTO test SELECT * from test;
calls      | 12
total_time | 0.036099
rows       | 20475
-[ RECORD 2 ]------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
userid     | 10
dbid       | 16384
query      | SELECT pg_catalog.quote_ident(c.relname) FROM pg_catalog.pg_class c WHERE c.relkind IN ('r', 'S', 'v') AND substring(pg_catalog.quote_ident(c.relname),1,6)='pg_sta' AND pg_catalog.pg_table_is_visible(c.oid)
           : UNION
           : SELECT pg_catalog.quote_ident(n.nspname) || '.' FROM pg_catalog.pg_namespace n WHERE substring(pg_catalog.quote_ident(n.nspname) || '.',1,6)='pg_sta' AND (SELECT pg_catalog.count(*) FROM pg_catalog.pg_namespace WHERE substring(pg_catalog.quote_ident(nspname) || '.',1,6) = substring('pg_sta',1,pg_catalog.length(pg_catalog.quote_ident(nspname))+1)) > 1
           : UNION
           : SELECT pg_catalog.quote_ident(n.nspname) || '.' || pg_catalog.quote_ident(c.relname) FROM pg_catalog.pg_class c, pg_catalog.pg_namespace n WHERE c.relnamespace = n.oid AND c.relkind IN ('r', 'S', 'v') AND substring(pg_catalog.quote_ident(n.nspname) || '.' || pg_catalog.quote_ident(c.relname),1,6)='pg_sta' AND substring(pg_catalog.quote_ident(n.nspname) || '.',1,6) = substring('pg_sta',1,pg_catalog.length(pg_catalog.quote_ident(n.nspname))+1) AND (SELECT pg_catalog.count(*) FROM pg_catalog.pg_namespace WHERE substring(pg_catalog.quote_ident(nspname) || '.',1,6) = substring('pg_sta',1,pg_catalog.length(pg_catalog.quote_ident(nspname))+1)) = 1
           : LIMIT 1000
calls      | 4
total_time | 0.006295
rows       | 87

Évidemment, sur une base de test, avec une table test, ce n'est pas très intéressant. Avec une vraie base de production c'est autre chose...

On peut aussi utiliser cette vue pour faire des snapshots de l'activité toutes les quelques minutes par exemple :

Pour le premier snapshot :
CREATE TABLE snapshot as select now(),* from pg_stat_statements;
Pour les suivants :
INSERT INTO snapshot select now(),* from pg_stat_statements;


On peut aussi imaginer remettre à zéro les compteurs (suivant ce qu'on veut faire des snapshots, cumulés ou indépendants) avec pg_stat_statements_reset.Avec cela il est possible de 'retrouver' le ou les ordres SQL qui ont fait 'ramer' l'application à une heure donnée (ou dédouaner la base de données...)

Les seuls points qui me chagrinent encore sur pg_stat_statement sont qu'il s'agit d'une contrib (c'est normal, mais ça veut dire que cette fonctionnalité sera moins exposée qu'elle le mérite), et que quelques statistiques importantes supplémentaires pourraient servir : la quantité de données lues du cache, la quantité lue du disque, et la quantité écrite dans le cache. Pourquoi pas aussi être capable de séparer le temps de parsing du temps d'exécution (pour repérer les requêtes qui pourraient gagner à être préparées).

Bref, une fonctionnalité à tester d'urgence si ce n'est pas déjà fait...

La doc officielle : http://docs.postgresql.fr/8.4/pgstatstatements.html

Un dernier point : l'autre raison pour laquelle c'est ma fonctionnalité préférée, c'est que c'est une des fonctionnalités qui manquait à PostgreSQL pour faciliter un audit ou un suivi des performances par rapport à Oracle (la vue V$SQLAREA). C'est une fonctionnalité à laquelle on s'habitue assez facilement, c'était assez frustrant de ne pas l'avoir sur son SGBD favori.

jeudi 2 juillet 2009

PostgreSQL 8.4 disponible

PostgreSQL 8.4

1er juillet 2009 Le groupe de développement mondial de PostgreSQL (PGDG) a publié la version 8.4, dans la continuité du développement rapide de ce SGBD avancé.

Cette version apporte un nombre considérable d'améliorations facilitant plus encore l'administration, le requêtage et la programmation des bases de données PostgreSQL.

Les 293 fonctionnalités nouvelles ou améliorées sont autant de raisons supplémentaires de choisir PostgreSQL pour vos projets futurs.

Contenu

  Texte d'origine
  Liste des fonctionnalités
  Où la télécharger
  Documentation
  Licence
  Contacts
  Informations concernant les sociétés citées
  Support commercial

Texte d'origine

1er juillet 2009 Le groupe de développement mondial de PostgreSQL (PGDG) a publié la version 8.4, dans la continuité du développement rapide de ce SGBD avancé.

Cette version apporte un nombre considérable d'améliorations facilitant plus encore l'administration, le requêtage et la programmation des bases de données PostgreSQL.

Les 293 fonctionnalités nouvelles ou améliorées sont autant de raisons supplémentaires de choisir PostgreSQL pour vos projets futurs.

Les modifications les plus nombreusses concernent des outils et commandes d'administration et de surveillance nouveaux ou améliorés. Tout utilisateur trouvera son outil préféré pour faciliter son utilisation quotidienne de PostgreSQL et améliorer sa productivité.

« Nous utilisons PostgreSQL depuis 7 ans maintenant, et attendons beaucoup des nombreuses fonctionnalités de PostgreSQL 8.4, notamment les droits de niveau colonne, les locales par base, les correspondances partielles d'index GIN et les exceptions utilisateur », déclare Jeffrey Webster, CTO de ZooLoo.com. « PostgreSQL nous a permis de croître sans sacrifier l'intégrité des données. »

Parmi les améliorations les plus populaires, citons :

  • la restauration parallèle de bases, accélarant jusqu'à un facteur 8 les restaurations ;
  • les droits de niveau colonne, permettant un contrôle plus granulaire des données sensibles ;
  • le support des interclassement par base, améliorant l'utilisabilité de PostgreSQL en environnement multi-lingual 
  • les mises à jour en place à travers pg_migrator bêta, permettant des mises à jour de 8.3 vers 8.4 sans interruption de service excessive 
  • de nouveaux outils de requêtage, donnant aux administrateurs une meilleure compréhension de l'activité des requêtes.

La version 8.4 facilite l'analyse de données au travers des fonctionnalités ANSI SQL 2003 étendues de fonctions de fenêtrage, d'expressions de table commune et de jointures récursives.

« Ces structures de requête accroissent l'expressivité du dialecte SQL de PostgreSQL en permettant aux utilisateurs de poser d'intéressantes questions en une seule requête. Chose impossible jusque-là. », explique Sailesh Krishnamurthy, fondateur de Truviso.

Les améliorations des procédures stockées, telles que les paramètres par défaut et les paramètres de nombre variable, simplifient la programmation serveur.

La nouvelle version accélère également les performances applicatives, comme le commente Kevin Grittner, administrateur de bases de données au sein des systèmes de la cour du Wisconsin, « Chaque version majeure apporte son lot d'amélioration des performances de PostgreSQL. La version 8.4 a ajouté de nombreuses optimisations, telles que les semi-jointures et les anti-jointures, ce qui améliore considérablement les temps d'exécution de nos requêtes les plus gourmandes. »

Ces fonctionnalités signifient que PostgreSQL 8.4 permettra de servir encore plus d'utilisateurs, comme le projet OpenStreetMap. « Lorsque nous avons planifié la nouvelle version de l'API OpenStreetMap, il apparaissait évident que nous avions besoin d'une base de données de renommée mondiale, qui non seulement fournirait les bonnes fonctionnalités, mais en plus se comporterait correctement à notre échelle. Bien qu'il existe de nombreuses bases de données libres, PostgreSQL était un choix évident. », déclare Tom Hughes, administrateur système chez OpenStreetMap.

Version étendue

Liste des fonctionnalités

La version 8.4 offre un nombre de nouvelles fonctionnalités sans précédent. Nous avons créé de nouvelles pages pour les présenter :

Téléchargements

Documentation

La documentation HTML et les pages de manuel sont installées avec PostgreSQL, mais n'hésitez pas à parcourir, chercher et commenter notre documentation en ligne, exhaustive et interactive.

License

PostgreSQL utilise la licence BSD, qui ne nécessite que le maintien des informations de licence et de copyright dans le code source sous licence. Cette licence certifiée par l'OSI est largement appréciée, flexible et compatible avec les contraintes du monde des affaires, puisqu'elle ne restreint pas l'utilisation de PostgreSQL avec les applications commerciales et proprétaires. Associée au support de multiples compagnies et à une possession publique du code, la licence BSD rend PostgreSQL très populaire au sein des revendeurs souhaitant embarquer une base dans leurs produits sans crainte d'une redevance, de verrous vendeur ou de modification de la licence.

Contacts

Web Pages

Requêtes presse

France et Europe francophone
Stéphane A. Schildknecht
fr@postgresql.org
+33 953 699 712

Pour les contacts dans les autres régions, consulter notre page de contacts internationaux.

Informations concernant les sociétés citées et texte des citations

Les contacts suivants sont exclusivement anglophones.

« Nous utilisons PostgreSQL depuis 7 ans maintenant, et attendons beaucoup des nombreuses fonctionnalités de PostgreSQL 8.4, notamment les droits de niveau colonne, les locales par base, les correspondances partielles d'index GIN et les exceptions utilisateur », déclare Jeffrey Webster, CTO de ZooLoo.com. « PostgreSQL nous a permis de croître sans sacrifier l'intégrité des données. »
Contact : Melissa ou visiter ZooLoo.com

« Chaque version majeure apporte son lot d'amélioration des performances de PostgreSQL, » déclare Kevin Grittner, administrateur de bases de données, Consolidated Court Automation Programs, Wisconsin Court System. « La version 8.4 a ajouté de nombreuses optimisations, telles que les semi-jointures et les anti-jointures, ce qui améliore considérablement les temps d'exécution de nos requêtes les plus gourmandes. »
Contact : Kevin Grittner ou visiter Wisconsin Court System

« Ces structures de requête accroissent l'expressivité du dialecte SQL de PostgreSQL en permettant aux utilisateurs de poser d'intéressantes questions en une seule requête. Chose impossible jusque-là. », explique Sailesh Krishnamurthy, fondateur de Truviso.
Contact : Info e-mail ou visiter Truviso.

« Lorsque nous avons planifié la nouvelle version de l'API OpenStreetMap, il apparaissait évident que nous avions besoin d'une base de données de renommée mondiale, qui non seulement fournirait les bonnes fonctionnalités, mais en plus se comporterait correctement à notre échelle. PostgreSQL nous permet de supporter la cohérence de la base de données à l'aide des clés étrangères et des mises à jours transactionnelles, tout en donnant à nos administrateurs les outils requis pour travailler sur notre base de 850 Go, tout en maintenant le développement continuel des structures de nos tables et les aspects opérationnels tels que les instantanés cohérents.Bien qu'il existe de nombreuses bases de données libres, PostgreSQL était un choix évident. » déclare Tom Hughes, administrateur projet chez OpenStreetMap.
Contact : Tom Hughes ou visiter OpenStreetMap.

Support commercial

PostgreSQL bénéficie du support de nombreuses companies, qui financent les développeurs, aident à l'hébergement et apportent un support financier. Les principaux mécènes sont mentionnés sur page des mécènes du développement.

Il existe également une vaste communauté de compagnies fournissant du support PostgreSQL, du consultant indépendant aux compagnies multi-nationales.

Dons acceptés avec joie.

mardi 30 juin 2009

Nouvelles hebdomadaires de PostgreSQL - 28 juin 2009

La 8.4.0 sera bientôt publiée. En attendant, poursuivez les tests ! http://www.postgresql.org/developer/beta

Il y aura une conférence à Athens (Georgie, États-Unis) le 19 septembre 2009. L'appel aux conférences est ouvert : http://www.postgresqlconference.org/2009/pgday/athens

La rencontre PostgreSQL lors du FISL à Porto Alegre (Brésil) fut vive. Quelques photos : http://picasaweb.google.com/diogob/FISL2009?feat=directlink

Le PUG allemand a obtenu un emplacement développeur au FrOSCon le dimanche 23 août 2009. L'appel à conférences est ouvert : http://andreas.scherbaum.la/blog/archives/573-Call-for-Papers-fuer-den-PostgreSQL-Devroom-auf-der-FrOSCon-2009.html

Une suite de conférences est organisée à Seattle (État de Washington, États-Unis) du 16 au 18 octobre 2009. L'appel à conférences est ouvert : http://www.postgresqlconference.org/2009/west

Les nouveautés des produits dérivés

L'astuce de la semaine

Besoin d'envoyer des données à MS Excel® ? "COPY ... WITH CSV HEADERS"

(lien vers l'article original)

Lire la suite...

samedi 27 juin 2009

Nouvelles hebdomadaires de PostgreSQL - 21 juin 2009

L'appel à conférences pour le PGDay.eu est lancé : http://2009.pgday.eu/

À partir du 1er octobre, 2ndQuadrant va offrir, pendant 15 mois, un support gratuit aux étudiants de l'université de L'Aquila (région des Abruzzes en Italie). Plus d'informations (en italien) : http://blog.2ndquadrant.it/it/2009/06/2ndquadrant-universita-aquila.html

L'"OpenSQL Camp" aura lieu les 22 & 23 août à St Augustin (All.), près de Bonn et de Cologne. La date limite pour les propositions de conférences est le 19 juillet 2009 : http://opensqlcamp.org/Events/2009/Call_for_Participation

L'appel à conférences pour la "PyCon Argentina" est lancé jusqu'à la date du 29 juin 2009, 23h59 ART [ndt: UTC-3 ?]. La conférence elle-même aura lieu à Buenos Aires les 4 & 5 septembre 2009 : http://ar.pycon.org/2009/rfp/

Les nouveautés des produits dérivés

La fonctionnalité 8.4 de la semaine

EXPLAIN ANALYZE affiche l'utilisation de la mémoire par les différents tris et hachage.

L'astuce de la semaine

Les GUC utilisateurs (paramètres de configuration) comme work_mem et constraint_exclusion peuvent être spécifés comme caractéristiques d'un ROLE ou d'une fonction.

(lien vers l'article original)

Lire la suite...

mardi 23 juin 2009

Appel à conférences pour le pgDay 2009 à Paris

PostgreSQLFr, en partenariat avec PostgreSQL Europe, est fière d'accueillir la deuxième conférence européenne dédiée à PostgreSQL.

Cet événement, constitué de conférences et de présentations, se déroulera sur 2 jours, les 6 et 7 novembre 2009, dans les locaux de Telecom Paristech, à Paris.

Les sujets couverts intéresseront les utilisateurs, les développeurs et les contributeurs à PostgreSQL. Pour plus d'informations, n'hésitez pas à parcourir le site web de l'événement.

Nous acceptons dès maintenant toute proposition de conférence.

Ces conférences, d'une durée de 45 minutes chacune, peuvent traiter de tout thème en relation avec PostgreSQL. Quelques suggestions :

  • développement de PostgreSQL
  • développement d'applications pour PostgreSQL
  • outils PostgreSQL
  • communauté et groupes d'utilisateurs
  • configuration du serveur
  • migration d'autres systèmes
  • réplication
  • tests de performances, tests du matériel

Il y aura aussi une session de petites conférences très rapides (cinq minutes), appelées lightning talks. Un appel séparé pour ce type de conférences sera lancé dans les prochaines semaines.

La date de fin de soumission des propositions est le 15 août 2009. Merci d'envoyer vos propositions par mail à papers@postgresql.eu, avec les informations suivantes :

  • Nom
  • Société (si cela s'applique)
  • Biographie (un paragraphe sur vous et votre implication dans PostgreSQL)
  • Titre de la présentation
  • Résumé de la présentation

Les propositions de conférences seront jugées par un comité qui fournira un agenda publié à quelques jours de la conférence.

Si votre proposition est acceptée, vous serez informé par courriel dans les deux semaines qui suivent la date de fin de soumission des propositions.

Nous attendons vos propositions avec impatience !

samedi 20 juin 2009

Guide de démarrage rapide avec PostgreSQL

Pourquoi ce document?

J'ai commencé à développer sous PostgreSQL assez récemment après une longue expérience sous Oracle. La documentation générale de PostgreSQL est excellente, et très riche, mais j'avais besoin d'un document plus léger expliquant la procédure d'installation sur différents systèmes et comment démarrer (créer un cluster, configurer les connexions), ainsi que des informations sur ce qu'on pouvait faire avec PostgreSQL. Je ne l'ai pas trouvé. Après quelques mois d'utilisation, je me suis rendu compte que les problèmes des débutants étaient toujours les mêmes. Ainsi, j'ai compilé mes notes des débuts et ce que j'ai appris depuis dans ce document. Voici le résultat, en espérant qu'il vous aide à débuter et qu'il vous encourage à continuer avec PostgreSQL.

À qui s'adresse ce document?

Ce document a pour but de vous aider à installer PostgreSQL sous Windows ou sous Linux, et à commencer à développer.

Il est écrit pour vous faire gagner du temps dans vos premiers pas avec PostgreSQL, tout en vous expliquant les points importants afin que vous puissiez progresser par vous-même. Il s'adresse donc principalement aux développeurs d'applications, afin de leur permettre de découvrir ce puissant moteur sur une petite base de test, ou aux personnes qui débutent complètement avec PostgreSQL. Vous n'aurez pas besoin de connaissances système avancées pour suivre ce document.

Une fois que vous aurez terminé la lecture de ce document, vous pourrez continuer par la lecture de la documentation officielle pour apprendre à administrer PostgreSQL ou devenir un développeur aguerri. La dernière section de ce document vous donne les liens et références nécessaires pour continuer à progresser. Parfois les informations ne sont volontairement pas complètes, et lorsque la documentation de référence est plus claire et précise que ce qui aurait pu être fait ici, les liens sont fournis vers la documentation française.

Ce document a été écrit initialement pour la version 8.3, mais les principes sont les mêmes avec les versions 8.2 et 8.4 (voir le chapitre sur les versions).

Avertissement : ce document n'est en aucun cas un document sur le tuning de la base. Il n'est pas fait non plus pour vous apprendre à administrer une base de production.

Lire la suite...

jeudi 18 juin 2009

Nouvelles hebdomadaires de PostgreSQL - 14 juin 2009

PostgreSQL 8.4 RC1 sera bientôt disponible. Faites préchauffer les bancs de test ! http://www.postgresql.org/developer/beta
[ndt: cf http://blog.postgresql.fr/index.php?post/2009/06/17/PostgreSQL-8.4-Release-Candidate-1-disponible]

Nouveau sondage : quelle est votre plus forte attente concernant le développement de PostgreSQL ? http://www.postgresql.org/community

Le projet TikiWiki a besoin d'une aide postgresqlienne ! TikiWiki a besoin d'un mainteneur de compatibilité PostgreSQL, sans quoi le support pourrait être arrêté. Si vous utilisez TikiWiki et pouvez aider, veuillez contacter marclaporte AT tikiwiki DOT org.

Les nouveautés des produits dérivés

La fonctionnalité 8.4 de la semaine

C'est le module pg_stat_statements (contrib) qui permet d'établir des statistiques d'exécution pour l'ensemble du serveur. Que les devins de la charge serveur se réjouissent !
[ndt: http://docs.postgresql.fr/8.4/pgstatstatements.html]

L'astuce de la semaine

Il est conseillé d'indexer les champs de clefs étrangères (côté référençant ou "fils"), à moins que les valeurs référencées aient une très faible cardinalité. PostgreSQL ne met pas cela en place automatiquement.

(lien vers l'article original)

Lire la suite...

mercredi 17 juin 2009

PostgreSQL 8.4 Release Candidate 1 disponible

La version finale de PostgreSQL 8.4 se rapproche encore aujourd'hui, avec la publication de la première Release Candidate.

La communauté de développement compte désormais sur l'ensemble des utilisateurs et développeurs de PostgreSQL de part le monde pour tester cette RC. Il faut désormais vérifier qu'elle est stable, sûre, sécurisée et suffisamment performante pour devenir la version offcielle de PostgreSQL. Télécharger dès aujourd'hui la 8.4 RC1 et testez-la avec vos applications.

Page d'informations concernant les tests et liens de téléchargement :

   http://www.postgresql.org/developer/beta

Un grand nombre des problèmes corrigés concernent pg_migrator, le nouvel outil de mise-à-jour « en place » pour PostgreSQL. Testez la migration de vos bases 8.3 en 8.4 et remontez toute erreur de pg_migrator, en particulier celles concernant les modules additionnels (contrib).

pg_migrator sera publié prochainement en version RC1, version compatible avec la version 8.4 RC1. Téléchargez-le à : http://pgfoundry.org/projects/pg-migrator/

Cette RC inclut également nombre de modifications dans la gestion des paramètres NULL de fonctions internes, de façon à prévenir tout exploit de déni-de-service. Premièrement, la fonction générale internal_in() est désormais définie NONSTRICT de façon à intercepter les erreurs NULL pour débogage. Deuxièmement, de nombreuses fonctions internes des modules aditionnels ont été marqués STRICT pour les vérouiller, en particulier plusieurs fonctions portant sur les index GiST et pg_freespacemap. Il convient de s'assurer qu'il n'y a pas d'effet de bord inattendu de cette politique de sécurité accrue pour les fonctions internes au niveau de vos applications, en particulier si vous utilisez des additiels tels que GIS et BLAST.

Autres points spécifiques corrigés depuis la bêta 2 :

-- support du Kerberos FreeBSD ; -- ordre des lignes dans curseurs WITH HOLD flottants ; -- la précision horaire dans INFORMATION_SCHEMA est compatible avec le standard ; -- normalisation des entrées pour les sous-types INTERVAL ; -- interdiction du double échappement des chaînes XML, et élimination du bogue causant un plantage XML ; -- problème de l'encodage par défaut de DBlink ; -- annulation de la modification incompatible dans les opérateurs Intarray ; -- ajout de statistique estimée du nombre de lignes pour les vacuums partiels ; -- DBlink utilise désormais l'API SQL/MED ; -- problème de corruption d'index GIN ; -- support des pluriels dans les chaînes traduites ; -- initialisation du support des bibliothèques Perl 5.10 ; -- divers problèmes dans la rotation des segments de traces pg_standby ; -- gestion de la syntaxe LIKE '%_' ; -- divers problèmes dans l'interface ECPG.

Pour une liste complète des correctifs, voir le mirroir Git :

   http://git.postgresql.org/gitweb?p=postgresql.git;a=shortlog

Nous comptons sur la communauté des utilisateurs pour que PostgreSQL continue d'être une des bases de données libres parmi les moins soumises aux bogues. Cela signifie que nous avons besoin des résultats de vos tests le plus rapidement possible.

mardi 16 juin 2009

Postgresql et l'authentification Apache

Postgresql et l'authentification Apache

Comment utiliser Postgresql pour l'authentification Apache

Apache permet de protéger, à l'aide d'un login et d'un mot de passe, l'accès à un répertoire ou à un fichier, par utilisateur ou groupe d'utilisateurs. Apache permet d'utiliser plusieurs méthodes pour gérer les droits des utilisateurs. L'administrateur Web a à sa disposition un script Apache, « htpasswd », et des fichiers de configuration de type texte. Il peut utiliser un annuaire LDAP ou une base de données Postgresql. L'utilisation de Postgresql permet de simplifier la programmation. La gestion des droits d'accès dans le site Web se fait en modifiant les tables, users et groups. Pour mettre en place cette technique il faut configurer Apache et Postgresql, cette documentation explique comment faire.

Préalable

Considérons que vous avez un serveur Web Apache et une base de données Postgresql fonctionnels. Si vous souhaitez modifier dynamiquement les droits Apache, il faut que vous sachiez vous connecter à Postgresql de Apache/Web/PHP, par exemple. Les fichiers de configuration donnés en exemple, sont ceux utilisés sur une distribution Linux RedHat Enterprise.

Installation et configuration

Vous avez donc installé et configuré un serveur web Apache et une base de données Postgresql.

Il vous reste à:

  • Ajouter les tables « users » et « groups » dans une base de données Postgresql.
  • Installer le module Apache mod_auth_pgsql.
  • Configurer le fichier Apache /etc/httpd/conf.d/auth_pgsql.conf
  • Ajouter des fichiers .htaccess dans les répertoires à protéger.

La suite décrit chacune de ces tâches.

Descriptif des tables users et groups Postgresql

Il faut ajouter à votre base de données Postgresql, les tables « users » et « groups », si vous conservez les noms standards des tables. Les tables users et groups doivent être conformes au format attendu par Apache. De plus les tables « users » et « groups » seront lu fréquemment par Apache, elles n'ont pas pour vocation de gérer des données des utilisateurs, hors le login, le mot de passe et l'appartenance à un ou plusieurs groupes d'utilisateurs. Il y a une clé étrangère dans la table « users » proposée. Elle permet des jointures avec une table qui gère les identités des utilisateurs.

Exemple de tables users et groups

CREATE TABLE users
(
user_name character varying(64) NOT NULL,
user_passwd character varying(32) NOT NULL,
"uIdIdentite" integer NOT NULL,
CONSTRAINT users_pkey PRIMARY KEY (user_name),
CONSTRAINT "idIdentite" FOREIGN KEY ("uIdIdentite")
REFERENCES "TIdentite" ("IdIdentite") MATCH SIMPLE
ON UPDATE NO ACTION ON DELETE NO ACTION
)
WITH (OIDS=FALSE);
ALTER TABLE users OWNER TO basecnl;

CREATE TABLE groups
(
user_name character varying(64) NOT NULL,
user_group character varying(20) NOT NULL,
CONSTRAINT groups_pkey PRIMARY KEY (user_name, user_group),
CONSTRAINT groups_user_name_fkey FOREIGN KEY (user_name)
REFERENCES users (user_name) MATCH FULL
ON UPDATE CASCADE ON DELETE CASCADE
)
WITH (OIDS=FALSE);
ALTER TABLE groups OWNER TO basecnl;

La modification de users et groups, à l'aide de pgadmin3 par exemple, permet de gérer finement les droits d'accès au site Web. Vous pouvez aussi le faire dynamiquement par programmation.

La base de données et les tables qu'Apache utilise pour l'authentification, sont à définir dans /etc/httpd/conf.d/auth_pgsql.conf.

Installer le module Apache mod_auth_pgsql

La façon de faire dépend de la distribution linux, il faut installer mod_auth_pgsql.so.

Configuration de Apache 2 pour Postgresql

Nous utiliserons le module Apache2, mod_auth_pgsql, avec une authentification type: mod_auth_basic".

/usr/lib64/httpd/modules/mod_auth_pgsql.so

Exemple de fichier /etc/httpd/conf.d/auth_pgsql.conf

Dans le fichier /etc/httpd/conf.d/auth_pgsql.conf, vous reconnaîtrez le nom des tables et des champs que vous avez défini dans Postgresql.

LoadModule auth_pgsql_module modules/mod_auth_pgsql.so
<Directory /var/www>
   AuthName "PostgreSQL group authenticated zone"
   AuthType Basic
   Auth_PG_database basecnl
   Auth_PG_pwd_table users
   Auth_PG_uid_field user_name
   Auth_PG_pwd_field user_passwd
   Auth_PG_grp_table groups
   Auth_PG_grp_user_field user_name
   Auth_PG_grp_group_field user_group 
</Directory>

Configuration de Apache – .htaccess des répertoires Web

Les fichiers .htaccess sont des fichiers de configuration d'Apache, permettant de définir des règles dans un répertoire et dans tous ses sous-répertoires (qui n'ont pas de tel fichier à l'intérieur).

Exemple de fichier .htaccess

Ce fichier autorise l'accès au répertoire pour les utilisateurs du groupe « correspondant »

AuthName "Acces restreint aux correspondants "
AuthType basic
#AuthBasicAuthoritative off
Auth_PG_authoritative on
Auth_PG_host localhost
Auth_PG_port xxxx
Auth_PG_user xxxx
Auth_PG_database xxxx
#Auth_PG_pwd xxxxxxxx
Auth_PG_pwd_table "users"
Auth_PG_uid_field user_name
Auth_PG_pwd_field user_passwd
Auth_PG_grp_table "groups"
Auth_PG_grp_user_field user_name
Auth_PG_grp_group_field user_group
Auth_PG_grp_whereclause " and user_group = 'correspondant' "
Auth_PG_encrypted off
<LIMIT GET POST>
require valid-group
</LIMIT>

« AuthBasicAuthoritative off » et « Auth_PG_pwd xxxxxxxx » sont en commentaire. Dans certaines configurations, il faut enlever les commentaires.

Descriptif des champs

Auth_PG_host : Nom ou adresse IP du serveur Postgresql
Auth_PG_port : Port utilisé, par default 5432
Auth_PG_user : Nom de l'utilisateur Postgresql
Auth_PG_pwd : Mot de passe de l'utilisateur
Auth_PG_database : Nom de la base de données
Auth_PG_pwd_table : Nom de la table ou sont stockés les utilisateurs
Auth_PG_uid_field : Nom du champ qui contient le Login de l'utilisateur
Auth_PG_pwd_field : Nom du champ qui contient les mots de passe
Auth_PG_encrypted : Si off les mots de passe sont stockés en clair dans la table
Auth_PG_hash_type : Soit MD5 ou CRYPT

Conclusion

Postgresql est particulièrement performant pour gérer l'authentification Apache. Choisir Postgresql pour réaliser des sites Web dynamique, c'est choisir la garanti d'avoir un produit à la fois professionnel et libre.

Références

mod_auth_pgsql documentation officielle en anglais : http://www.giuseppetanzilli.it/mod_auth_pgsql2/
Apache france: http://forums.apachefrance.com/
Wikipedia les fichiers .htaccess Apache : http://fr.wikipedia.org/wiki/Htaccess
Postgresqlfr le site de la communauté francophone; http://www.postgresql.fr/

Pascal Brognez , le 16 juin 2009

mercredi 10 juin 2009

Nouvelles hebdomadaires de PostgreSQL - 7 juin 2009

L'appel aux conférenciers est lancé pour la "PGCon Brazil" ! http://pgcon.postgresql.org.br/2009/chamadas.en.php

L'ITPUG sera à la Conférence Italienne pour le Logiciel Libre qui se tiendra à Bologne les 12 & 13 juin. Gabriele Bartolini sera présente, "Étudiants et open-source : le cas PostgreSQL", samedi 13 juin à 10h35 : http://www.confsl.org/

Les nouveautés des produits dérivés

La fonctionnalité 8.4 de la semaine

quote_nullable: similaire à quote_literal, mais retourne la chaîne "NULL" lorsque l'argument fourni est NULL.

L'astuce de la semaine

Le module 'ltree' des "contribs" est une implémentation des arborescences indexées et peut s'avérer utile pour représenter un système de fichier ou une hiérarchie similaire dans votre base.

(lien vers l'article original)

Lire la suite...

Nouvelles hebdomadaires de PostgreSQL - 31 mai 2009

Les nouveautés des produits dérivés

  • La version 1.0 de Sonar, une plate-forme open-source de gestion qualité de développement, supporte à présent PostgreSQL : http://sonar.codehaus.org/

La fonctionnalité 8.4 de la semaine

array_agg(): La procédure standard SQL pour aggréger des valeurs dans un tableau. C'est maintenant officiel... et plus rapide.

L'astuce de la semaine

Si vos requêtes avec agrégats sont lentes, essayez d'augmenter work_mem.

(lien vers l'article original)

Lire la suite...

lundi 1 juin 2009

Nouvelles hebdomadaires de PostgreSQL - 24 mai 2009

1°) Publication de la beta 2 de la version 8.4 de PostgreSQL, 2°) Tests : http://www.postgresql.org/developer/beta

PgCon fut un nouveau succès, avec une affluence accrue à contre-pied des autres conférences. Publication prochaine des vidéos des présentations : http://www.pgcon.org/2009/

La vidéo de la réunion SFPUG du 23 mai 2009 : "BIRT & PostgreSQL" est à présent disponible en lecture et téléchargement sur le serveur media.postgresql.org : http://media.postgresql.org/sfpug/sfpug-birt-20090512.mov

La conférence-anniversaire (10ème) du JPUG a lancé son appel à participation : http://archives.postgresql.org/pgsql-announce/2009-05/msg00018.php

La communauté PostgreSQL/PostGIS se réunira à Zurich le 6 juin 2009. Détails (de_CH) : http://gis.hsr.ch/wiki/PostgreSQL-PostGIS-Höck

Les nouveautés des produits dérivés

La fonctionnalité 8.4 de la semaine

Warm Standby : si, auparavant, configurer une reprise à chaud vous effrayait : re-tentez avec la 8.4, la prise en main est à présent facilitée.

L'astuce de la semaine

En attendant que les expressions de tables communes de la 8.4 et que le SQL/MED de la 8.5 soient disponibles, vous pouvez respectivement utiliser le module 'tablefunc' dans "contrib" et les fonctions d'inclusion pour, respectivement, des jointures via connectby() et consulter une base de données depuis une autre.

(lien vers l'article original)

Lire la suite...

vendredi 22 mai 2009

Sortie de PostgreSL 8.4 beta 2

Le projet PostgreSQL vient de publier la seconde bêta de la version 8.4. La communauté peut continuer ses tests.

Cette version corrige un certain nombre de problèmes de la première bêta. En particulier avec pg_standby, PL/pgSQL, et la gestion des encodages et des collations.

L'aide de tous les utilisateurs est nécessaire pour permettre d'accélérer l'arrivée de la version finale.

Pour améliorer la facilité d'utilisation de pg_standby, les commutateurs de mode "fast" et "smart" ont été ajoutés. Il s'agit d'une modification de l'API. Le mode "smart" assure que toutes les traces ont été appliquées, évitant toute perte de données. Le mode "fast" est identique au comportement précédent. Le comportement du fichier déclencheur a également été modifié. Les développeurs d'outils d'administration de PostgreSQL vont devoir les modifier pour supporter la nouvelle API.

De plus, les fonctionnalités et utilitaires suivants ont été corrigés ou modifiés entre les deux bêta. Merci de prendre le temps de tester les fonctionnalités suivantes pour vérifier que les corrections permettent le comportement souhaité.

  • SQL/XML
  • PL/pgSQL
  • pg_bench
  • JOIN costing
  • Encoding and collation handling
  • SSL connections
  • psql \df
  • Unicode escapes
  • Parallel restore
  • pg_dumpall

Pour plus d'informations, voir http://wiki.postgresql.org/wiki/84Beta2Changes

Page d'informations sur la bêta : http://www.postgresql.org/developer/beta

Notes de version : http://developer.postgresql.org/pgdocs/postgres/release-8-4.html

Code source : http://www.postgresql.org/ftp/source/v8.4beta2/

La durée habituelle de la phase de tests bêta est d'environ 6 semaines. Cette durée est toutefois fortement dépendante des erreurs découvertes. Le projet PostgreSQL ne publiera pas que tous les bogues significatifs ne seront pas corrigés.

Toute aide à la découverte et la correction des bogues permet d'accélérer l'arrivée de la version finale.

Nouvelles hebdomadaires de PostgreSQL - 17 mai 2009

Nouvelles hebdomadaires de PostgreSQL - 17 mai 2009

Le PgDay de San Jose aura lieu le dimanche 19 juin, annonçant l'ouverture de l'OSCON. Soumettez vos propositions avant le 8 juin à conference-sf-speakers AT pgfoundry DOT org, les résultats seront donnés le 20 juin : http://www.postgresql.org/about/news.1082

"Yet Another Perl Conference 10" est programmée à Pittsburgh du 22 au 24 juin avec des conférences données par David Fetter et suivie de cours par le fameux professeur Joe Celko : http://yapc10.org

Les "PGCon 2009" ont lieu cette semaine à Ottawa. Attendez-vous après coup à un afflux de nouvelles.

La fonctionnalité 8.4 de la semaine

Les expressions de tables communes (CTE). Avec une syntaxe facile d'accès, vous pouvez configurer, à la volée, vos propres vues à usage unique. Et elles sont récursives, ce qui place les structures hiérarchiques à portée de main. [ndt: http://docs.postgresql.fr/8.4/queries-with.html]

L'astuce de la semaine

N'utilisez jamais fsync=off à moins que vous puissiez vous permettre de reconstruire tout votre cluster BDD à partir de rien. Si le log de transaction (WAL) fait trop baisser les performances, utilisez plutôt synchronous_commit=false.

(lien vers l'article original)

Lire la suite...

vendredi 15 mai 2009

Nouvelles hebdomadaires de PostgreSQL - 9 mai 2009

Nouveau sondage : quelle fonctionnalité vous attire le plus dans la 8.4 ? http://www.postgresql.org/community

Le site web de PostgreSQL a besoin d'une refonte et pour cela, 2000 $ ont été mis sur la table. Usez de vos talents pour acquérir gloire et (petite) fortune : http://wiki.postgresql.org/wiki/Website_Overhaul_Requirements

Le PGDay de Junin / Buenos Aires aura lieu le 6 juin à l'Unnoba : http://www.arpug.com.ar/trac/wiki/PgDayUnnoba

Le PGDay.EU 2009 est programmé pour les 6 & 7 novembre 2009 à Telecom ParisTech (ndt: ENST ?) : http://www.pgday.eu/

Les nouveautés des produits dérivés

La fonctionnalité 8.4 de la semaine

Les fonctions de fenêtrage. Ces requêtes sont devenues nettement plus accessibles. 'PARTITION BY' y est particulièrement utile.

L'astuce de la semaine

Il est conseillé d'indexer les champs de clefs étrangères (côté référençant ou "fils"), à moins que les valeurs référencées aient une très faible cardinalité. PostgreSQL ne met pas cela en place automatiquement.

(lien vers l'article original)

Lire la suite...

jeudi 7 mai 2009

Nouvelles hebdomadaires de PostgreSQL - 3 mai 2009

OpenStreetMap bascule vers PostgreSQL : http://blog.cleverelephant.ca/2009/04/openstreetmap-moves-to-postgresql.html

Les nouveautés des produits dérivés

PostgreSQL 8.4 Feature of the Week

Nouveau hachage pour les index : grâce au "Google Summer of Code", le hachage de nos index a été retrituré et ils obtiennent à présent des performances supérieures à celles des index B-Tree sur les recherches "mono-colonnes". À noter, cependant, que ces nouveaux index ne sont pas encore tout à fait résistants aux crashs et peuvent nécessiter une réindexation en cas de plantage système.

L'astuce de la semaine

Le module 'ltree' des "contribs" est une implémentation des arborescences indexées et peut s'avérer utile pour représenter un système de fichier ou une hiérarchie similaire dans votre base.

(lien vers l'article original)

Lire la suite...

samedi 2 mai 2009

Nouvelles hebdomadaires de PostgreSQL - 26 avril 2009

La communauté PG hispanophone a maintenant son site web. Félicitations ! http://www.postgresql-es.org/

Les nouveautés des produits dérivés

La fonctionnalité 8.4 de la semaine

pg_stat_functions : cette nouvelle vue système montre combien de fois une fonction a été appelée et le temps passé en exécution.

L'astuce de la semaine

PostgreSQL prend en charge les sous-requêtes dans les clauses SELECT, FROM et WHERE. N'hésitez donc pas : pensez à la/les placer de façon à ce qu'elles s'exécutent au mieux et vous donnent le résultat escompté.

(lien vers l'article original)

Lire la suite...

- page 31 de 53 -

Propulsé par Dotclear