Nouvelles hebdomadaires de Postgres - 7 octobre 2007
Postgres 8.3 bêta 1 disponible : http://www.postgresql.org/about/news.872
jeudi 18 octobre 2007
Par SAS le jeudi 18 octobre 2007, 11:41 - PostgreSQL Weekly News
Nouvelles hebdomadaires de Postgres - 7 octobre 2007
Postgres 8.3 bêta 1 disponible : http://www.postgresql.org/about/news.872
Par chl le jeudi 18 octobre 2007, 01:53 - PostgreSQL Weekly News
Nouvelles hebdomadaires de Postgres - 14 octobre 2007
Questionnaire de dernière minute : quelle fonctionnalité du corps de la 8.3 vous attire le plus ? http://www.postgresql.org/community/
Grâce à vos retours sur la bêta 1, la version 8.3 bêta 2 sortira bientôt. Continuez de tester !
samedi 13 octobre 2007
Par chl le samedi 13 octobre 2007, 02:10 - PostgreSQL Weekly News
Nouvelles hebdomadaires de Postgres - 7 octobre 2007
Postgres 8.3 bêta 1 disponible : http://www.postgresql.org/about/news.872
jeudi 11 octobre 2007
Par egwada le jeudi 11 octobre 2007, 19:19 - Événements
vendredi 5 octobre 2007
Par SAS le vendredi 5 octobre 2007, 16:16 - PostgreSQL Weekly News
Nouvelles hebdomadaires de Postgres - 30 Septembre 2007
Restez branchés ! Sortie de la bêta 1 de Postgres 8.3 cette semaine !
jeudi 4 octobre 2007
Par chl le jeudi 4 octobre 2007, 01:51 - PostgreSQL Weekly News
Nouvelles hebdomadaires de Postgres - 30 Septembre 2007
Restez branchés ! Sortie de la bêta 1 de Postgres 8.3 cette semaine !
mercredi 26 septembre 2007
Par SAS le mercredi 26 septembre 2007, 09:17 - PostgreSQL Weekly News
Nouvelles hebdomadaires de PostgreSQL - 24 Septembre 2007
mardi 25 septembre 2007
Par SAS le mardi 25 septembre 2007, 17:47 - PostgreSQL Weekly News
Nouvelles hebdomadaires de PostgreSQL - 16 Septembre 2007
Postgres 8.2.5, 8.1.10, 8.0.14, 7.4.18 et 7.3.20 seront bientôt disponibles. Soyez prêts à mettre à jour !
mercredi 12 septembre 2007
Par chl le mercredi 12 septembre 2007, 00:45 - PostgreSQL Weekly News
Nouvelles hebdomadaires de PostgreSQL - 9 Septembre 2007
Les nouveautés des produits dérivés
vendredi 7 septembre 2007
Par chl le vendredi 7 septembre 2007, 00:03 - PostgreSQL Weekly News
Nouvelles hebdomadaires de PostgreSQL - 3 Septembre 2007
Les vidéos (en italien) des mini-cours du PGDay 2007 sont disponibles : http://www.pghost.eu/node/36
mercredi 5 septembre 2007
Par gleu le mercredi 5 septembre 2007, 18:33 - Articles
Depuis la version 8i, Oracle implémente les index inversés. Voici une proposition d’implémentation équivalente pour PostgreSQL. Les index inversés permettent d’accélérer les recherches sur les motifs tels que « colonne LIKE '%chaîne' ». Dans un tel cas, PostgreSQL effectue un parcours séquentiel (ou « sequential scan ») de la table interrogée. Toutefois, il est possible d’émuler un index inverse au moyen d’une fonction de renversement de chaîne couplée à un index sur fonction.
L'article précédent proposait l'implémentation d'un prototype en langage procédural PL/pgSQL, qui fait office ici de prototype. Cette implémentation a pour principal défaut d'être lente, pénalisant ainsi gravement les performances en écriture (INSERT et UPDATE). Ainsi, à chaque mise à jour, il est nécessaire de faire appel à la fonction reverse pour mettre à jour l'index fonctionnel ; cela s'observe notamment à la création de l'index. En revanche, il est possible de tirer partie des capacités de traitement des caractères multi-octets, que l'on rencontre notamment dans le cas d'une base de données encodée en UTF-8.
Ainsi, l'implémentation en langage C se doit d'être à la fois plus rapide et surtout se doit de supporter les jeux de caractères multi-octets. C'est à partir de ce minuscule cahier des charges que nous allons construire notre fonction reverse.
Pourquoi s'embêter à prendre le temps d'écrire une procédure stockée en langage C alors qu'il est possible de faire la même chose en langage PL/pgSQL ? Il y a plusieurs réponses à cette question :
fonction Cest obligatoire.
Le gain significatif de vitesse ne sera pas évident pour les requêtes de sélection. En revanche, les écritures (surtout INSERT et UPDATE) peuvent être fortement pénalisées par le coût de la mise à jour d'un index fonctionnel. Bien que cela ne soit pas évident pour une opération unitaire, il sera parfaitement visible dans le cas d'une opération d'écriture en masse (chargement massif de données), ou tout simplement pour la création de l'index fonctionnel. Dans un tel cas, l'option d'une réécriture en langage C est à envisager très sérieusement.
Les possibilités d'extension de PostgreSQL s’appuient sur les mécanismes de chargement dynamique de bibliothèque du système d’exploitation. L’interface de programmation est relativement simple, à condition d’en connaître certaines clés.
Le projet est articulé autour de différents fichiers, qui seront tous placés dans un répertoire dédié :
Makefile simplifié, utilisant PGXS, l'infrastructure de construction d'extension PostgreSQL ;reverse.sql.in ;uninstall_reverse.sql ;reverse.c.Avant toute chose, il faut disposer d’un fichier « Makefile » de construction du module externe :
MODULES = reverse #PG_CPPFLAGS = -ggdb DATA_built = reverse.sql DATA = uninstall_reverse.sql PGXS := $(shell pg_config --pgxs) include $(PGXS)
Le Makefile utilise ici l’outil PGXS qui propose un fichier Makefile prédéfini, à l’instar des fichiers Makefile fournis par Oracle.
Le fichier « reverse.sql.in » qui sert de modèle à la création du fichier d'installation de l'extension « reverse.sql ». Ce dernier fichier sera généré à partir du modèle en remplaçant « MODULE_PATHNAME » par le chemin complet du fichier objet généré.
-- Déclaration de la fonction reverse en tant que module C SET search_path = public; CREATE OR REPLACE FUNCTION reverse(varchar) RETURNS varchar AS 'MODULE_PATHNAME', 'reverse' LANGUAGE 'C' IMMUTABLE STRICT;
Le script « reverse.sql » sera exécuté par un utilisateur PostgreSQL ayant le rôle d’administrateur, les fonctions C étant considérées comme non-sûres et donc de la responsabilité de l’administrateur.
Un script de désinstallation « uninstall_reverse.sql » est également prévu, ça fait toujours plaisir :
SET search_path = public; DROP FUNCTION reverse(varchar);
La lecture de la page « Fonctions en langage C » permet d’obtenir les informations nécessaires au développement d’une fonction C, voir la documentation « Fonctions en langage C ». Cependant la lecture des fichiers d’en-têtes permet d’apporter un éclairage supplémentaire sur certaines structures de données.
Sous PostgreSQL, les chaînes de caractères ne sont pas délimitées par un caractère nul « \0 » terminal, mais, à l’instar du langage Pascal, en stockant dans une structure d’abord sa longueur puis son contenu. Une telle chaîne est décrite dans une structure de type « varlena ». Ce type de données offre en fait un moyen uniforme de stocker tout type de données à longueur variable, comme les chaînes de caractères, les tableaux ou encore les types utilisateurs.
Voici sa définition, obtenu dans le fichier d'en-tête c.h, à la ligne 409 :
struct varlena { int32 vl_len_; /* Do not touch this field directly! */ char vl_dat[1]; };
Ainsi, l'entier vl_len contient la longueur, en octets, de la chaîne d'octets vl_dat.
Quelques macros permettent de manipuler facilement cette structure.
VARDATA(varlena) obtient un pointeur sur la donnée ;VARSIZE(varlena) obtient la taille en octets de la structure varlena (vl_len + vl_dat) ;VARHDRSZ représente la taille en octet de vl_len ;VARATT_SIZEP, remplacée par SET_VARSIZE à partir de la 8.3, permet de définir la longueur en octets de la donnée.Ainsi, pour obtenir la longueur en octets de la données, on utilisera (VARSIZE - VARHDRSZ).
L'implémentation proposée supporte les jeux de caractères multi-octets, comme l'UTF8 (ou Unicode) et les jeux de caractères asiatiques, qui représente certains caractères sous la forme d'une séquence de deux octets ou plus (voir référence). PostgreSQL met à disposition des fonctions utiles pour manipuler les chaînes de caractères, peu importe l'encodage, notamment pg_verifymbstr qui valide une chaîne de caractère selon l'encodage de la base de données, ou encore pg_mblen qui donne la longueur en octets d'un caractère. Pour le prototype des fonctions citées et d'autres fonctions, se référer au fichier d'en-tête « mb/pg_wchar.h ».
Il existe deux conventions d'appel de fonctions externes :
La convention d'appel version 1 sera utilisée dans le but de donner d'entrée de jeu de bonnes habitudes. La complexité de cette convention est masquée par une batterie de macros qui rendent son utilisation tout aussi simple, voire encore plus simple que la version 0, notamment pour le passage d'arguments.
Le source C est structuré en quatre parties :
Voici ci-après, le code source en langage C de la fonction reverse.
/*
* reverse procedural function *
* Thomas Reiss, 12/07/2007 – 24/07/2007 - 02/08/2007
* Alain Delorme, 24/07/2007
* Merci à depesz pour ses tests sur la version 8.3devel
*
*/
#include "pg_config.h"
#include "postgres.h"
#include "fmgr.h"
#include "mb/pg_wchar.h"
#include "utils/elog.h"
#ifdef PG_MODULE_MAGIC
PG_MODULE_MAGIC;
#endif
Datum reverse(PG_FUNCTION_ARGS);
// SET_VARSIZE correspond à la nouvelle API, nous définissons cette
// macro pour les versions ne la possédant pas.
#ifndef SET_VARSIZE
#define SET_VARSIZE(n,s) VARATT_SIZEP(n) = s;
#endif
/* fonction reverse */
PG_FUNCTION_INFO_V1(reverse);
Datum reverse(PG_FUNCTION_ARGS)
{
int len, pos = 0;
VarChar *str_out, *str_in;
/* Obtient l'adresse de l'argument */
str_in = PG_GETARG_VARCHAR_P_COPY(0);
/* Calcul de la taille en octet de la chaîne */
len = (int) (VARSIZE(str_in) - VARHDRSZ);
/* Créer une chaîne vide de taille identique */
str_out = (VarChar *)palloc(VARSIZE(str_in));
/* La structure résultante aura une longueur identique */
SET_VARSIZE(str_out, VARSIZE(str_in));
/* Vérifie que l'encodage de la chaîne en argument
* concorde avec l'encodage de la BDD
*/
pg_verifymbstr(VARDATA(str_in), len, false);
/* Copie à l'envers de la chaîne */
while (pos < len)
{
int charlen = pg_mblen(VARDATA(str_in) + pos);
int i = charlen;
// Copie un caractère.
// !! Un caractère != un octet
while (i--)
*(VARDATA(str_out) + len - charlen + i - pos) = *(VARDATA(str_in) + i + pos);
pos = pos + charlen;
// incrémente le compteur
}
PG_FREE_IF_COPY(str_in, 0);
/* Retourne la copie */
PG_RETURN_VARCHAR_P(str_out);
}La construction de l'extension PostgreSQL est réalisée en invoquant make
tom@clementina:~/src/reverse$ make cc -g -Wall -O2 -fPIC -Wall -Wmissing-prototypes -Wpointer-arith -Winline -Wdeclaration-after-statement -Wendif-labels -fno-strict-aliasing -g -fpic -I. -I/usr/include/postgresql/8.2/server -I/usr/include/postgresql/internal -D_GNU_SOURCE -I/usr/include/tcl8.4 -c -o reverse.o reverse.c cc -shared -o reverse.so reverse.o rm reverse.o
Si tout s'est bien passé, l'installation sera finalisée en exécutant la commande make install, éventuellement précédé de sudo en fonction de sa distribution et de son installation de PostgreSQL.
tom@clementina:~/src/reverse$ sudo make install Password: xxxx /bin/sh /usr/lib/postgresql/8.2/lib/pgxs/src/makefiles/../../config/install-sh -c -m 644 ./reverse.sql '/usr/share/postgresql/8.2/contrib' /bin/sh /usr/lib/postgresql/8.2/lib/pgxs/src/makefiles/../../config/install-sh -c -m 755 reverse.so '/usr/lib/postgresql/8.2/lib'
Les fichiers produits seront ainsi installés dans le répertoire d'installation de PostgreSQL. Il est toutefois possible de les positionner ailleurs, à condition d'adapter le fichier « reverse.sql » de façon à indiquer à PostgreSQL
où se trouve la bibliothèque partagée (fichier « reverse.so » sous Linux).
Dans un premier temps, on crée la fonction via l'outil psql :
test=# \i reverse.sql
CREATE FUNCTION
On vérifie que la fonction répond correctement :
test=# SHOW client_encoding;
client_encoding
-----------------
UTF8
(1 ligne)
test=# SELECT reverse('Chaîne à renverser');
reverse
--------------------
resrevner à enîahC
(1 ligne)
Ok, ça marche, y compris avec les chaînes encodées en UTF-8 !
Ce test a été réalisé par depesz, qui m'a aimablement autorisé a le réutiliser dans le cadre de cet article.
Petit aperçu du jeu de test :
test=# SELECT count(*),
test-# min(length(filepath)),
test-# max(length(filepath)),
test-# sum(length(filepath))
test-# FROM test;
count | min | max | sum
-------+-----+-----+----------
320136 | 7 | 174 | 18563865
(1 row)
Maintenant, voici une petite comparaison des trois implémentations, à savoir le prototype en PL/pgSQL, la version PL/perl de depesz et la version C. On oppose à ces trois tests un parcours de la table via la fonction d'agrégat count(), permettant ainsi de mesurer l'overhead due à chaque implémentation de la fonction reverse. À chaque fois, 3 exécutions permettent de vérifier les résultats.
Voici l'ordre SQL utilisé pour réaliser ce test :
test=# EXPLAIN ANALYZE
test-# SELECT count(filepath)
test-# FROM test;
Et voici les temps de réponse obtenus :
Exécution #1 : 1269.535 ms
Exécution #2 : 1268.421 ms
Exécution #3 : 1257.926 ms
Moyenne : 1265,29 ms
test=# EXPLAIN ANALYZE
test-# SELECT count(reverse_plpgsql(filepath))
test-# FROM test;
Exécution #1 : 55269.941 ms
Exécution #2 : 56047.004 ms
Exécution #3 : 56149.888 ms
Moyenne : 55822,28 ms
test=# EXPLAIN ANALYZE
test-# SELECT count(text_reverse(filepath))
test-# FROM test;
Exécution #1 : 4088.625 ms
Exécution #2 : 4089.729 ms
Exécution #3 : 4020.500 ms
Moyenne : 4066,28 ms
test=# EXPLAIN ANALYZE
test-# SELECT count(reverse(filepath))
test-# FROM test;
Exécution #1 : 1596.176 ms
Exécution #2 : 1647.046 ms
Exécution #3 : 1657.531 ms
Moyenne : 1633,58 ms
Voici un graphe faisant la synthèse des moyennes des temps de réponse :
Le graphe suivant permet de mieux se rendre compte de l'overhead induie par l'implémentation PL/perl et l'implémentation C.
Chose très intéressante : l'overhead pour renverser ~320000 enregistrements est de seulement 300ms, ce qui est bien entendu excellent et laisse présager de très bonnes performances quant au coût de la mise à jour d'un index fonctionnel.
Ainsi, comme cela pouvait être aisément imaginé, la version C est la plus rapide, suivie par la version PL/Perl. La version PL/pgSQL se traîne lamentablement derrière, ce qui justifie complètement la réécriture de la procédure stockée en C.
Cette fonction a été testé sur une base en PostgreSQL 8.0, 8.2 et 8.3devel (merci à depesz).
Je regrette de ne pas avoir pu aller un peu plus loin pour le précédent article, des impératifs de place m'ayant obligé à aller à l'essentiel sans montrer les différents plans d'exécution. Heureusement, l'article de hubert depesz lubaczewski montre tous les aspects que j'ai négligé, malheureusement c'est en anglais.
De plus amples précisions sont également disponibles en langue anglaise sur les sites Internet suivant :
Je remercie vivement les personnes suivantes :
Par gleu le mercredi 5 septembre 2007, 17:04 - Articles
mardi 28 août 2007
Par chl le mardi 28 août 2007, 01:51 - PostgreSQL Weekly News
Nouvelles hebdomadaires de PostgreSQL - 26 Août 2007
Les travaux continuent sur la future version 8.3 incluant nativement la recherche de texte TSearch2.
lundi 20 août 2007
Par jca le lundi 20 août 2007, 10:31 - PostgreSQL Weekly News
Nouvelles hebdomadaires de PostgreSQL - 19 Août 2007
Les nouveautés des produits dérivés
dimanche 19 août 2007
Par chl le dimanche 19 août 2007, 00:05 - PostgreSQL Weekly News
Nouvelles hebdomadaires de PostgreSQL - 12 Août 2007
Pour avoir rendu possibles les participations très professionnelles de la LinuxWorldExpo et de l'OSCON, le fond de soutien à PostgreSQL chez SPI tient à remercier les sponsors industriels suivants : Continuent, Open Technology Group, Truviso, CommandPrompt, EnterpriseDB et Once Technologies.
mercredi 8 août 2007
Par chl le mercredi 8 août 2007, 02:19 - PostgreSQL Weekly News
Nouvelles hebdomadaires de PostgreSQL - 5 août 2007
lundi 30 juillet 2007
Par jca le lundi 30 juillet 2007, 10:21 - PostgreSQL Weekly News
Nouvelles hebdomadaires de PostgreSQL - 29 juillet 2007
"L'armée de schtroumpfs" de PostgreSQL était sortie en force pour l'OSCON 2007, et beaucoup de personnes sont venues pour poser des questions spécifiques ce qui contraste avec les années précédentes où les questions habituelles étaient de l'ordre "Et pourquoi pas MySQL?". Un des grands moments fut lorsqu'un vigile est arrivé au stand en disant en substance, "ne prétez pas attention à mon badge. J'ai installé Postgres sur ma machine et je voudrais savoir comment je pourrais mieux l'utiliser."
lundi 23 juillet 2007
Par jca le lundi 23 juillet 2007, 10:04 - PostgreSQL Weekly News
Nouvelles hebdomadaires de PostgreSQL du 22 juillet 2007
Les annonces de sorties de versions pour pgInstaller se feront maintenant sur les listes -hackers (pour les instantanés de développement) et sur la liste -announce (pour les versions de productions). Ces annonces ne se feront plus sur la page de pgFoundry. Elles sont cependant toujours téléchargeable depuis http://www.postgresql.org/ftp/win32
Par SAS le lundi 23 juillet 2007, 09:45 - PostgreSQL Weekly News
Nouvelles hebdomadaires de PostgreSQL - 15 Juillet 2007
Le département marketing d'EnterpriseDB a essuyé de vives critiques après la publication d'un communiqué de presse controversé. Néanmoins la discussion qui s'ensuivit, à laquelle EnterpriseDB s'est joint, a permis d'aplanir les choses et d'éviter à l'avenir tout argument publicitaire déplacé. Compliments, donc, à EnterpriseDB pour cette écoute et cette attention envers la communauté.
vendredi 20 juillet 2007
Par chl le vendredi 20 juillet 2007, 00:30 - PostgreSQL Weekly News
Nouvelles hebdomadaires de PostgreSQL - 15 Juillet 2007
Le département marketing d'EnterpriseDB a essuyé de vives critiques après la publication d'un communiqué de presse controversé. Néanmoins, la discussion qui s'ensuivit, à laquelle EnterpriseDB s'est joint, a permis d'aplanir les choses et d'éviter à l'avenir tout argument publicitaire déplacé. Compliments, donc, à EnterpriseDB pour cette écoute et cette attention envers la communauté.
« billets précédents - page 38 de 53 - billets suivants »