Témoignage | Yahoo exploite une base de plusieurs petabytes grace à PostgreSQL

Par daamien le 22/05/2008 - 19:12

Le 21 mai 2008, à l'occasion du rendez-vous annuel PostgreSQL Conference, Yahoo a annoncé détenir ce qui semble être la plus grande base de données en production connue à ce jour.

Selon Waqar Hasan, Directeur des bases de données chez Yahoo : « C'est la première fois, à notre connaissance, que l'on place une base de donnée de plus d'un petabyte en production. Nous l'avons construite pour qu'elle atteigne plusieurs dizaines de pétabytes et nous avons l'intention d'y parvenir en 2009. »

Les informations stockées sont des données structurées à propos des visiteurs de leur site web. Ces données sont utilisées pour améliorer la publicité en ciblant plus précisément les annonces commerciales. Pour cela Yahoo doit effectuer des analyses très profondes des données récoltées.

Pour cela, Yahoo utilise PostgreSQL auquel est ajoutée une sur-couche logicielle spécifique, conçue pour exploiter le cluster de machines hébergeant les données.Ce cluster est composé d'environ 1 000 serveurs de type PC répartis dans différents datacenters. Selon Hasan, le nombre de serveurs est 10 à 20 % inférieur à ce qui est nécessaire pour d'autres solutions conventielles comme Oracle, IBM's DB2 ou Teradata.

sources : Information Week , Computer World