InfoPythonFr

Classifier des documents par inférence Bayésienne (Python-Reverend)

Marc — Fri, 25 Jul 2008 20:58:47 +0000

Reverend est une librairie python qui permet de faire de la classification par inférence Bayésienne. L’utilisation de cette librairie est facile et rapide et permet de trier de documents et manière très élégante.

Pour utiliser cet outil dans votre application il suffit importer la librairie, de l’initialiser avec un premier jeu de données. Ensuite la classification sera automatique. Le principal avantage de cette méthode et qu’elle est moins sensible aux petits volume que de la statistique de base.

Voici quelques exemples d’applications :

Classer automatiquement des flux RSS
Détecter la langue d’un document
Analyser automatiquement des commentaires
etc..

Pour illustrer le propos voici ce que serais l’initialisation de l’outil pour en faire un détecteur de langue (guesser)

	from reverend.thomas import Bayes
	guesser = Bayes()
	guesser.train('french', 'le la les du un une je il elle de en')
	guesser.train('german', 'der die das ein eine')
	guesser.train('spanish', 'el uno una las de la en')
	guesser.train('english', 'the it she he they them are were to')
	guesser.guess('they went to el cantina')
	guesser.guess('they were flying planes')
	guesser.train('english', 'the rain in spain falls mainly on the plain')
	guesser.save('my_guesser.bay')

Pour information il existe aussi un portage de cette outil en Ruby ici : Bishop.

Pour le python la derniere version est ici : Trunk: svn co http://divmod.org/svn/Divmod/trunk/Reverend

L’ architecture technique du site DailyMotion

Marc — Sat, 19 Apr 2008 00:06:58 +0000

Un trafic réseau colossal : avec un backbone interne à 10Gb. Plusieurs serveurs, de l’apache pour les proxy vidéo et du lighttpd pour les images, style et contenus statique. Le tout, comme d’habitude, en cluster sous PHP et MySQL. Des dizaines de serveurs Sphinx pour le Search.

Pour livrer des centaines de vidéos par secondes et générer des dizaines de millions de CA par an.

C’est à lire dans : l’architecture du site DailyMotion

Architectures du site Boursorama

Marc — Tue, 22 Jan 2008 22:58:53 +0000

Comment Boursorama gère la charge en période de fluctuation boursière, quelle est l’architecture technique du site. Comment sont gérés les transactions sur les produits bancaires ou financiers… Développement internes PHP/Java, sous traitance chez ATOS, etc…

Tout est ici…

Les datacenter en France

Marc — Sat, 19 Jan 2008 22:25:47 +0000

Composant important d’une infrastructure haute disponibilité le Datacenter doit être dans un lieu bien protégé mais également proche des techniciens et des réseau haut débits.

Le site datacentermap propose des GoogleMap listant ces sites à travers le monde :

Comment les localiser, les choisir, les alternatives virtuelles et réelles, la suite est ici…

Capture d’écran sur Mac OS

Marc — Sat, 19 Jan 2008 21:28:30 +0000

Un petit racourçi très pratique pour faire des captures d’écran sous Mac.

Avec la combinaison de Pomme + Shift + 3 vous créez directement un fichier PNG sur votre bureau.

Encore mieux avec Pomme + Shift + 4 il est possible de créer un fichier après avoir fait sa sélection via la souris.

Tout est ici : http://www.apple.com/pro/tips/secretcapture.html

De la très haute disponiblité chez NEC

Marc — Wed, 16 Jan 2008 20:58:04 +0000

Une disponibilité de 99,999%, c’est ce qui est annoncé sur le dernier né de la série ‘Fault-Tolerant Server’ de chez NEC. Avec moins de 5 minutes d’interruptions par an ce serveur s’adresse aux applications très critiques.

Comment ça marche, le prix, c’est la suite est ici…

Google analyse plus de 20 petabytes de données par jour

Marc — Wed, 16 Jan 2008 08:46:27 +0000

Google utilise de nombreux outils pour calculer et mettre à jour ses index. Au delà de l’architecture matériel et de ses centaines de milliers de serveurs Google à mise au point des algorithmes permettant de faire des calcul distribués sur des quantités de données très impressionnante.

C’est justement ce que nous découvrons dans un nouvel article traitant de leur programme MapReduce. Ce document nous donne de nouvelles informations sur les volumes traités par Google.

Comment font-ils ? A quoi sert MapReduce, toutes les explications ici…

Hebergement évolutif chez Gandi à partir de 6 Euros / mois

Marc — Sun, 13 Jan 2008 13:00:39 +0000

Une nouvelle offre d’hébergement chez Gandi, le principal avantage est de mon point de vue de faible coût de départ. Il est en effet possible de louer son serveur virtuel pour 6 Euros/mois (avec 1IP, 5go de disque RAID, l’équivalent d’un Celeron, ssh, cron, etc…)

Je ne sais pas comment OVH va réagir, l’offre Kimsufi est différente et son coût (19 Euros/mois) ne pourra jamais descendre à de tel niveau

De plus elle est intrinsèquement plus limitée que celle de Gandi car l’évolution (uniquement à la hausse) ne peut être faite que via un changement de serveur.

Quant à AMEN, il existe bien l’offre ‘Serveur privé Linux‘ à 10 Euros / mois mais avec un engagement sur 1 an. De plus mes derniers tests de ce produit n’avait pas été réellement concluant, sans parler du support. Une autre offre était en préparation mais j’ai l’impression qu’elle est restée dans les cartons.

Gestion d’un pic de traffic sous Rails (RoR)

Marc — Mon, 07 Jan 2008 21:22:44 +0000

Shanti Braford détaille comment son site à survécu à plus de 550 000 pages vues en 24H. Suite à la diffusion d’un de ces articles sur la première page de digg son post a été vu plus de 500 000 fois. Les serveurs ont du répondre à un trafic inhabituel pour ce site, à savoir 6 pages / seconde.

Voici comment est composé l’architecture technique de son site, c’est assez simple :

Un excellent service de surveillance de service web : mon.itor.us

Marc — Fri, 30 Nov 2007 22:11:20 +0000

Juste un petit post pour vous parler de mon.itor.us. Il s’agit d’un excellent service de surveillance (monitoring) et d’alerte. Plusieurs services sont ‘monitorables’.

- FTP

- SIP

- POP3 / IMAP

- DNS

- HTTP / HTTPS

- etc…

Vous recevez un mail récapitulatif toutes les semaines et immédiatement en cas d’incident.