BlogNote

POC: Design website acc�l�r� par TokyoCabinet (part 2)

Bon je continue avec beanstalked. J'avais lu brievement ce que c'�tait, et j'avais pas bien compris qu'il s'agissait d'une messaging queue. Je m'attendais � ce qu'il soit possible que beanstalk lance lui m�me du code; ce qui change pas grand chose � vrai dire, juste les fl�ches de mon sch�ma d'origine ;)

J'ai donc t�l�charg� la version 1.3, install� libevent avec macports, j'ai cherch� un peu pour trouver les headers de cette lib et voila pour le compiler :

* ./configure --with-event=/opt/local/var/macports/software/libevent/1.4.9_0/opt/local
* make
* sudo make install

magnifique, encore un soft sans encombres qu'on peut lancer comme ceci :

* beanstalkd -p 60606

Pour le client php j'ai pris celui de sourceforge, il a l'air plus a jour ... faudrait tester les deux !

Pour compatibilit� avec le ZendFramework j'ai renomm� le fichier en Lib/BeanStalk.php et la classe en Lib_BeanStalk ainsi que ligne 132 le new dans la function open, et toutes les occurences de BeanStalk::. J'aurai pu la laisser comme �a mais j'aime bien que tout soit rang� ;) je me suis retenu de splitter leur fichier en plusieurs classes nomm�e comme il faut... le but n'�tant pas la, j'ai laiss� comme �a !

Mais � mon avis il faudrait un peu patcher leur lib... Si on ne register qu'un serveur et qu'il est down �a part dans des boucles infinies qui plombent apache, pareil si on a plus de jobs et qu'on fait un reserve sans timeout.

Bref voici un fichier d'exemple pour utiliser beanstalkd :

<?php
 
set_include_path('/Users/lez/Workspaces/www/ZendFramework/ZendFramework-1.8.0/library' . PATH_SEPARATOR . get_include_path());
 
ini_set('display_errors', true);
ini_set('error_reporting', E_ALL);
 
require_once('Zend/Loader/AutoLoader.php');
Zend_Loader_AutoLoader::getInstance()
    ->registerNamespace('Lib');
 
$bs = Lib_BeanStalk::open(array('servers' => array('127.0.0.1:60606')));
 
# priority, delay, ttr, job
$bs->put(5, 0, 1, 'Hello');
 
$j = $bs->reserve_with_timeout(1);
if ($j) {
    var_dump($j);
    var_dump($j->get());
    $j->delete();
} else {
    echo "No process inqueue";
}
 
?>

Pour garder une certaine coh�rence avec ce que je fais d�ja sur Jamendo et pour que �a soit plus fun, je vais aussi et majoritairement utiliser python pour le backend. J'utiliserai donc la version simpliste du client python, encore une fois il faudrait tester les 2.

* git clone git://github.com/earl/beanstalkc.git && mv beanstalkc/beanstalkc.py .

et on a la lib, voila un fichier d'exemple :

#!/usr/bin/python
 
import beanstalkc
 
bs = beanstalkc.Connection(host='127.0.0.1', port=60606, decode_yaml=False)
bs.put('Hello')
j = bs.reserve(timeout=1)
if j is not None:
    print j.body
    j.delete()
else:
    print "No jobs inqueue"

Tr�s simple, et j'ai test�, il ne part pas dans des boucles infinies pour les deux cas cit�s avant ;) peut �tre que pour le reserve sans timeout si, mais il ne plombe pas la machine au moins !

Je pensais aller plus loin cette fois ci mais je continuerai ce soir avec mysql.

POC: Design website acc�l�r� par TokyoCabinet (part 1)

Je m'amuse, un Proof-Of-Concept avec PHP et tokyocabinet.

Ca fait un moment que j'entends parler de tokyocabinet, et j'ai eu 2/3 discussions avec des gens de diff�rents avis � ce sujet. Je crois que je suis un peu r�trograde mais j'arrive pas a penser base de donn�es sans penser mod�le relationnel. Je persiste � croire que le SQL a de gros avantages et que le mod�le key-value-store est g�nial dans une utilisation pr�cise.

Et donc, j'ai imagin� comment j'int�grerai �a dans une application WEB pour profiter du randement �norme dont dispose un tel SGBD. L'avantage de ma solution c'est qu'elle peut �tre greff�e � posteriori sur un site classique php/mysql ...

Alors attention: Usine � gaz comming soon ;) Je vais pr�senter d'abord l'id�e, puis pas � pas sa r�alisation.

1) Le principe :

Voila ;) Donc dans le principe, l'application WEB consulte toutes ses donn�es � partir du key-value-store. Elle construit un hash � partir de l'url et 2/3 autres options, et elle r�cup�re les donn�es toutes construites. L'origine des donn�es �tant encore mysql et son SGBD relationnel de base.

Des taches que j'ai appel� ici "Admin" pompeusement, qui modifient les donn�es modifient en fait mysql et ins�rent une tache beanstalkd (un gestionnaire de tache � la vol�e) qui lui va construire les donn�es n�c�ssaire aux pages � partir des donn�es mysql.

Tokyocabinet devient une sorte de datamart , une vue sur la base de donn�es, dans ce cas: orient�e consultative et hyper rapide.

La ou r�side un probl�me c'est lors de la cr�ation de nouvelles resources (l'affichage d'une page qui n'a jamais eu de donn�es g�n�r�e). Il faut que le site d'une mani�re ou d'une autre soit capable de r�agire � une cl� manquante dans le key-value-store, avec un message a l'utilisateur et un ajax call qui pourrait m�me montrer une barre de progression ou quelque chose comme �a ... A voir !

Il y a sans doute des api PHP pour lire directement les fichiers tokyocabinet, mais c'est tr�s peu document�, j'ai trouv� un truc l� mais dans tous les cas je pr�f�re utiliser tokyotyrant en frontend �a nous permettra d'utiliser tokyocabinet comme d'un MemCache, et d'installer le serveur en distant sur une autre machine.

2) Mise en oeuvre:

Je suis sous OSX avec macports depuis d�ja bien longtemps, beaucoup de choses install�es donc s'il y a des trucs qui marchent pas chez vous ... faut chercher ;)

2.1) Tokyocabinet et leurs amis !

2.1.1) Installation

Je suis all� sur leur site chez sourceforce : j'ai pris dans packages : tokyocabinet, tokyotyrant, tokyodystopia pour chacun et dans l'ordre :

* ./configure
* make
* sudo make install

J'ai rencontr� aucun soucis c'est d�concertant !

2.1.2) Premiers tests

En fait c'est pas tr�s �vident la fa�on dont tout �a fonctionne, donc pour un test je dirai :

Cr�ation de la DB:

* tchmgr create db.tch

D�marrer un serveur tyrant qui utilise cette DB:

* ttserver -dmn -host 127.0.0.1 -port 80808 db.tch

et voila ... de plus en plus d�concertant ce truc ;)

2.2) PHP

Donc comme chacun le sait il n'y a pas de PHP sans ZendFramework ... quoi, chacun le sait pas ?

Il faut juste installer memcache d'abord:

* sudo pecl install memcache

Puis on ajoute extension=memcache.so au php.ini puis reboot du serveur apache ! Vous pouvez v�rifier avec un phpinfo() voir si on a bien l'extension de load�e.

Apr�s avoir jou� un peu, j'ai remarqu� que le backend classique Memcache de Zend est soit bugg� soit pas adapt� pour tokyocabinet... Bref j'ai cr�� un TokyoCabinet.php dans un dossier Zend/Cache/Backend et voici le contenu :

<?php
 
class Zend_Cache_Backend_TokyoCabinet extends Zend_Cache_Backend_Memcached implements Zend_Cache_Backend_ExtendedInterface {
 
    public function load($id, $doNotTestCacheValidity = false) {
        $tmp = $this->_memcache->get($id);
        if (!empty($tmp)) {
            $tmp = unserialize($tmp);
        }
        if (is_array($tmp)) {
            return $tmp[0];
        }
        return false;
    }
 
    public function test($id) {
        $tmp = $this->_memcache->get($id);
        if (!empty($tmp)) {
            $tmp = unserialize($tmp);
        }
        if (is_array($tmp)) {
            return $tmp[1];
        }
        return false;
    }
 
}

J'ai juste rajout� la partie du unserialize qui manquait dans le Backend d'origine ... J'ai pas envie de tester si c'est normal, une autre fois peut �tre ;)

Du coup notre fichier d'exemple devient le suivant :

<?php
 
set_include_path('/home/workspaces/zend/framework/1.8.0/library' . PATH_SEPARATOR . get_include_path());
 
ini_set('display_errors', true);
ini_set('error_reporting', E_ALL);
 
require_once('Zend/Loader/AutoLoader.php');
Zend_Loader_AutoLoader::getInstance();
 
$cache_log =  new Zend_Log();
$cache_log->addWriter( new Zend_Log_Writer_Stream( 'file:///tmp/zf-memcache.log' ) );
 
# notre backend qui va pointer sur le serveur qu'on vient de cr�er
$cache_backend = new Zend_Cache_Backend_TokyoCabinet(array(
    "servers" => array(
        array("host" => "localhost", "port" => 80808)
    )
));
 
# le frontend de gestion logique
$cache_frontend = new Zend_Cache_Core(
    array(
    	'caching' => true,
    	'cache_id_prefix' => 'tokyo_test_',
    	'logging' => true,
    	'logger'  => $cache_log,
    	'write_control' => true,
    	'automatic_serialization' => true,
    	'ignore_user_abort' => true
    ) 
);
 
# le cache puis le test :
$cache = Zend_Cache::factory( $cache_frontend, $cache_backend );
var_dump($cache->save('Ici les data', 'monhash'));
var_dump($cache->test('monhash'));
var_dump($cache->load('monhash'));
 
?>

A lancer en cli ou en cgi, et dans mon cas �a me sort :

* boolean true
* int 1242860379
* string 'Ici les data' (length=12)

Super �a marche ;) Et c'est super rapide ... encore heureux � ce niveau l� !

Bon demain on cr�e une base mysql de base avec un jeu de donn�es, puis on s'attaque � beanstalkd.

PyRo - Python Robotics

http://www.pyrorobotics.org/?page=Pyro

J'ai toujours voulu faire un truc comme �a mais l'ampleur du projet fait que seul ... jme d�courage :)

Bref je suis tomb� la dessus c'est tout fait y'a plus qu'a faire des robots. Qu'a cela ne tienne �a va �tre marrant !

Dans un premier temps il faut l'installer sous mac... donc le lien de download :

http://pyrorobotics.org/download/pyrobot-latest.tgz

Une fois t�l�charg� puis d�compr�ss�, il faut lancer python configure.py. Alors perso j'ai install� python avec macports et le truc c'est que les valeurs propos�es par le configure.py ont l'air coh�rente mais sont fausse. (Trouv� ici)

Donc il faut lui dire :

* Python includes files : /opt/local/include/python2.5
* Python binary : /opt/local/bin/python2.5
* X11 library : /usr/X11R6/include

ensuite j'ai mis "none" et "no" a tout ! puis make clean && make

Faut installer py25-tkinter aussi !

Bon maintenant on va tester tout �a !

Bash, trier par num�ro de version

Sur Jamendo on a une architecture SVN plutot classique :

* projects
 * project1
  * tags
  * branches
  * trunk
 * project2
 * etc...

Pour g�rer l'export automatique en live de la derni�re version d'un projet on la tag. Le tag se fait par num�ro de version classique style : Majeure.Mineure.Hotfix.

Le probl�me est de savoir quelle est la derni�re version sur laquelle on travaille.

Donc :

svn list svnroot/svnpath | sort | tail -n1

On est d'acord �a suffit tant qu'on a pas des versions qui d�passent 10, auquel cas, elles seront class�es avec les 1 ...

donc :

svn list svnroot/svnpath | sort -g | tail -n1

Nous sauve temporairement et pour bien des cas .... La ou �a devient tricky, c'est quand on a des versions 6.12.1, 6.9.7 enfin ... vous voyez bien, quand le probl�me se r�percute apr�s le [.]

Donc vla une commande qui solutionne un peu ce probl�me je suis sur qu'on peux y trouver d'autres applications... comme j'ai mis un peu de temps, je partage ;)

svn list svnroot/svnpath | awk '{print $1 " " $1}' | sed s/[.]//1 | sed s/[.]//1 | sort -g | tail -n 1 | cut -d" " -f2

Le principe est simple, je double la valeur, j'enl�ve les points de la premi�re occurence, je tri num�riquement, je prend le dernier puis je recoupe ... Pas tr�s compliqu� en somme mais assez pratique ;)

Changement d'h�bergement ...

Vous avez peut �tre remarqu� que ces derniers temps mon nom de domaine ne pointait vers plus rien !

J'ai d�cid� de changer d'hebergement donc je suis chez ovh... je voulais faire un peu mumuse donc j'ai pris ceci :

https://www.ovh.com/fr/produits/offres_rps.xml

voila donc il se peut que quand je joue avec il y ait des interruptions mais .... rien de grave hein ;)

Nouveau blog

Voila, �a fait un moment que je voulais �crire en anglais, ce blog restera en fran�ais avec toutes ses fautes, mais je part vers de nouveaux horizons :

http://colorblind.jamendo.net/

meme(me)

Via StandBlog

Take a picture of yourself right now.
Don’t change your clothes, don’t fix your hair... just take a picture.
Post that picture with NO editing.
Post these instructions with your picture.

C'est trop beau...

Je peux pas m'emp�cher ... Je r�siste pas ... c'est pas la peine ... le nouveau widget de Jamendo est vraiment terrible !!!

La playlist electro est vraiment sympa aussi, les deux font la paire: hop un billet !

Convertir un csv en html avec vi

Trop facile vi

* vi test.csv
* O > <table>
* ESC B o > </table>
* :%s/";"/<\/td><td>/g
* :%s/^"/<tr><td>/g
* :%s/"$/<\/td><\/tr>/g

et hop on en parle plus ...

Installer Trac avec MacPorts

Voila sur Jamendo on utilise trac massivement, c'est un outil tout a fait apropri� aux d�veloppements en tous genre ... Pour mes devs perso quand je trouve parfois le temps, �a me manque d'avoir un tel outil ...

Donc installer trac c'est simple :

* il faut apache2 donc �a rendez vous au dernier billet :
* sudo port install subversion +mod_dav_svn
* sudo port install mod_python25
* ajouter  LoadModule python_module modules/mod_python.so dans /opt/local/apache2/conf/httpd.conf
* sudo vi /etc/hosts et ajouter local.trac aux localhosts
* cd && mkdir -p Workspaces/Trac qui va recevoir les projets trac
* sudo vi /opt/local/apache2/conf/vhost.trac.conf

Perso j'y ai mis �a :

<VirtualHost *:80>
  ServerName local.trac
 
  DocumentRoot "/Users/lez/Workspaces/Trac"
 
  <Directory "/opt/local/share/trac/htdocs/">
    Order allow,deny
    Allow from all
  </Directory>
 
  <Directory "/Users/lez/Workspaces/Trac">
    Order allow,deny
    Allow from all
  </Directory>
 
  Alias /trachtdocs/ "/opt/local/share/trac/htdocs/"
  <Location />
    SetHandler mod_python
    PythonInterpreter main_interpreter
    PythonHandler trac.web.modpython_frontend
    PythonOption TracUriRoot "/"
    PythonOption TracEnvParentDir "/Users/lez/Workspaces/Trac"
  </Location>
 
  <LocationMatch /[[:alnum:]]+/login>
    AuthType Basic
    AuthName "Local Trac"
    AuthUserFile "/opt/local/etc/trac-auth-file"
    Require valid-user
  </LocationMatch>
</VirtualHost>

pensez a faire un Include de ce fichier dans le httpd.conf

voila apr�s rendez vous sur la trac-admin mais

* trac-admin /users/lez/Workspaces/Trac/myproject initenv

pourrait �tre suffisant :)

et finalement acc�dez � votre trac en faisant : http://local.trac/myproject/

Ca marche :)