La magie de LXD

Écrire un pipe­line en bio­in­for­ma­tique, c'est bien ! Le rendre por­table c'est encore mieux ! Les bio­in­for­ma­ti­ciens oublient sou­vent ce der­nier point et rare sont les pipe­lines qui marchent du pre­mier coup. À vrai dire les cir­cons­tances ne sont pas en leur faveur. Un pipe­line c'est plein de dépen­dances d'applications dans telle ou telle ver­sion, qu'il faut sou­vent com­pi­ler à la main. Sans oublier les dif­fé­rentes ver­sions de lan­gages comme Python 2 et Python 3. On aime­rait bien une fois le pipe­line construit, figer le sys­tème et le par­ta­ger avec les uti­li­sa­teurs, sans qu'ils aient à se sou­cier de l'installation. Eh bien c'est pos­sible avec les envi­ron­ne­ments vir­tuels ! Et j'entends déjà au loin le débat san­glant entre ceux qui uti­lisent Docker et les autres avec leurs machines vir­tuelles. Dans cet article, on n'utilisera ni l'un ni l'autre. Mais la der­nière née de Cano­ni­cal : LXD .

LXD ou LXC ?

LXC est un sys­tème de vir­tua­li­sa­tion comme Docker qui contrai­re­ment à une machine vir­tuelle, simule l’environnement d’exécution au lieu d'une machine. L'avantage c'est que c'est vrai­ment light ! Vous pou­vez lan­cer des mil­liers de machines contai­ners sans consom­mer toutes vos res­sources.
Le sou­ci avec LXC, c'est qu'il n'est pas aus­si facile à ins­tal­ler et mani­pu­ler que Docker. Suite à ça, les déve­lop­peurs de Cano­ni­cal ont déci­dé de faire encore plus simple en créant une sur­couche appe­lée LXD. Il s'agit d'un dae­mon expo­sant une API REST qui per­met de contrô­ler LXC. Et le client de cette API REST est la com­mande 

.
Atten­tion, pour évi­ter toutes confu­sions, les com­mandes LXC d'avant LXD sont de type 

. Le client console com­mu­ni­quant avec LXD est la com­mande

.

Installation de LXD 

En sup­po­sant que vous êtes sous Ubun­tu :

[/​crayon]

Les serveurs d'images

Les images sont les modèles sur les­quels vos contai­ners vont être crées. En terme tech­nique, un contai­ner est une ins­tance d'image. Ces images sont sto­ckées sur des ser­veurs dis­tants ou locaux. Pour mani­pu­ler la liste de ces ser­veurs, uti­li­ser la com­mande

. Par exemple pour lis­ter les ser­veurs dis­po­nibles :

[/​crayon]

Vous devriez alors voir le ser­veur d'image https://​images​.linux​con​tai​ners​.org appe­lé tout sim­ple­ment "images". Il y ega­le­ment d'autres adresses de ser­veur, notam­ment celle de votre propre ser­veur. En effet vous pou­vez sto­cker vos propres images et les dis­tri­buer sur les machines de votre réseau.

Les images

Pour mani­pu­ler les images, uti­li­sez la com­mande

. Par exemple, pour lis­ter les images dis­po­nibles sur le ser­veur images : vu pré­cé­dem­ment 

Repé­rer l'image de la der­nière ver­sion d'Ubuntu (Ubuntu/​Xenial)

Les containers

Vous avez repé­ré votre image ? Main­te­nant rien de plus simple. Pour lan­cer votre pre­mier contai­ner , tapez la com­mande sui­vante :

[/​crayon]

Cette com­mande va télé­char­ger l'image et lan­cer votre contai­ner. Vous devriez voir votre contai­ner dans la liste des contai­ners actifs en tapant la com­mande sui­vante :

[/​crayon]

Exécuter une commande depuis le container

Pour entrer dans votre contai­ner et explo­rer son arbo­res­cence, il suf­fit d’exécuter la com­mande bash se trou­vant dans le contai­ner. Tapez la com­mande sui­vante :

[/​crayon]

Voi­la, vous êtes dans votre contai­ner en root. Vous pou­vez ins­tal­ler des paquets ou tout détruire. Peu importe ce que vous faite, vous êtes iso­lé dans votre contai­ner.
Vous pou­vez par exemple écrire un pipe­line bio­in­for­ma­tique et ins­tal­ler toutes ses dépen­dances. Lorsque vous vou­lez exé­cu­ter votre pipe­line depuis l'hôte, il suf­fit de faire :

[/​crayon]

Faire un point de montage

Si vous avez besoin de par­ta­ger un dos­sier entre l'hôte et le contai­ner, il faut faire un point de mon­tage. La com­mande sui­vante, monte le dos­sier

de l'hôte vers le dos­sier /​host/​tmp du contai­ner.

[/​crayon]

Exporter votre container comme image

Une fois votre contai­ner prêt, vous pou­vez l'exporter en tant qu'image et le sau­ve­gar­der dans un fichier tar.gz. Tout d'abord publiez le contai­ner en tant qu'image myPi­pe­line. L'image est sau­ve­gar­dée avec toutes les autres images en local.

[/​crayon]

Ensuite pour expor­ter une image dans un fichier, tapez :

[/​crayon]

Vous vous retrou­vez alors avec un fichier de ce genre 0bf450c17cb7034077c83487e0.tar.gz. Vous pou­vez l'envoyer à votre copain, qui l'importera dans son propre LXD avec la com­mande sui­vante :

[/​crayon]

Conclusion

Je pense qu'avec cet article, vous avez l'essentiel pour bien démar­rer avec LXD et créer des pipe­lines por­tables. N’hésitez pas à vous bala­der dans la com­mande

, c'est du même style que git. Je n'ai pas par­lé de tous les autres avan­tages de LXC. Mais rap­pe­lez-vous qu'il s'agit d'une API REST. Vous pou­vez donc gérer vos contai­ners et vos images sur plu­sieurs ser­veurs et clus­ters de cal­culs sans vous prendre la tête.
Sinon, il y a le pro­jet Pirus en cours de déve­lop­pe­ment qui vise à créer une appli­ca­tion pour lan­cer des pipe­lines LXC de façon simple à tra­vers une API REST et des web­so­ckets. C'est sous license AGPL et c'est ici https://​github​.com/​R​E​G​O​V​A​R​/​P​i​rus.

Mer­ci aux relec­teurs Kum­qua­tum, Aki­ra, Beba­tut