"Trans-Alaska Pipeline" by Ted LaBar
Pour avoir été client des articles ("Snakemake pour les nuls", "Formaliser ses protocoles avec Snakemake" et "Snakemake, aller plus loin avec la parallélisation") de mon prédécesseur lelouar, j'ai décidé d'apporter ma pierre à l'édifice et de continuer cette série sur Snakemake. Je vais ici vous parler de généralisation de pipeline pour l'utilisation intensive au sein d'une plateforme par exemple...
En ces temps hivernaux, virus et infections bactériennes sont de retour (pour vous jouer un mauvais tour...). Les campagnes de prévention et de soin sont donc de sortie, et parmi elles la célèbre : "Les antibiotiques, c'est pas automatique". Si ce slogan est bien rentré dans la tête des gens, la raison pour laquelle il a été édicté l'est moins. Je vous propose donc d'explorer celle-ci à travers le spectre bio-informatique !
1...
Partir de quelconques données de séquençage haut débit brutes pour arriver à une analyse complète demande au mieux, une certaine pratique de ces technologies. Dans bien des cas, on va alors mettre en place un pipeline reposant sur tout un tas d'outils. Il faudra probablement des heures pour comprendre les paramètres de chacun d’entre eux et regrouper l'ensemble en une jolie chaine de traitement pour arriver au résultat souhaité (qui restera bien sûr à interpréter hum...
Pour commencer
Vous savez déjà tout sur les pipelines et les bonnes pratiques de développement. Vous faites bien évidemment de la recherche reproductive. Vous travaillez peut-être avec un cluster. Vous avez écrit votre propre pipeline en Bash, Python ou même en Perl qui gérait les appels à différents scripts et outils (voire même l'appel à l'ordonnanceur). Vous développez un pipeline, ou le maintenez...
Bonjour à tous, et bienvenue dans le premier épisode d'une (longue ?) série de prise en main de l'outil dédié au pipeline : Snakemake.
Si vous ne connaissez pas encore cet outil, c'est que vous êtes sûrement passés à côté de cet article écrit par Nisaea. Alors, quel sera les bénéfices de retranscrire vos pipelines déjà tout prêt en Snakefile ?
Lisibilité du code, gestion des ressources et reproductibilité
Snake | Crystal Sanchez
Lorsque vous êtes sur le point de publier, il va bien falloir expliquer aux futurs lecteurs comment vous avez obtenu les résultats...
Pipelines Nick-K (Nikos Koutoulas) (CC BY-NC 2.0)
Aujourd'hui petit mash-up de deux articles précédemment publiés dans nos colonnes. Comme je l'avais promis, je vais vous présenter ma méthode pour faire du pipelining avec le gestionnaire de ressources de notre cluster. Si vous n'avez pas compris la phrase précédente, je vous invite à aller (re-)lire l'article sur les pipelines et celui sur les clusters, tout devrait être plus clair...
Il vous est peut-être arrivé d'attendre qu'un logiciel A ait fini son travail pour pouvoir lancer un logiciel B, qui lui utilise la sortie du logiciel A. Si l'exécution de A ne prend que quelques secondes cela n'est pas trop grave. Par contre, si elle prend des heures et que vous devez vérifier régulièrement s’il a fini, cela peut très vite devenir fatigant. Une bonne solution serait de faire que le logiciel B s'exécute automatiquement quand A a fini et c'est cela que l'on appelle un pipeline...
