{"id":566,"date":"2011-12-15T13:11:19","date_gmt":"2011-12-15T11:11:19","guid":{"rendered":"http:\/\/loicmathieu.free.fr\/wordpress\/?p=566"},"modified":"2011-12-15T13:11:19","modified_gmt":"2011-12-15T11:11:19","slug":"chti-jug-lili-et-cassandra","status":"publish","type":"post","link":"https:\/\/www.loicmathieu.fr\/wordpress\/fr\/informatique\/chti-jug-lili-et-cassandra\/","title":{"rendered":"Ch&rsquo;ti JUG : Lili et Cassandra"},"content":{"rendered":"<p>Le 12 d\u00e9cembre s&rsquo;est tenu dans les locaux de l&rsquo;IUT A de Lille une session du <a title=\"Ch'ti JUG\" href=\"http:\/\/chtijug.org\/\" target=\"_blank\">Ch&rsquo;ti JUG<\/a> sur Lili et Cassandra deux outils autour des bases de donn\u00e9es NoSql. La pr\u00e9sentation de Lili a \u00e9t\u00e9 faite par <a href=\"http:\/\/chtijug.org\/speakers\/#steven-noels\">Stevens Noel<\/a> et celle sur Cassandra par <a href=\"http:\/\/chtijug.org\/speakers\/#jeremy-sevellec\">J\u00e9r\u00e9my Sevellec<\/a>.<\/p>\n<p>Ayant d\u00e9j\u00e0 \u00e9crit un post sur la session sur le NoSQL, je ne reparlerais pas de Cassandra (bien que la pr\u00e9sentation fut plus compl\u00e8te et fort int\u00e9r\u00e9ssante), vous pouvez retrouver mon post sur le NoSQL ici :\u00a0 <a title=\"Lien permanent vers Ch\u2019ti JUG : NoSQL\" rel=\"bookmark\" href=\"..\/index.php\/informatique\/chti-jug-nosql\/\">Ch\u2019ti JUG : NoSQL<\/a><\/p>\n<p>La pr\u00e9sentation de Lili par Stevens Noel commen\u00e7a tout d&rsquo;abord par un rappel de ce qu&rsquo;est le NoSQL, du pourquoi de l&rsquo;utilisation du NoSQL et de la notion de BigData. Il explique pourquoi on a eu besoin des bases de donn\u00e9es NoSQL par la probl\u00e9matique du BigData : le probl\u00e8me du BigData c&rsquo;est :<\/p>\n<ul><li>Quand un serveur BDD relationnel ne suffit plus \u00e0 h\u00e9berg\u00e9 une base de donn\u00e9e<\/li>\n\n<li>Quand les performances en \u00e9critures ne sont plus suffisante<\/li>\n\n<li>Quand les indexes poses des probl\u00e8mes car ils repr\u00e9sentent une optimisation fig\u00e9 (on ne peut changer un index dynamiquement)<\/li>\n\n<li>Quand on a besoin de possibilit\u00e9 de scaling horizontal (plusieurs serveur)<\/li>\n<\/ul>\n<p>Quand on est dans une ou plusieurs de ces probl\u00e9matique, alors les BDD relationnels standard ne suffisent plus, c&rsquo;est la probl\u00e9matique du BigData donc les bases de donn\u00e9es NoSQL apportent une solution.<\/p>\n<p>Lili est une solution compl\u00e8te bas\u00e9e sur un ensemble de composants open source tournant autour des probl\u00e9matiques NoSQl, vous trouverez des informations d\u00e9taill\u00e9e de la solution sur son site : <a href=\"http:\/\/www.lilyproject.org\/lily\/index.html\" target=\"_blank\"><a href=\"http:\/\/www.lilyproject.org\/lily\/index.html\">http:\/\/www.lilyproject.org\/lily\/index.html<\/a><\/a>. Les diff\u00e9rents composants peuvent tous \u00eatre utilis\u00e9 de sur plusieurs n\u0153ud (tout l&rsquo;inter\u00eat du NoSQL est d&rsquo;utiliser plusieurs serveur au lieu d&rsquo;un unique) Lili se chargeant de l&rsquo;orchestration.<\/p>\n<p>Le principe de Lili est de fournir un ensemble de composant pour r\u00e9soudre toutes les probl\u00e9matiques d&rsquo;acc\u00e8s a des donn\u00e9es de type BigData :<\/p>\n<ul><li>Un DataStore<\/li>\n\n<li>Un syst\u00e8me d&rsquo;entrep\u00f4t de donn\u00e9e (DWH)<\/li>\n\n<li>Une partie Analitics<\/li>\n<\/ul>\n<p>Ceci via un ensemble de briques OpenSource mise bout \u00e0 bout et communiquant ensemble via <a href=\"http:\/\/zookeeper.apache.org\/\" target=\"_blank\">ZooKeeper <\/a>:<\/p>\n<ul><li>HBase : base de donn\u00e9es NoSQL bas\u00e9e sur Hadoop (Utilisation de la distribution <a href=\"http:\/\/www.cloudera.com\/\" target=\"_blank\">Cloudera <\/a>de HBase)<\/li>\n\n<li>MapReduce : calcul distribu\u00e9 sur les donn\u00e9es NoSQL<\/li>\n\n<li>Solr : indexage et requ\u00eatage des donn\u00e9es NoSQL<\/li>\n<\/ul>\n<p>Gr\u00e2ce \u00e0 \u00e7a, Lili permet le stockage, l&rsquo;indexation et la recherche des donn\u00e9es en NoSQL de mani\u00e8re scalable et en temps r\u00e9el!<\/p>\n<p>Quelques explications sur les principales briques utilis\u00e9s :<\/p>\n<ul><li><strong>Hadoop <\/strong>: disque virtuel distribu\u00e9, fiable et tol\u00e9rant aux panes : l&rsquo;Hadoop Distributed File System (HDFS)<\/li>\n\n<li><strong>MapReduce <\/strong>: calculs distribu\u00e9s sur plusieurs serveurs des donn\u00e9es stock\u00e9 dans l&rsquo;HDFS. Tol\u00e9rant aux panes (si un noeud tombe, le calculs est repris par un autre). Le calcul est localis\u00e9 sur le serveur contenant la donn\u00e9e. Attention MapReduce n&rsquo;est pas interactif, le calcul est de type batch.<\/li>\n\n<li><strong>HBase <\/strong>: BDD NoSQL interactive au dessus de l&rsquo;HDFS. On peut simplifier en la pr\u00e9sentant en tant que RAM au dessus du Disque Dur qu&rsquo;est Hadoop.<\/li>\n<\/ul>\n<p>Lili int\u00e8gre tout \u00e7a et offre par l\u00e0 un syst\u00e8me complet et simple d&rsquo;utilisation :<\/p>\n<ul><li><strong>DataModel <\/strong>: les donn\u00e9es NoSQL de HBase ne sont que des tableaux de byte, Lili int\u00e8gre un syst\u00e8me de <strong>mod\u00e8le de donn\u00e9es<\/strong> haut-niveau <strong>typ\u00e9 <\/strong>et permettant de r\u00e9aliser des <strong>liens <\/strong>entre les donn\u00e9es (relation sans contrainte, la validit\u00e9 des liens n&rsquo;\u00e9tant pas v\u00e9rifi\u00e9 automatiquement par la BDD)<\/li>\n\n<li><strong>Version <\/strong>: les objets dans Lili peuvent \u00eatre versionn\u00e9 (avec diff\u00e9rente strat\u00e9gie au niveau du stockage ou non des diff\u00e9rentes versions des objets)<\/li>\n\n<li><strong>API <\/strong>: deux API existent, une Java : AVRO et une via REST<\/li>\n\n<li><strong>Indexation <\/strong>: via <a href=\"http:\/\/lucene.apache.org\/solr\/\" target=\"_blank\">Solr<\/a>, un projet lui-m\u00eame bas\u00e9 sur Apache. Les index doivent \u00eatre configur\u00e9 manuellement puis ils sont cr\u00e9\u00e9 \u00e0 chaud et mis \u00e0 jour \u00e0 chaud \u00e0 chaque insertion\/suppression\/mise \u00e0 jour des donn\u00e9es. On peut utiliser plusieurs indexes de mani\u00e8re concurrentiel. Les index sont partitionn\u00e9 automatiquement sur les diff\u00e9rents n\u0153uds.<\/li>\n\n<li><strong>Recherche <\/strong>: via Solr<\/li>\n\n<li><strong>Consistence<\/strong><\/li>\n\n<li><strong>Pas de Master<\/strong> : les n\u0153ud se d\u00e9couvrent automatiquement, l&rsquo;acc\u00e8s \u00e0 un n\u0153ud par l&rsquo;API Java fait d\u00e9couvrir les autres \u00e0 l&rsquo;API.<\/li>\n<\/ul>\n<p>Une d\u00e9mo fort int\u00e9ressante a termin\u00e9 la pr\u00e9sentation, la distribution de Lili contient des scripts permettant de lancer toutes les briques n\u00e9cessaires sur une machine de d\u00e9veloppement et plein d&rsquo;exemple simple pour commencer \u00e0 l&rsquo;utiliser.<\/p>\n<p>Maintenant, il ne vous reste plus qu&rsquo;\u00e0 t\u00e9l\u00e9charger la distribution et \u00e0 vous amuser avec ;)<\/p>","protected":false},"excerpt":{"rendered":"<p>Le 12 d\u00e9cembre s&rsquo;est tenu dans les locaux de l&rsquo;IUT A de Lille une session du Ch&rsquo;ti JUG sur Lili et Cassandra deux outils autour des bases de donn\u00e9es NoSql. La pr\u00e9sentation de Lili a \u00e9t\u00e9 faite par Stevens Noel et celle sur Cassandra par J\u00e9r\u00e9my Sevellec. Ayant d\u00e9j\u00e0 \u00e9crit un post sur la session sur le NoSQL, je ne reparlerais pas de Cassandra (bien que la pr\u00e9sentation fut plus compl\u00e8te et fort int\u00e9r\u00e9ssante), vous pouvez retrouver mon post sur&#8230;<p class=\"read-more\"><a class=\"btn btn-default\" href=\"https:\/\/www.loicmathieu.fr\/wordpress\/fr\/informatique\/chti-jug-lili-et-cassandra\/\">Lire la suite<span class=\"screen-reader-text\"> Lire la suite<\/span><\/a><\/p><\/p>","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"jetpack_post_was_ever_published":false,"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_memberships_contains_paid_content":false,"activitypub_content_warning":"","activitypub_content_visibility":"","activitypub_max_image_attachments":4,"activitypub_interaction_policy_quote":"anyone","activitypub_status":"","footnotes":"","jetpack_publicize_message":"","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":false,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2}},"categories":[9],"tags":[148,118,11,147],"class_list":["post-566","post","type-post","status-publish","format-standard","hentry","category-informatique","tag-bdd","tag-chti-jug","tag-java","tag-nosql"],"aioseo_notices":[],"jetpack_publicize_connections":[],"jetpack_featured_media_url":"","jetpack_sharing_enabled":true,"jetpack_likes_enabled":true,"jetpack-related-posts":[{"id":419,"url":"https:\/\/www.loicmathieu.fr\/wordpress\/fr\/informatique\/chti-jug-nosql\/","url_meta":{"origin":566,"position":0},"title":"Ch&rsquo;ti JUG : NoSQL","author":"admin","date":"lundi 20 d\u00e9cembre 2010","format":false,"excerpt":"Le 2 d\u00e9cembre s'est tenu dans les locaux de l'IUT A de Lille une session du Ch'ti JUG sur les technologie NoSQL anim\u00e9 par Olivier Mallassi. L'intervenant a commenc\u00e9 la conf\u00e9rence par un bref historique de la mani\u00e8re dont les donn\u00e9es on \u00e9t\u00e9 stock\u00e9es dans le monde de l'informatique: Au\u2026","rel":"","context":"Dans &quot;informatique&quot;","block_context":{"text":"informatique","link":"https:\/\/www.loicmathieu.fr\/wordpress\/fr\/category\/informatique\/"},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":377,"url":"https:\/\/www.loicmathieu.fr\/wordpress\/fr\/informatique\/session-chti-jug-sur-les-technologies-google\/","url_meta":{"origin":566,"position":1},"title":"Ch&rsquo;ti Jug: les technologies Google","author":"admin","date":"mercredi 11 novembre 2009","format":false,"excerpt":"Hello, Lundi j'ai \u00e9t\u00e9 \u00e0 la session du Ch'ti Jug sur les technologies Google qui s'est pass\u00e9 \u00e0 l'ISEN et \u00e9tait sponsoris\u00e9e par SII. C'\u00e9tait la premi\u00e8re fois que j'assistais \u00e0 un \u00e9v\u00e8nement organis\u00e9 par le Ch'ti Jug et comme c'\u00e9tait int\u00e9ressant, j'aimerais partager avec vous l\u00e0 dessus. Ch'ti Jug?\u2026","rel":"","context":"Dans &quot;informatique&quot;","block_context":{"text":"informatique","link":"https:\/\/www.loicmathieu.fr\/wordpress\/fr\/category\/informatique\/"},"img":{"alt_text":"Google Wave","src":"https:\/\/i0.wp.com\/loicmathieu.free.fr\/wordpress\/wp-content\/uploads\/google-wave.jpg?resize=350%2C200","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/loicmathieu.free.fr\/wordpress\/wp-content\/uploads\/google-wave.jpg?resize=350%2C200 1x, https:\/\/i0.wp.com\/loicmathieu.free.fr\/wordpress\/wp-content\/uploads\/google-wave.jpg?resize=525%2C300 1.5x"},"classes":[]},{"id":386,"url":"https:\/\/www.loicmathieu.fr\/wordpress\/fr\/informatique\/chti-jug-html5-websocket-et-autres-protocole-de-communication\/","url_meta":{"origin":566,"position":2},"title":"Ch&rsquo;ti JUG: HTML5: WebSocket et autres protocole de communication","author":"admin","date":"dimanche 13 d\u00e9cembre 2009","format":false,"excerpt":"Jeudi s'est tenu dans les locaux d'ADEO une session du Ch'ti Jug sur HTML5 et tout particuli\u00e8rement les WebSockets: Kaazing HTML5 WebSocket Talk at the Ch\u2019ti JUG Meeting in Lille, France Pour ceux qui ne savent pas ce qu'est le Ch'ti Jug ou ce qu'est un Jug, voir l'introduction de\u2026","rel":"","context":"Dans &quot;informatique&quot;","block_context":{"text":"informatique","link":"https:\/\/www.loicmathieu.fr\/wordpress\/fr\/category\/informatique\/"},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":391,"url":"https:\/\/www.loicmathieu.fr\/wordpress\/fr\/informatique\/chti-jug-drools-v5-et-drools-planner\/","url_meta":{"origin":566,"position":3},"title":"Ch&rsquo;ti Jug: Drools v5 et Drools Planner","author":"admin","date":"samedi 13 f\u00e9vrier 2010","format":false,"excerpt":"Jeudi 21 janvier s'est tenu dans les locaux de l'Universit\u00e9 de Lille 1 une session du Ch'ti Jug sponsoris\u00e9e par Cylande sur Drools:\u00a0 Drools, avec Cylande et l'Universit\u00e9 Lille 1 Pour ceux qui ne savent pas ce qu'est le Ch'ti Jug ou ce qu'est un Jug, voir l'introduction de mon\u2026","rel":"","context":"Dans &quot;informatique&quot;","block_context":{"text":"informatique","link":"https:\/\/www.loicmathieu.fr\/wordpress\/fr\/category\/informatique\/"},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":399,"url":"https:\/\/www.loicmathieu.fr\/wordpress\/fr\/informatique\/ch%e2%80%99ti-jug-glassfish-esb\/","url_meta":{"origin":566,"position":4},"title":"Ch\u2019ti Jug: GlassFish ESB","author":"admin","date":"lundi  1 mars 2010","format":false,"excerpt":"Jeudi 21 janvier s\u2019est tenu une session du Ch\u2019ti Jug sponsoris\u00e9e par\u00a0 Cap Gemini sur GlassFish ESB : GlassFish ESB avec CAPGEMINI. Pour ceux qui ne savent pas ce qu\u2019est le Ch\u2019ti Jug ou ce qu\u2019est un Jug, voir l\u2019introduction de mon article sur la premi\u00e8re session \u00e0 laquelle j\u2019ai\u2026","rel":"","context":"Dans &quot;informatique&quot;","block_context":{"text":"informatique","link":"https:\/\/www.loicmathieu.fr\/wordpress\/fr\/category\/informatique\/"},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":408,"url":"https:\/\/www.loicmathieu.fr\/wordpress\/fr\/informatique\/ch%e2%80%99ti-jug-git-et-mockito\/","url_meta":{"origin":566,"position":5},"title":"Ch\u2019ti Jug: GIT et Mockito","author":"admin","date":"mercredi 26 mai 2010","format":false,"excerpt":"Mardi 20 avril s'est d\u00e9roul\u00e9 une session du Ch'ti JUG sur GIT et Mockito sponsoris\u00e9 par ProxiAD : GIT et Mockito avec ProxiAD Pour ceux qui ne savent pas ce qu\u2019est le Ch\u2019ti Jug ou ce qu\u2019est un Jug, voir l\u2019introduction de mon article sur la premi\u00e8re session \u00e0 laquelle\u2026","rel":"","context":"Dans &quot;informatique&quot;","block_context":{"text":"informatique","link":"https:\/\/www.loicmathieu.fr\/wordpress\/fr\/category\/informatique\/"},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]}],"_links":{"self":[{"href":"https:\/\/www.loicmathieu.fr\/wordpress\/fr\/wp-json\/wp\/v2\/posts\/566","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.loicmathieu.fr\/wordpress\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.loicmathieu.fr\/wordpress\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.loicmathieu.fr\/wordpress\/fr\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.loicmathieu.fr\/wordpress\/fr\/wp-json\/wp\/v2\/comments?post=566"}],"version-history":[{"count":0,"href":"https:\/\/www.loicmathieu.fr\/wordpress\/fr\/wp-json\/wp\/v2\/posts\/566\/revisions"}],"wp:attachment":[{"href":"https:\/\/www.loicmathieu.fr\/wordpress\/fr\/wp-json\/wp\/v2\/media?parent=566"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.loicmathieu.fr\/wordpress\/fr\/wp-json\/wp\/v2\/categories?post=566"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.loicmathieu.fr\/wordpress\/fr\/wp-json\/wp\/v2\/tags?post=566"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}