![\"\"](\"https:\/\/i0.wp.com\/loicmathieu.fr\/wordpress\/wp-content\/uploads\/Pinot-architecture.jpg?resize=606%2C475&ssl=1\")
\nCela faisait tr\u00e8s longtemps que j’avais envie de tester Apache Pinot et j’ai enfin pris le temps de le faire !<\/p>\n
Pinot est un datastore OLAP (OnLine Analytical Processing) distribu\u00e9e et temps r\u00e9el, sp\u00e9cialement con\u00e7u pour fournir des analyses \u00e0 tr\u00e8s faible latence, m\u00eame \u00e0 un d\u00e9bit extr\u00eamement \u00e9lev\u00e9. Il peut ing\u00e9rer des donn\u00e9es directement \u00e0 partir de sources de donn\u00e9es en continu (stream) ou de sources de donn\u00e9es par lots (batch).\nAu c\u0153ur du syst\u00e8me se trouve un stockage en colonne, avec plusieurs techniques d’indexation et de pr\u00e9-agr\u00e9gation intelligentes pour une faible latence.\nPinot a \u00e9t\u00e9 construit par des ing\u00e9nieurs de LinkedIn et Uber et est con\u00e7u pour scaler up ou out sans limites. Les performances restent toujours constantes en fonction de la taille de votre cluster et d’un seuil de requ\u00eates par seconde (RPS) attendu.<\/p>\n\n
Un cluster Pinot est constitu\u00e9 des \u00e9l\u00e9ments suivants :<\/p>\n
Commen\u00e7ons donc pas le commencement : lancer Pinot localement ! Apache Pinot \u00e9tant un syst\u00e8me distribu\u00e9 \u00e0 plusieurs composants (Zookeeper, Pinot Controller, Pinot Broker, Pinot Server), je d\u00e9cide donc de passer par une image Docker tout en un pour le tester localement, \u00e7a me semble le plus simple.<\/p>\n
En me basant sur le guide Getting Started<\/a>, je lance Pinot avec cette commande Docker qui permet de le d\u00e9marrer avec un jeu de donn\u00e9es de statistique de Baseball pr\u00e9-import\u00e9. Le conteneur, apr\u00e8s avoir instanci\u00e9 les composants et importer les donn\u00e9es, va ensuite ex\u00e9cuter un ensemble de requ\u00eates et afficher leurs r\u00e9sultats dans les logs.<\/p>\n Apr\u00e8s d\u00e9marrage de Pinot et import du jeu de donn\u00e9es, je peux utiliser la console Pinot (disponible sur le port 9000 par d\u00e9faut) pour acc\u00e9der au cluster.<\/p>\n Celle-ci permet de visualiser l’\u00e9tat du cluster via l’onglet Cluster Management<\/strong>.<\/p>\n Et de lancer des requ\u00eates via l’onglet Query Console<\/strong>. J’y fais un petit Bon, tout \u00e7a c’est joli, mais pour d\u00e9passer le Hello World et vraiment tester Pinot, il va me falloir un jeu de donn\u00e9es un peu plus volumineux avec lequel faire joujou.<\/p>\n La commission europ\u00e9enne mets \u00e0 disposition un ensemble de donn\u00e9e en Open Data, c’est le moment d’en profiter.<\/p>\n Je jette mon d\u00e9volu sur un jeu de donn\u00e9es sur les \u00e9missions de gaz \u00e0 effets de serre dans la zone euro (vous pouvez le trouver sur cette page<\/a>) : Air emissions accounts by NACE Rev. 2 activity<\/a> de 4 millions de points de donn\u00e9es.<\/p>\n Voici la description du jeu de donn\u00e9es : This data set reports the emissions of greenhouse gases and air pollutants broken down by 64 industries (classified by NACE Rev. 2) plus households. Concepts and principles are the same as in national accounts. Complete data starts from reference year 2008<\/em>.<\/p>\n Il va maintenant falloir charger les donn\u00e9es, chaque colonne est s\u00e9par\u00e9e par une tabulation, l’absence de donn\u00e9e est d\u00e9finie par Pour envoyer cette donn\u00e9e \u00e0 Pinot, je me suis bas\u00e9 sur le guide Pushing your data to Pinot<\/a>.<\/p>\n Pour commencer, il faut d\u00e9finir un sch\u00e9ma \u00e0 la donn\u00e9e, voici celui que j’ai utilis\u00e9 :<\/p>\n Dans ce sch\u00e9ma, on d\u00e9finit deux types de champs, les champs de type dimensions : ce sont des cha\u00eenes de caract\u00e8res sur lesquels nous allons pouvoir filtrer ou grouper les donn\u00e9es, et les champs de type m\u00e9trique qui sont ici tous des floats (un champ par ann\u00e9e de donn\u00e9e disponible) sur lesquels nous allons pouvoir faire des calculs (agr\u00e9gations).<\/p>\n Il faut ensuite d\u00e9finir la table o\u00f9 stocker les donn\u00e9es, voici la d\u00e9finition de la table, elle est pour l’instant tr\u00e8s simple :<\/p>\n Pour pouvoir cr\u00e9er cette table, j’ai red\u00e9marr\u00e9 un cluster Pinot depuis le Docker Compose propos\u00e9 dans la documentation<\/a>, puis utilis\u00e9 la commande Docker suivante qui va lancer une commande de cr\u00e9ation de la table depuis les d\u00e9finitions de sch\u00e9ma et de table pr\u00e9c\u00e9demment cr\u00e9\u00e9s :<\/p>\n Nous pouvons ensuite aller v\u00e9rifier via la console Pinot (http:\/\/localhost:9000<\/a>) que la table a bien \u00e9t\u00e9 cr\u00e9\u00e9e.<\/p>\n Maintenant, place \u00e0 l’insertion des donn\u00e9es !<\/p>\n Le fichier est de type TSV et contient L\u2019ingestion dans Pinot se fait via un job d’insertion d\u00e9fini au format yaml.<\/p>\n Ce job d\u00e9finit entre autre :<\/p>\n Pour lancer le job, vous pouvez utiliser la commande Docker suivante :<\/p>\n Apr\u00e8s ingestion, nous avons maintenant 266456 lignes dans notre table que nous pouvons ensuite requ\u00eater depuis la console Pinot.<\/p>\n Par exemple via la requ\u00eate suivante : Pinot utilise Apache Calcite pour le requ\u00eatage, nous pouvons donc utiliser du SQL ANSI ce qui simplifie grandement le requ\u00eatage. La requ\u00eate ci-dessus va donner les r\u00e9sultats suivants :<\/p>\n Le jeu de donn\u00e9e \u00e9tant assez petit, les requ\u00eates s\u2019ex\u00e9cutent en quelques millisecondes malgr\u00e9 qu’aucun indexe n’ait \u00e9t\u00e9 cr\u00e9\u00e9.<\/p>\n Essayons maintenant la requ\u00eate suivante : Pinot a donc scann\u00e9 66614 documents sur 266456, les documents qui correspondent \u00e0 l’unit G_HAB. Lors de la phase de filter, il a scann\u00e9 266456 entr\u00e9es, il a donc fait un full scan sur la table.<\/p>\n Pinot permet l’ajout d’indexe pour optimiser le requ\u00eatage, dans la requ\u00eate pr\u00e9c\u00e9demment utilis\u00e9e, la colonne unit \u00e9tait utilis\u00e9 pour filtrer les donn\u00e9es.<\/p>\n Je vais donc modifier la structure de table pour ajouter un index invers\u00e9 sur la colonne unit.<\/p>\n Pour faire cela nous pouvons modifier la description de la table pour ajouter cet indexe :<\/p>\n Pour plus de simplicit\u00e9, j’ai utilis\u00e9 l’interface graphique de Pinot pour ajouter l’index (en \u00e9ditant la table) puis recharger les segments. Recharger les segments apr\u00e8s une modification de table est n\u00e9cessaire pour que l’index soit cr\u00e9\u00e9 et mis \u00e0 jour.<\/p>\n Apr\u00e8s relance de la requ\u00eate, on voit que le numEntriesScannedInFilter<\/strong> passe \u00e0 0, Pinot utilisant l’indexe pr\u00e9c\u00e9demment cr\u00e9\u00e9.<\/p>\n Une des forces de Pinot est qu’il supporte beaucoup de type d’indexes diff\u00e9rent, ce qui permet d’impl\u00e9menter des cas d’utilisation diff\u00e9rents, et d’optimiser pour le requ\u00eatage ou le stockage, chaque indexe utilisant de l’espace disque.<\/p>\n Pour aller plus loin sur les capacit\u00e9s d’indexation de Pinot vous pouvez lire mon article : Apache Pinot et de ses diff\u00e9rents types d\u2019indexes<\/a>.<\/p>\n <\/p>","protected":false},"excerpt":{"rendered":" Cela faisait tr\u00e8s longtemps que j’avais envie de tester Apache Pinot et j’ai enfin pris le temps de le faire ! Tout d’abord, une rapide description de Pinot Pinot est un datastore OLAP (OnLine Analytical Processing) distribu\u00e9e et temps r\u00e9el, sp\u00e9cialement con\u00e7u pour fournir des analyses \u00e0 tr\u00e8s faible latence, m\u00eame \u00e0 un d\u00e9bit extr\u00eamement \u00e9lev\u00e9. Il peut ing\u00e9rer des donn\u00e9es directement \u00e0 partir de sources de donn\u00e9es en continu (stream) ou de sources de donn\u00e9es par lots (batch). Au…\ndocker run \\\n -p 9000:9000 \\\n apachepinot\/pinot:0.9.3 QuickStart \\\n -type batch\n<\/pre>\n
![\"\"](\"https:\/\/i0.wp.com\/loicmathieu.fr\/wordpress\/wp-content\/uploads\/pinot-cluster-view.png?resize=640%2C339&ssl=1\")
\ncount(*)<\/code> de la table baseballStats<\/strong> cr\u00e9\u00e9, la requ\u00eate s’effectue quasiment imm\u00e9diatement (quelques millisecondes) mais en m\u00eame temps il n’y a que 97889 lignes donc c’est normal.<\/p>\n![\"\"](\"https:\/\/i0.wp.com\/loicmathieu.fr\/wordpress\/wp-content\/uploads\/pinot-first-query.png?resize=640%2C274&ssl=1\")
\nAnalyse des \u00e9missions de carbone europ\u00e9enne<\/h2>\n
:<\/code>, la premi\u00e8re colonne contenant la cat\u00e9gorie NACE il serait judicieux de la s\u00e9parer en quatre colonnes : les intitul\u00e9s sont airpol,nace_r2,unit,geo\\time<\/strong>.<\/p>\n\n{\n \"schemaName\": \"greenhouseGazEmission\",\n \"dimensionFieldSpecs\": [\n {\n \"name\": \"airpol\",\n \"dataType\": \"STRING\"\n },\n {\n \"name\": \"nace_r2\",\n \"dataType\": \"STRING\"\n },\n {\n \"name\": \"unit\",\n \"dataType\": \"STRING\"\n },\n {\n \"name\": \"geo\",\n \"dataType\": \"STRING\"\n }\n ],\n \"metricFieldSpecs\": [\n {\n \"name\": \"2020\",\n \"dataType\": \"FLOAT\"\n },\n {\n \"name\": \"2019\",\n \"dataType\": \"FLOAT\"\n },\n [...] \/\/ repeate the same for all fields down to 1995\n ]\n}\n<\/pre>\n\n{\n \"tableName\": \"greenhouseGazEmission\",\n \"segmentsConfig\" : {\n \"replication\" : \"1\",\n \"schemaName\" : \"greenhouseGazEmission\"\n },\n \"tableIndexConfig\" : {\n \"invertedIndexColumns\" : [],\n \"loadMode\" : \"MMAP\"\n },\n \"tenants\" : {\n \"broker\":\"DefaultTenant\",\n \"server\":\"DefaultTenant\"\n },\n \"tableType\":\"OFFLINE\",\n \"metadata\": {}\n}\n<\/pre>\n\ndocker run --rm -ti \\\n --network=pinot_default \\\n -v ~\/dev\/pinot\/data:\/tmp\/pinot-quick-start \\\n --name pinot-batch-table-creation \\\n apachepinot\/pinot:0.9.3 AddTable \\\n -schemaFile \/tmp\/pinot-quick-start\/greenhousGazEmission-schema.json \\\n -tableConfigFile \/tmp\/pinot-quick-start\/greenhousGazEmission-table.json \\\n -controllerHost manual-pinot-controller \\\n -controllerPort 9000 -exec\n<\/pre>\n
:<\/code> quand il n’y a pas de donn\u00e9es, pour le pr\u00e9parer \u00e0 l\u2019ingestion dans Pinot nous allons ex\u00e9cuter une commande sed pour le transformer en CSV (donc remplacer les tabulations par des virgules) et supprimer certains caract\u00e8res incorrects, cette commande sed va aussi modifier la ligne des noms des champs qu’il faudra ensuite remettre \u00e0 ceux attendu par le sch\u00e9ma.<\/p>\n\nsed 's\/\\t\/,\/g;s\/:\/\/g;s\/[pseb]\/\/g;s\/[[:blank:]]\/\/g' env_ac_ainah_r2.tsv > data\/env_ac_ainah_r2.csv\n<\/pre>\n
\nexecutionFrameworkSpec:\n name: 'standalone'\n segmentGenerationJobRunnerClassName: 'org.apache.pinot.plugin.ingestion.batch.standalone.SegmentGenerationJobRunner'\n segmentTarPushJobRunnerClassName: 'org.apache.pinot.plugin.ingestion.batch.standalone.SegmentTarPushJobRunner'\n segmentUriPushJobRunnerClassName: 'org.apache.pinot.plugin.ingestion.batch.standalone.SegmentUriPushJobRunner'\njobType: SegmentCreationAndTarPush\ninputDirURI: '\/tmp\/pinot-quick-start'\nincludeFileNamePattern: 'glob:**\/*.csv'\noutputDirURI: '\/tmp\/pinot-quick-start\/segments\/'\noverwriteOutput: true\npinotFSSpecs:\n - scheme: file\n className: org.apache.pinot.spi.filesystem.LocalPinotFS\nrecordReaderSpec:\n dataFormat: 'csv'\n className: 'org.apache.pinot.plugin.inputformat.csv.CSVRecordReader'\n configClassName: 'org.apache.pinot.plugin.inputformat.csv.CSVRecordReaderConfig'\ntableSpec:\n tableName: 'greenhouseGazEmission'\n schemaURI: 'http:\/\/pinot-controller:9000\/tables\/greenhouseGazEmission\/schema'\n tableConfigURI: 'http:\/\/pinot-controller:9000\/tables\/greenhouseGazEmission'\npinotClusterSpecs:\n - controllerURI: 'http:\/\/pinot-controller:9000'\n<\/pre>\n
jobType: SegmentCreationAndTarPush<\/code> : le job va cr\u00e9er un segment de table. Un segment est une partition des donn\u00e9es de la table. Si votre jeu de donn\u00e9es est important il faudra d\u00e9couper le fichier CSV pour pouvoir lancer plusieurs jobs et obtenir plusieurs segments.<\/li>\n\ninputDirURI<\/code> et includeFileNamePattern<\/code> pour d\u00e9finir l’endroit o\u00f9 chercher le ou les CSV des donn\u00e9es \u00e0 charger.<\/li>\n\nrecordReaderSpec<\/code> qui d\u00e9finit le format des donn\u00e9es CSV.<\/li>\n\ntableSpec<\/code> qui d\u00e9finit la sp\u00e9cification de la table cible, celle que nous avons d\u00e9finie pr\u00e9c\u00e9demment.<\/li>\n<\/ul>\n\ndocker run --rm -ti \\\n --network=pinot_default \\\n -v ~\/dev\/pinot\/data:\/tmp\/pinot-quick-start \\\n --name pinot-data-ingestion-job \\\n apachepinot\/pinot:0.9.3 LaunchDataIngestionJob \\\n -jobSpecFile \/tmp\/pinot-quick-start\/job-ingest.yml\n<\/pre>\n
select geo, sum(2019), sum(2020), sum(2021) from greenhouseGazEmission group by geo<\/code><\/p>\n![\"\"](\"https:\/\/i0.wp.com\/loicmathieu.fr\/wordpress\/wp-content\/uploads\/pinot-carbonn-footprint-query.png?resize=640%2C447&ssl=1\")
\nselect sum(2019), sum(2020), sum(2021) from greenhouseGazEmission where unit = 'G_HAB'<\/code>, elle s\u2019ex\u00e9cute en 24ms, et on peut voir les informations de requ\u00eatage suivant :<\/p>\nOptimisation du requ\u00eatage gr\u00e2ce aux indexes<\/h2>\n
\n{\n \"tableName\": \"greenhouseGazEmission\",\n \"tableIndexConfig\" : {\n \"invertedIndexColumns\" : [\"unit\"],\n \"loadMode\" : \"MMAP\"\n },\n [...]\n}\n<\/pre>\n