Un ex\u00e9cutable natif contient une JVM minimaliste appel\u00e9e SubstratVM, celle-ci a quelques limitations :<\/p>\n
- Support partiel de la reflection<\/li>\n\n
- Support partiel des proxies dynamiques<\/li>\n\n
- Support partiel du chargement dynamique des classes<\/li>\n\n
- Pas de JNI<\/li>\n\n
- Pas de JVMTI<\/li>\n<\/ul>\n
Pas de support de JVMTI<\/strong> signifie pas de support des agents Java, de JMX, des profilers Java, des debuggers Java, de Java Flight Recorder et Java Mission Control, ainsi que de tous les outils livr\u00e9s avec le JDK (jps, jstack, jmap).<\/p>\n
Pour tous les besoins couverts par ces outils, il faut donc utiliser une solution int\u00e9gr\u00e9e \u00e0 l’application (par exemple, remplacer les m\u00e9triques JMX par des m\u00e9triques Prometheus), ou des outils standards fournit par votre syst\u00e8me d’exploitation.<\/p>\n
Pour profiler l’ex\u00e9cution d’une application, l’OS Linux a un outil tr\u00e8s puissant : perf<\/strong>.<\/p>\n
L’outil perf a de nombreuses fonctionnalit\u00e9s, il peut acc\u00e9der \u00e0 toutes les m\u00e9triques de l’OS et du CPU (performance counters, d’o\u00f9 son nom : perf) et profiler l’application de plein de mani\u00e8res diff\u00e9rentes.<\/p>\n
Utiliser perf pour profiler le CPU<\/h3>\n
L’outil perf va utiliser les symboles int\u00e9gr\u00e9s au binaire de votre application pour faire le lien entre un pointeur m\u00e9moire et la m\u00e9thode Java correspondante (ou l’appel syst\u00e8me).<\/p>\n
Par d\u00e9faut, ces symboles ne sont pas int\u00e9gr\u00e9s aux ex\u00e9cutables natifs, il faut donc demander \u00e0 l’outil native-image de les y laisser via les options
H:-DeleteLocalSymbols -H:+PreserveFramePointer<\/code>.<\/p>\nSi vous voulez testez ces \u00e9tapes, vous pouvez utiliser l’application getting-started<\/a> de Quarkus. Quarkus a un support facilit\u00e9 de l’outil native-image, il suffit d’ajouter \u00e0 l’
application.properties<\/code> de votre application la propri\u00e9t\u00e9quarkus.native.additional-build-args=-H:-DeleteLocalSymbols,-H:+PreserveFramePointer<\/code> et celui-ci va automatiquement ajouter ces options \u00e0 la ligne de commande de l’outil native-image.<\/p>\nApr\u00e8s avoir g\u00e9n\u00e9r\u00e9 votre ex\u00e9cutable natif, vous pouvez le lancer, puis r\u00e9cup\u00e9rer son PID; nous utiliserons celui-ci dans la ligne de commande de l’outil perf.<\/p>\n
Une fois votre application lanc\u00e9e, et id\u00e9alement sous charge (vous pouvez utiliser un outil tel que wrk pour g\u00e9n\u00e9rer de la charge), vous pouvez la profiler via la commande perf suivante :
perf record -F 99 -p PID --call-graph dwarf sleep 10<\/code>.<\/p>\n- record<\/strong> : demande \u00e0 perf de commencer \u00e0 profiler l’application.<\/li>\n\n
- -F 99<\/strong> : profile \u00e0 99 Hertz, ce qui veut dire 99 samples par seconde.<\/li>\n\n
- -p PID<\/strong> : demande \u00e0 perf de profiler ce PID en particulier (celui de votre application).<\/li>\n\n
- –call-graph dwarf<\/strong> : indique \u00e0 perf d’utiliser les symboles int\u00e9gr\u00e9s \u00e0 votre application (symbole ELF).<\/li>\n\n
- sleep 10<\/strong> : comme perf profile un PID et pas une commande, il faut lui passer une commande \u00e0 ex\u00e9cuter. Quand cette commande sera termin\u00e9e, perf arr\u00eatera le profilage de votre application. En utilisant
sleep 10<\/code> comme commande, on va donc profiler l’application pendant 10 secondes.<\/li>\n<\/ul>\nQuand la commande est termin\u00e9e, perf aura g\u00e9n\u00e9r\u00e9 un fichier de donn\u00e9es qui contiendra le profil de votre application (profil CPU ici, car on ne lui a pas pr\u00e9cis\u00e9 quel \u00e9v\u00e9nement il devait profiler) :
perf.data<\/code>.<\/p>\nVous pouvez utiliser la commande suivante pour visualiser ce profil dans la console :
perf report --stdio<\/code>, vous aurez alors un r\u00e9sultat proche de celui-ci :<\/p>\n# Children Self Command Shared Object Symbol >\n# ........ ........ ............... ................................... ..............................................................................................................................>\n#\n 13.47% 0.00% tloop-thread-19 libpthread-2.31.so [.] start_thread\n |\n ---start_thread\n IsolateEnterStub_PosixJavaThreads_pthreadStartRoutine_e1f4a8c0039f8337338252cd8734f63a79b5e3df_06195ea7c1ac11d884862c6f069b026336aa4f8c\n JavaThreads_threadStartRoutine_241bd8ce6d5858d439c83fac40308278d1b55d23\n Thread_run_857ee078f8137062fcf27275732adf5c4870652a\n FastThreadLocalRunnable_run_0329ad2c5210a091812879bcecd155c58e561e60\n ThreadExecutorMap$2_run_66c8943ee6536a10df07f979fb6cd278adcf96bc\n SingleThreadEventExecutor$4_run_1b47df7867e302a2fb7f28d7657a73e92f89d91f\n | \n |--12.64%--NioEventLoop_run_be89580b4d16514bef6e948913d2ed21c5e4f679\n | | \n | |--5.14%--NioEventLoop_processSelectedKeys_9a76c58d657b781ee037bbb65f41f01d2eb54e7c\n | | NioEventLoop_processSelectedKeysOptimized_c36ca161e53573665bc03cb5392e91c123bcd359\n | | NioEventLoop_processSelectedKey_3a0d92ce472db6c251df4485227a85acb9d3a1ca\n | | AbstractNioByteChannel$NioByteUnsafe_read_45358e803c643a6380776021e488e79d981b159d\n<\/pre>\n
Et ce sur des milliers de lignes … pas facile \u00e0 analyser hein ?<\/p>\n
Pour analyser facilement un profil g\u00e9n\u00e9r\u00e9 par perf, on peut utiliser l’outil FlameGraph, accessible ici : https:\/\/github.com\/brendangregg\/FlameGraph<\/a><\/a><\/p>\n
Un FlameGraph est une mani\u00e8re de visualiser le profil d’une application permettant de d\u00e9tecter instantan\u00e9ment le chemin de code le plus fr\u00e9quent. Il va afficher, en abscisse, la population (g\u00e9n\u00e9ralement la m\u00e9thode) dont la taille est proportionnelle aux nombres de samples du profil, et en ordonn\u00e9e la profondeur dans la stack. Plus d’informations sur les FlameGraphs ici<\/a>.<\/p>\n
On peut noter un petit soucis dans les donn\u00e9es de profil, la colonne Command<\/strong> au lieu de contenir la commande pass\u00e9e, contient le nom du thread (tronqu\u00e9 qui plus est). C’est un bug dans l’outil native-image, pour le contourner, nous allons utiliser sed<\/strong> pour modifier les donn\u00e9es de profil avant des les utiliser dans l’outil FlameGraph. La valeur de la colonne Command<\/strong> se retrouve \u00e0 la base du FlameGraph, elle doit normalement \u00eatre unique pour que l’aggr\u00e9gation des stacks se fassent.<\/p>\n
La premi\u00e8re \u00e9tape est d’utiliser
perf script<\/code> pour extraire les donn\u00e9es du profil dans un format textuel, puis d’utilisersed<\/code> pour corriger les probl\u00e8mes de nom de commande pour pouvoir ensuite g\u00e9n\u00e9rer un FlameGraph.<\/p>\nperf script > out.perf\nsed -i -E \"s\/cutor-thread-[0-9]*\/executor-thread\/\" out.perf\nsed -i -E \"s\/ntloop-thread-[0-9]*\/eventloop-thread\/\" out.perf\nsed -i -E \"s\/tloop-thread-[0-9]*\/eventloop-thread\/\" out.perf\n~\/FlameGraph\/stackcollapse-perf.pl out.perf | ~FlameGraph\/flamegraph.pl > perf.svg\n<\/pre>\n
Voici un exemple de FlameGraph g\u00e9n\u00e9r\u00e9 :<\/p>\n
![\"\"](\"https:\/\/i0.wp.com\/loicmathieu.fr\/wordpress\/wp-content\/uploads\/flamegraph-1.png?resize=640%2C502&ssl=1\")
\nCe que j\u2019appr\u00e9cie le plus avec les FlameGraphs c’est que l’on peut zoomer dessus en cliquant sur une frame :<\/p>\n
![\"\"](\"https:\/\/i0.wp.com\/loicmathieu.fr\/wordpress\/wp-content\/uploads\/flamegraph-2.png?resize=640%2C615&ssl=1\")
\nUtiliser perf pour profiler la m\u00e9moire<\/h3>\n
Pour profiler la m\u00e9moire, nous allons utiliser la m\u00eame technique avec une commande l\u00e9g\u00e8rement modifi\u00e9e.<\/p>\n
Il y a plusieurs mani\u00e8res de profiler la m\u00e9moire avec perf, on peut demander \u00e0 perf d’enregistrer des \u00e9v\u00e9nements OS li\u00e9s \u00e0 la m\u00e9moire, profiler une des m\u00e9thodes syst\u00e8me qui alloue la m\u00e9moire, ou utiliser
pef mem<\/code>. C’est cette derni\u00e8re solution que l’on va utiliser.<\/p>\nPour cela, il faut d\u00e9marrer votre application via l’outil perf :
perf mem record --call-graph dwarf -F 99 .\/getting-started-1.0-SNAPSHOT-runner<\/code>.<\/p>\nQuand l’application s’arr\u00eate, perf va enregistrer sur le disque les donn\u00e9es de profil qui pourront alors \u00eatre utilis\u00e9es de la m\u00eame mani\u00e8re que celles du profil CPU (via perf report, perf script et l’outil FlameGraph).<\/p>\n
Pour aller plus loin<\/h3>\n
Un talk que j’ai donn\u00e9 sur le sujet (en anglais), d\u00e9marre \u00e0 la minute 44 :
- -F 99<\/strong> : profile \u00e0 99 Hertz, ce qui veut dire 99 samples par seconde.<\/li>\n\n
- record<\/strong> : demande \u00e0 perf de commencer \u00e0 profiler l’application.<\/li>\n\n