QuickPerf est une biblioth\u00e8que de test pour Java permettant d’\u00e9valuer et d’am\u00e9liorer rapidement les performances de votre application.<\/p>\n
Le grand int\u00e9r\u00eat de Quickperf r\u00e9side dans le fait que cela s’effecue via des tests unitaires, ce qui permet, apr\u00e8s avoir d\u00e9tect\u00e9 et corrig\u00e9 un probl\u00e8me de performance, d’avoir des tests de non-r\u00e9gression pour que celui-ci ne revienne jamais ! Vous pouvez alors \u00e9valuer en continue les performances de votre application via votre environnement d’int\u00e9gration continue !<\/p>\n
Quickperf peut \u00eatre utilis\u00e9 pour simplement mesurer des caract\u00e9ristiques de performance, ou pour asserter sur celle-ci via la d\u00e9finition d’expectation<\/em>.<\/p>\n Quickperf n\u00e9cessite Java 7 minimum et fonctionne avec JUnit 4 ou 5 et TestNG. Les exemples de cet article sont r\u00e9alis\u00e9s en Java 11 via JUnit 5.<\/p>\n Pour utiliser Quickperf vous devez ajouter la librairie correspondante \u00e0 votre framework de test, voici un exemple avec Maven pour JUnit 5.<\/p>\n Avant d’entrer en d\u00e9tail dans les fonctionnalit\u00e9s de Quickperf, un petit exemple :<\/p>\n Lancer ces tests vous donnera le r\u00e9sultat suivant :<\/p>\n Build Success! Super!\nAu passage, vous remarquerez la mesure qu’a prise Quickperf de l’allocation m\u00e9moire du test Modifions maintenant le code pour ajouter une expectation<\/em> pour le test Lancer ces tests modifi\u00e9s vous donnera :<\/p>\n Build Failure :(<\/p>\n Mais avec une explication en toute lettre de la cause.<\/p>\n Une des sp\u00e9cificit\u00e9s de Quickperf est de vous donner le plus d’information possible sur la raison de l\u2019\u00e9chec du test, via des phrases compr\u00e9hensibles par un humain.<\/p>\n Les annotations c\u0153urs sont disponibles au sein de la librairie principale de Quickperf, elles offrent les fonctionnalit\u00e9s suivantes :<\/p>\n Il existe aussi un certain nombre d’annotations permettant de configurer Quickperf, plus d’information ici<\/a>.<\/p>\n La plupart des annotations JVM sont inclues dans la librairie principale de Quickperf sauf les annotations li\u00e9es \u00e0 JFR – JDK Flight Recorder<\/a> qui n\u00e9cessitent l’ajout de la librairie Attention : l’utilisation d’annotation JVM induit le d\u00e9marrage d’une JVM par m\u00e9thode de test.<\/strong><\/p>\n Les annotations JVM fournissent les fonctionnalit\u00e9s suivantes :<\/p>\n Petit zoom sur le profilage de votre application via JFR. L’annotation @ProfileJvm<\/code>code>@ProfileJvm<\/code<\/a> va lancer un enregistrement JFR pour l’ex\u00e9cution de votre m\u00e9thode que vous pourrez ensuite ouvrir avec JMC – JDK Mission Control<\/a>. Cette annotation va aussi afficher dans la console certaines m\u00e9triques globales de JFR.<\/p>\n Il est possible de d\u00e9finir des expectations<\/em> quant \u00e0 ce profil via l’annotation @ExpectNoJvmIssue<\/code>code>@ExpectNoJvmIssue<\/code<\/a> qui va se baser sur les r\u00e8gles JMC<\/a> pour mettre en \u00e9chec le test.<\/p>\n Plus d’information sur les annotations JVM ici<\/a><\/p>\n Pour utiliser les annotations SQL, il faut ajouter la librairie Quickperf a \u00e9norm\u00e9ment d’annotations permettant de v\u00e9rifier l’ex\u00e9cution des requ\u00eates SQL, et de d\u00e9tecter les probl\u00e8mes les plus classiques : requ\u00eates dupliqu\u00e9es, n+1 select, batch, …<\/p>\n Voici quelques unes des annotations les plus utilis\u00e9es :<\/p>\n Petit zoom sur une annotation un peu particuli\u00e8re : @DisableSameSelectTypesWithDifferentParamValues<\/code>code>@DisableSameSelectTypesWithDifferentParamValues<\/code<\/a>, celle-ci permet de d\u00e9tecter les probl\u00e8mes de n+1 select\/strong> avec JPA \/ Hibernate.<\/strong><\/p>\n Ce probl\u00e8me bien connu arrive quand deux entit\u00e9s ont une relation parent fils, et que le chargement de l’entit\u00e9 parente implique une requ\u00eate select pour la charger plus n select pour charger ses enfants. C’est un anti-pattern bien connu qui se r\u00e9sout g\u00e9n\u00e9ralement en r\u00e9alisant un JOIN FETCH<\/strong> JPA.<\/p>\n Quickperf peut d\u00e9tecter cela gr\u00e2ce \u00e0 l’annotation @DisableSameSelectTypesWithDifferentParamValues<\/code>code>@DisableSameSelectTypesWithDifferentParamValues<\/code<\/a> qui va mettre votre test en \u00e9chec si plusieurs select identiques sont ex\u00e9cut\u00e9s avec des param\u00e8tres diff\u00e9rents. Et s’il d\u00e9tecte la pr\u00e9sence d’Hibernate, Quickperf va m\u00eame vous donner des conseils quant \u00e0 la r\u00e9solution du probl\u00e8me !<\/p>\n Imaginons les entit\u00e9s Et le test suivant :<\/p>\n Le chargement de la classe Comme \u00e9voqu\u00e9 dans la section pr\u00e9c\u00e9dente, Quickperf n\u00e9cessite un proxy de votre DataSource pour pouvoir d\u00e9tecter les probl\u00e8mes SQL. En fonction des frameworks que vous utilisez, il vous faudra donc mettre en place ce proxy.<\/p>\n Ceci consiste en quelques lignes de code qui vont d\u00e9finir un wrapper au dessus de votre DataSource:<\/p>\n Le repository quickperf-examples<\/a> contient de nombreux exemples de mise en place de ce proxy pour les frameworks les plus courants (Spring, Hibernate, Micronaut, …).<\/p>\n Si vous utilisez Spring, la configuration est simplifi\u00e9e, il n’est pas n\u00e9cessaire d’ajouter la librairie \n\n \n \n org.junit\n junit-bom\n 5.7.0\n pom\n import\n \n \n org.quickperf\n quick-perf-bom\n 1.0.1\n pom\n import\n \n \n \n\n \n \n org.junit.jupiter\n junit-jupiter-engine\n test\n \n \n org.junit.platform\n junit-platform-launcher\n test\n \n \n<\/pre>\n
Un premier exemple<\/h2>\n
@QuickPerfTest\npublic class JvmAnnotationsJunit5Test {\n\n @MeasureHeapAllocation\n @Test\n public void test_method_measuring_heap_allocation() {\n \/\/ java.util.ArrayList: 24 bytes + Object[]: 16 + 100 x 4 = 416 => 440 bytes\n ArrayList data = new ArrayList(100);\n }\n\n @ExpectNoHeapAllocation\n @Test\n public void should_not_allocate() {\n }\n}<\/pre>\n@QuickPerfTest<\/code>: est utilis\u00e9 pour initialiser l’extension Quickperf JUnit5 (optionnel)<\/li>\n\n@MeasureHeapAllocation<\/code>: va mesurer les allocations m\u00e9moire faites par le test<\/li>\n\n@ExpectNoHeapAllocation<\/code>: va cr\u00e9er une expectation<\/em> comme quoi le test ne doit pas r\u00e9aliser d’allocation m\u00e9moire. Si celle-ci est fausse, le test sera en \u00e9chec (assertion failure)<\/li>\n<\/ul>\n[INFO] -------------------------------------------------------\n[INFO] T E S T S\n[INFO] -------------------------------------------------------\n[INFO] Running org.quickperf.jvm.JvmAnnotationsJunit5Test\n[QUICK PERF] Measured heap allocation (test method thread): 440 bytes\n[INFO] Tests run: 2, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 2.203 s - in org.quickperf.jvm.JvmAnnotationsJunit5Test\n[INFO] \n[INFO] Results:\n[INFO] \n[INFO] Tests run: 2, Failures: 0, Errors: 0, Skipped: 0\n[INFO] \n[INFO] ------------------------------------------------------------------------\n[INFO] BUILD SUCCESS\n[INFO] ------------------------------------------------------------------------\n<\/pre>\n
test_method_measuring_heap_allocation<\/code>:<\/p>\n[QUICK PERF] Measured heap allocation (test method thread): 440 bytes\n<\/pre>\n
test_method_measuring_heap_allocation<\/code> comme quoi il doit allouer moins de 400 octets de m\u00e9moire.<\/p>\n\n@MeasureHeapAllocation\n@ExpectMaxHeapAllocation(value = 400, unit = AllocationUnit.BYTE)\n@Test\npublic void test_method_measuring_heap_allocation() {\n \/\/ java.util.ArrayList: 24 bytes + Object[]: 16 + 100 x 4 = 416 => 440 bytes\n ArrayList data = new ArrayList(100);\n}\n<\/pre>\n[INFO] -------------------------------------------------------\n[INFO] T E S T S\n[INFO] -------------------------------------------------------\n[INFO] Running org.quickperf.jvm.JvmAnnotationsJunit5Test\n[QUICK PERF] Measured heap allocation (test method thread): 440 bytes\n[ERROR] Tests run: 2, Failures: 1, Errors: 0, Skipped: 0, Time elapsed: 2.258 s <<< FAILURE! - in org.quickperf.jvm.JvmAnnotationsJunit5Test\n[ERROR] test_method_measuring_heap_allocation Time elapsed: 1.106 s <<< FAILURE!\njava.lang.AssertionError: \na performance property is not respected\n\n[PERF] Expected heap allocation (test method thread) to be less than 400 bytes but is 440 bytes.\n\n[INFO] \n[INFO] Results:\n[INFO] \n[ERROR] Failures: \n[ERROR] JvmAnnotationsJunit5Test.test_method_measuring_heap_allocation a performance property is not respected\n\n[PERF] Expected heap allocation (test method thread) to be less than 400 bytes but is 440 bytes.\n\n[INFO] \n[ERROR] Tests run: 2, Failures: 1, Errors: 0, Skipped: 0\n[INFO] \n[INFO] ------------------------------------------------------------------------\n[INFO] BUILD FAILURE\n[INFO] ------------------------------------------------------------------------\n<\/pre>\n
[PERF] Expected heap allocation (test method thread) to be less than 400 bytes but is 440 bytes.\n<\/pre>\n
Les annotations c\u0153urs (core)<\/h2>\n
@MeasureExecutionTime<\/code> : mesure le temps d\u2019ex\u00e9cution de la m\u00e9thode de test.<\/li>\n\n@ExpectMaxExecutionTime<\/code> : cr\u00e9er une expectation<\/em> comme quoi le test ne doit s’ex\u00e9cuter en plus d’un certain temps.<\/li>\n<\/ul>\nLes annotations JVM<\/h2>\n
org.quickperf:quick-perf-jfr-annotations<\/code>.<\/p>\n@HeapSize<\/code> (pour configurer le Xmx et le Xms), @Xms<\/code>, @Xmx<\/code>, @UseGC<\/code>, @EnableGcLogging<\/code> et @JvmOptions<\/code><\/li>\n\n@MeasureHeapAllocation<\/code>, @ExpectMaxHeapAllocation<\/code> et @ExpectNoHeapAllocation<\/code>. Utilise la librairie ByteWatcher<\/a>.<\/li>\n\n@MeasureRSS<\/code> et @ExpectMaxRSS<\/code>.<\/li>\n\n------------------------------------------------------------------------------\n ALLOCATION (estimations) | GARBAGE COLLECTION | THROWABLE\n Total : 20,1 MiB | Total pause : 21,434 ms | Exception: 0\n Inside TLAB : 16,2 MiB | Longest GC pause: 21,434 ms | Error : 0\n Outside TLAB: 3,95 MiB | Young: 1 | Throwable: 0\n Allocation rate: 255 MiB\/s | Old : 0 |\n------------------------------------------------------------------------------\n COMPILATION | CODE CACHE\n Number : 0 | The number of full code cache events: 0\n Longest: 0 | \n------------------------------------------------------------------------------\n<\/pre>\n
Rule: Primitive To Object Conversion\nSeverity: INFO\nScore: 73\nMessage: 78 % of the total allocation (15,1 MiB) is caused by conversion from primitive \ntypes to object types.\n\nThe most common object type that primitives are converted into is \n'java.lang.Integer', which causes 15,1 MiB to be allocated. The most common \ncall site is 'org.quickperf.jvm.IntegerAccumulator.accumulateInteger(int):26'.\n\n[...]\n<\/pre>\n
Les annotations SQL<\/h2>\n
org.quickperf:quick-perf-sql-annotations<\/code> (sauf si vous utilisez Spring qui a un support d\u00e9di\u00e9). En fonction de votre application, il faut ensuite configurer sa DataSource pour ajouter un proxy qui permettra \u00e0 Quickperf de tracer les requ\u00eates SQL. Plus d’informations \u00e0 ce sujet dans la section suivante.<\/p>\n@ExpectJdbcQueryExecution<\/code> et @ExpectMaxQueryExecutionTime<\/code> : expectation<\/em> quant \u00e0 la dur\u00e9e d’ex\u00e9cution d’une requ\u00eate SQL, la premi\u00e8re attend une dur\u00e9e pr\u00e9cise, la deuxi\u00e8me sera en \u00e9chec si la dur\u00e9e sp\u00e9cifi\u00e9e est atteinte (la plupart des annotations SQL viennent par couple selon ce m\u00eame sch\u00e9ma).<\/li>\n\n@ExpectSelectedColumn<\/code> et @ExpectMaxSelectedColumn<\/code> : expectation<\/em> quant au nombre de colonnes s\u00e9lectionn\u00e9es<\/li>\n\n@ExpectSelect<\/code> et @ExpectMaxSelect<\/code> : expectation quant au nombre de select g\u00e9n\u00e9r\u00e9s<\/li>\n\n@ExpectJdbcBatching<\/code> : expectation quant \u00e0 l’utilisation de batch JDBC<\/li>\n<\/ul>\nPlayer<\/code> et Team<\/code> suivantes :<\/p>\n@Entity\npublic class Player implements Serializable {\n\n @Id\n @GeneratedValue(strategy = GenerationType.SEQUENCE)\n private Long id;\n\n private String firstName;\n\n private String lastName;\n\n @ManyToOne(targetEntity = Team.class)\n @JoinColumn(name = \"team_id\")\n private Team team;\n\n \/\/ getter and setters ...\n}\n\n@Entity\npublic class Team implements Serializable {\n\n @Id\n @GeneratedValue(strategy = GenerationType.SEQUENCE)\n private Long id;\n\n private String name;\n\n \/\/ getter and setters ...\n}\n<\/pre>\n @DisableSameSelectTypesWithDifferentParamValues\n @Test\n public void should_find_all_players() {\n\n TypedQuery fromPlayer\n = entityManager.createQuery(\"FROM Player\", Player.class);\n\n List players = fromPlayer.getResultList();\n\n assertThat(players).hasSize(2);\n\n }\n<\/pre>\nPlayer<\/code> va entra\u00eener n+1 requ\u00eates SQL qui seront d\u00e9tect\u00e9es par Quickperf qui vous donnera alors le message d’erreur suivant en sugg\u00e9rant un probl\u00e8me de n+1 et des solutions possibles :<\/p>\nERROR] Failures: \n[ERROR] HibernateJUnit5Test.should_find_all_players a performance property is not respected\n\n[PERF] Same SELECT types with different parameter values\n\n\ud83d\udca3 You may have even more select statements with production data.\nBe careful with the cost of JDBC server roundtrips: https:\/\/blog.jooq.org\/2017\/12\/18\/the-cost-of-jdbc-server-roundtrips\/\n\n\ud83d\udca1 Perhaps you are facing an N+1 select issue\n * With Hibernate, you may fix it by using JOIN FETCH\n or LEFT JOIN FETCH\n or FetchType.LAZY\n or ...\n Some examples: https:\/\/stackoverflow.com\/questions\/32453989\/what-is-the-solution-for-the-n1-issue-in-jpa-and-hibernate\";\n https:\/\/stackoverflow.com\/questions\/52850442\/how-to-get-rid-of-n1-with-jpa-criteria-api-in-hibernate\/52945771?stw=2#52945771\n https:\/\/thoughts-on-java.org\/jpa-21-entity-graph-part-1-named-entity\/\n\n[...]\n<\/pre>\n
Int\u00e9gration dans les frameworks<\/h2>\n
\npublic DataSource wrapDatasource(DataSource dataSource){\n ProxyDataSource proxyDataSource = QuickPerfSqlDataSourceBuilder.aDataSourceBuilder()\n .buildProxy(dataSource);\n return proxyDataSource;\n}\n<\/pre>\norg.quickperf:quick-perf-sql-annotations<\/code>, \u00e0 la place, vous devez ajouter une librairie d\u00e9di\u00e9e et tout se fait automatiquement. Par exemple, pour Spring Boot 2, vous devez ajouter le starter quick-perf-springboot2-sql-starter<\/code>.<\/p>\n\n\n org.quickperf\n quick-perf-springboot2-sql-starter\n test\n\n<\/pre>\n