Apprendre le langage KQL, quels apports pour l’analyste de données Depuis des décennies, SQL règne sur le monde de l’analyse de données. Avec l’essor du cloud, de la cybersécurité et du big data générés par les infrastructures modernes, un nouveau venu est arrivé dans l’écosystème Microsoft : le Kusto Query Language[1], plus connu sous son acronyme KQL. Pour un analyste de données qui doit choisir ses compétences à développer ou simplement comprendre le paysage technologique actuel, la question mérite d’être posée sans jargon inutile : que gagne-t-on, et que perd-on, à utiliser KQL plutôt que SQL? Quand doit-on utiliser les deux? Complémentarité ou concurrence? Deux langages, deux histoires SQL est né dans les années 1970 (merci au Dr Codd et à la conceptualisation de l’OLTP), conçu pour interroger des bases de données relationnelles classiques : celles qui gèrent les commandes d’un site e-commerce, les comptes clients d’une banque, ou les stocks d’un entrepôt. Sa vocation première est la gestion de données structurées et stables, avec des exigences fortes de cohérence et d’intégrité. C’est le T de OLTP, la notion de « transaction ». SQL n’a jamais été conçu comme un langage destiné au décisionnel et à l’analyse de données. KQL, lui, est beaucoup plus récent : il a été développé par Microsoft et lancé en 2017 avec le service Azure Data Explorer ; il répond à un besoin différent, apparu avec l’explosion du big data. Comment analyser rapidement des milliards de lignes de logs, ou d’événements de sécurité, générés en continu ? C’est précisément le terrain de jeu pour lequel KQL a été pensé, et on le retrouve aujourd’hui au cœur d’outils comme Azure Monitor ou Microsoft Sentinel, la plateforme de cybersécurité de Microsoft. Il peut évidemment être utilisé pour analyser d’autres types de données. On pense évidemment aux données générées par des objets connectés, ou des transactions d’un site de eCommerce, etc. Cette différence d’origine explique presque tout ce qui les sépare aujourd’hui. Les atouts de KQL pour l’analyste Une lecture plus naturelle des requêtes complexes. Là où SQL demande souvent d’imbriquer des sous-requêtes ou de lire une instruction dans un ordre qui ne correspond pas à celui de son exécution réelle, KQL fonctionne comme un enchaînement d’étapes, un peu à la manière d’une recette de cuisine : on part des données brutes, puis on filtre, puis on regroupe, puis on trie, chaque étape s’ajoutant à la précédente de façon visible. Pour un analyste qui construit une analyse pas à pas, cette logique de pipeline facilite énormément la relecture et la correction d’erreurs. Une puissance native pour l’analyse temporelle. KQL a été conçu dès le départ pour des données horodatées en grand volume : logs applicatifs, alertes de sécurité, mesures de performance. Des fonctions comme le calcul de fenêtres de temps glissantes ou la détection d’anomalies sont intégrées nativement, alors qu’elles demandent souvent des développements plus techniques en SQL classique. Une recherche de texte libre intégrée. Chercher un mot ou une expression dans de grandes quantités de données textuelles est une opération courante et simple en KQL, sans configuration préalable particulière. En SQL, ce type de recherche nécessite le plus souvent une préparation technique. SQL a été conçu exclusivement pour l’analyse de données structurées ; KQL a été pensé au moment où les données semi-structurées et non structurées sont devenues accessibles, le fameux « big data » des années 2010. Une exploration progressive des données. Parce qu’une requête KQL se construit étape par étape, un analyste peut tester une première portion, observer le résultat, puis ajouter la suite. Cette approche est particulièrement appréciable lorsqu’on découvre un jeu de données inconnu. C’est une technique d’exploration qui répond parfaitement aux besoins métier d’analyse de nouvelles données. Quels sont les défauts de KQL pour l’analyste Un langage moins répandu. SQL bénéficie d’une notoriété et d’une ancienneté que KQL est loin d’égaler. La quasi-totalité des formations en analyse de données, des offres d’emploi et des ressources pédagogiques s’appuient sur SQL. Apprendre KQL représente donc un investissement supplémentaire, sur un langage dont l’usage reste concentré dans l’écosystème Microsoft. Si vous souhaitez vous spécialiser en environnement Microsoft, c’est un bon choix d’extension de vos compétences. Pour une entreprise qui choisit la plate-forme Microsoft, le choix de KQL est assez logique. En revanche, c’est pour l’instant une étape de plus dans une dépendance à l’écosystème Microsoft. En période de réflexion sur la souveraineté… La conséquence pour une entreprise est que les ressources disponibles compétentes sur KQL sont plus rares et difficiles à trouver. Un périmètre d’usage plus restreint. SQL est le langage de référence d’une multitude de bases de données très différentes les unes des autres. KQL, à l’inverse, reste cantonné aux services Microsoft Azure conçus pour l’analyse de logs et de télémétrie. Un analyste maîtrisant KQL ne pourra pas transposer directement cette compétence à d’autres environnements, contrairement à SQL, dont les bases sont valables presque partout. Une vocation exclusivement analytique. KQL est un langage de lecture seule : il permet d’interroger des données, mais pas de les modifier, de les insérer ou de les supprimer. C’est un choix assumé, cohérent avec son usage, mais cela signifie qu’un analyste devra malgré tout recourir à d’autres outils pour toute opération de gestion des données elle-même. On ne pourra donc pas abandonner SQL pour se limiter à KQL. La connaissance de SQL reste indispensable. Pour un analyste, la compétence clef reste SQL. KQL est une compétence complémentaire. Un écosystème d’outils moins fourni. Autour de SQL s’est construit, au fil des décennies, un univers considérable d’outils de visualisation, de tableaux de bord, de connecteurs et de logiciels métiers. L’offre équivalente pour KQL existe, mais reste plus restreinte et moins mature, ce qui peut limiter les options d’un analyste selon le contexte de son entreprise. Et encore une fois, la dépendance à l’écosystème Microsoft est une donnée du problème. Un langage en open source, mais des outils d’exécution propriétaires Le cœur du langage (grammaire, analyseur syntaxique [parser], spécifications) est publié par Microsoft sur GitHub. Ce dépôt est accessible librement et sous licence open source. Donc, KQL est un langage ouvert, dans la même logique que SQL, qui n’appartient à personne. Mais dans la pratique, l’immense majorité des usages de KQL se fait via les services propriétaires de Microsoft, ce qui nuance largement la portée de cette ouverture ; contrairement à SQL, dont on trouve de nombreux moteurs open source (PostgreSQL, MySQL, SQLite, etc.) totalement indépendants de tout éditeur commercial. Faut-il choisir entre les deux? En réalité, la question se pose rarement en ces termes en entreprise. La plupart des organisations qui utilisent KQL le font en complément de SQL, et non à sa place. Un analyste de données a tout intérêt à considérer les deux langages non pas comme des concurrents, mais comme deux outils répondant à des besoins différents : SQL pour interroger des données métier structurées et stables (en lecture et en écriture), KQL pour explorer rapidement de gros volumes de logs et de données temporelles, en particulier dans un environnement Azure. Pour un professionnel de la donnée, la bonne nouvelle est que les deux langages partagent une logique de fond assez proche (tables, filtres, agrégations, jointures) ce qui rend le passage de l’un à l’autre plus accessible qu’il n’y paraît. Le véritable enjeu n’est donc pas de choisir un camp, mais de savoir reconnaître, selon la nature des données et l’outil disponible, quel langage utiliser pour poser la bonne question au bon moment. Et vous, quelle expérience avez-vous du langage KQL ? Quelles difficultés ou faiblesses avez-vous éventuellement rencontrées ? Et quels sont vos cas d’utilisation ? [1] https://learn.microsoft.com/fr-fr/kusto/query/?view=microsoft-fabric
