Plateformes de données6 min de lecture

Databricks Genie entre dans le workflow des ingénieurs.

Ask Genie amène l'interrogation en langage naturel dans l'environnement où les ingénieurs construisent déjà leurs projets, et la relie à la couche de gouvernance qui détermine si une réponse est digne de confiance.

Databricks Genie est né comme un moyen d’interroger les données en langage naturel depuis une interface web. Ask Genie transpose cette même capacité dans la ligne de commande, pour que les ingénieurs puissent dialoguer avec leurs données directement depuis l’environnement où ils construisent et travaillent déjà.

Cet article prolonge notre présentation de Genie, et il s’adresse beaucoup plus aux ingénieurs. Genie a toujours vécu dans le navigateur : on se connecte à Databricks, on y pose ses questions. Ask Genie le déplace dans le terminal, où les ingénieurs peuvent l’intégrer à leur workflow de développement au lieu de changer d’outil.

§ 01

Des requêtes dans le navigateur aux workflows de développement

Pour un ingénieur, la ligne de commande est le lieu où se déroule l’essentiel du développement. C’est là que le code s’écrit, se teste et s’exécute. Les data engineers s’en servent pour construire des pipelines, explorer des jeux de données et comprendre comment l’information circule dans un système.

Une bonne part de la construction d’un data lakehouse pour le reporting consiste à explorer les données elles-mêmes. Les ingénieurs doivent comprendre comment les tables s’articulent, d’où viennent certains indicateurs, et si les structures qu’ils bâtissent représentent fidèlement l’activité de l’entreprise. Ce travail demande beaucoup de finesse.

Pouvoir poser ses questions directement depuis la ligne de commande accélère ce processus. Au lieu d’écrire une requête à la main chaque fois qu’ils veulent investiguer, les ingénieurs peuvent demander à Genie « Quelles ont été les ventes le trimestre dernier ? » ou « Comment cet indicateur est-il calculé ? », puis utiliser la réponse dans leur workflow. Interroger des données par programmation n’a rien de nouveau. Le faire à ce niveau, à l’intérieur de Databricks, si.

§ 02

Le problème du SQL généré par l’IA

Générer du SQL n’est pas une nouveauté. Les grands modèles de langage savent déjà écrire des requêtes. Le vrai défi, c’est de savoir si la requête et son résultat sont réellement corrects.

Un modèle peut produire une requête SQL qui s’exécute sans erreur et pourtant renvoie une mauvaise réponse. Il peut choisir la mauvaise table, mal comprendre une définition métier ou utiliser un indicateur autrement que ne le définit l’organisation. Si vous lui demandez d’afficher « hello world », il peut vérifier qu’il l’a fait. Si vous lui demandez les ventes de l’an dernier, il n’a aucun moyen de savoir si le chiffre est le bon.

Par exemple, demander à un outil d’IA de calculer les ventes de l’an dernier paraît simple. Mais la réponse dépend de nombreuses décisions :

§ « Calculer les ventes de l’an dernier » dépend de
  • Quelles tables de revenus faut-il utiliser ?
  • Les remboursements sont-ils inclus ?
  • Les commandes annulées sont-elles exclues ?
  • Quelle définition des « ventes » l’entreprise retient-elle ?

Une requête peut être techniquement valide et pourtant fausse.

§ 03

Pourquoi la gouvernance change la donne

C’est ici qu’Ask Genie se distingue d’un assistant de code IA généraliste.

Un outil comme Claude peut générer du SQL à partir des informations dont il dispose. Il écrira les requêtes, mais il devine. Il n’a aucune notion du juste et du faux pour votre entreprise, car il n’a pas accès aux définitions de données ni aux règles de gouvernance de l’organisation.

Ask Genie fonctionne au sein de l’environnement Databricks et se connecte à Unity Catalog, la couche de gouvernance de Databricks. Concrètement, des requêtes de référence, des définitions d’indicateurs validées, des plages de valeurs acceptables et des contrôles de permissions se tiennent derrière chaque réponse.

§ Fig. 01Ce que la gouvernance apporte aux requêtes IA
Sans contexte de donnéesAvec la gouvernance Databricks
  • Sans contexte de donnéesGénère du SQL à partir du seul promptAvec la gouvernance DatabricksS’appuie sur le contexte disponible dans la plateforme de données
  • Sans contexte de donnéesAucune connaissance des définitions d’indicateurs validéesAvec la gouvernance DatabricksPeut référencer des indicateurs et des définitions gouvernés
  • Sans contexte de donnéesCapacité limitée à vérifier la cohérence des résultatsAvec la gouvernance DatabricksPeut comparer avec des requêtes de référence et des résultats attendus
  • Sans contexte de donnéesAucune compréhension des règles d’accès aux donnéesAvec la gouvernance DatabricksRespecte les permissions via Unity Catalog
§ 04

S’appuyer sur des résultats connus pour gagner en confiance

Pour fiabiliser les requêtes générées par l’IA, on peut donner au système un point de comparaison. Si une entreprise connaît déjà le chiffre d’affaires validé d’un trimestre précédent, ce résultat peut servir de référence.

Un script peut extraire les ventes par trimestre, et si le trimestre connu correspond, on a beaucoup plus de raisons de croire que la formule est bonne, et que le chiffre suivant le sera aussi. La même approche s’applique ensuite à des questions similaires.

Cela ne supprime pas la nécessité d’une relecture, mais cela donne à l’IA un moyen de valider sa production plutôt que de simplement générer une réponse plausible.

§ Fig. 02De la question à la réponse gouvernée
  1. Question métier

    « Quelles ont été les ventes le trimestre dernier ? »

  2. Ask Genie

    Génère du SQL à partir du contexte disponible.

  3. Couche de gouvernance

    Applique les définitions, les permissions et la logique de référence.

  4. Réponse

    Un résultat que l’on peut relire avec davantage de confiance.

§ 05

Des questions ponctuelles aux workflows automatisés

Placer Genie en ligne de commande ouvre aussi des possibilités au-delà des questions isolées. Comme il s’utilise par programmation, les équipes peuvent l’intégrer à des scripts et à des workflows récurrents.

Un script pourrait, par exemple, s’exécuter chaque jour pour demander quelles nouvelles tendances apparaissent dans les données, repérer des schémas inhabituels ou aider à surveiller certains indicateurs. Ce sont ces questions plus exploratoires qui attendent d’ordinaire que quelqu’un ait le temps de s’y pencher.

On peut aussi le brancher à des outils de développement agentiques comme Claude Code, pour que les requêtes sur des données gouvernées s’inscrivent dans le même workflow que celui que les ingénieurs utilisent déjà pour écrire et tester du code.

§ 06

Une façon plus connectée de travailler avec les données

Ask Genie ne remplace pas le travail technique nécessaire pour bâtir des systèmes de données fiables. Sa valeur tient à la réduction du travail manuel pour explorer les données, comprendre leurs relations et répondre aux questions pendant le développement.

Ce qui distingue un assistant IA généraliste d’un système d’IA de données gouverné, c’est le contexte derrière les réponses.

En faisant passer Genie d’une expérience autonome dans le navigateur à la ligne de commande, Databricks facilite l’usage de l’IA par les ingénieurs pour explorer, construire et maintenir les plateformes de données modernes.

§ Travailler avec nous

Si vous intégrez l’IA à vos workflows de données et voulez que les définitions et les permissions qui la soutiennent tiennent la route, nous serons ravis d’en parler avec vous.

Discutons-en