marian.szawelski/portfolio
FREN
022026·livré

Référentiel formations post-bac - pipeline DuckDB · dbt · Dagster

Référentiel de formations post-bac construit à partir de deux jeux Parcoursup en open data. Résolution d'entités entre les deux sources, modélisation dbt en couches avec 28 tests automatisés, orchestration complète par Dagster. Projet solo pour approfondir la stack data engineering.

context

Les formations post-bac françaises publient leurs statistiques de vœux via Parcoursup, mais sous forme de jeux de données bruts sans table de référence unifiée. Deux sources en open data couvrent chacune une partie de l'information : les vœux et réponses 2025 d'un côté, une cartographie pluriannuelle des formations de l'autre. Aucune des deux n'est utilisable seule pour obtenir un taux d'admission par formation. Projet personnel pour m'entraîner sur une stack moderne de data engineering (DuckDB, dbt, Dagster) sur un cas réel avec de la vraie donnée publique.

challenge

Le vrai problème n'est pas de charger les CSV, c'est de fusionner deux sources qui ne partagent pas de clé commune fiable à 100 %, sans perdre ni dupliquer de formations, et de produire un taux d'admission qui ait un sens plutôt qu'une division naïve.

Objectifs fixés :

approach

Architecture en couches. DuckDB comme moteur analytique embarqué (colonnes, pas de serveur), dbt Core par-dessus pour les transformations SQL versionnées en quatre couches (raw → staging → intermédiaire → marts), le tout orchestré par Dagster en graphe d'assets.

Résolution d'entités en deux phases. Jointure exacte sur l'identifiant commun aux deux sources (99,7 % des formations), puis repli approximatif par similarité de noms (Jaro-Winkler, seuil 0,90) pour les 38 restantes. L'analyse des faux positifs du repli flou a révélé une règle métier plus fiable qu'un seuil : exclure les formations en apprentissage, qui n'ont jamais de statistiques de vœux.

Taux d'admission traçable. Calculé comme propositions sur vœux, avec distinction explicite entre taux vide (pas de statistiques) et taux à zéro (aucune proposition faite). Le taux officiel Parcoursup est conservé à part : aucune division simple ne le reproduit exactement.

28 tests dbt + 2 contrôles Python bloquants. Unicité et non-nullité des clés, intégrité référentielle (aucune formation perdue entre les couches), cohérence du taux, entonnoir vœux ≥ propositions ≥ acceptations. Un avertissement non bloquant signale une anomalie connue de la source (des formations qui acceptent plus de candidats que leur capacité déclarée).

Orchestration Dagster. Dix assets dans un seul graphe — deux d'ingestion Python, huit modèles dbt — avec les tests dbt remontés automatiquement en asset checks. Un seul job rejoue tout le pipeline, de bout en bout, en environ une minute.

outcome

Pipeline complet et reproductible, exécutable en une commande depuis les données brutes jusqu'à la vue agrégée par académie.

Résultat. Un référentiel de 25 865 formations, dont 14 252 avec statistiques de vœux complètes, prêt à interroger en SQL (ex. sélectivité moyenne par académie).

Échelle. 2 sources open data · 8 modèles dbt · 28 tests + 2 contrôles Python · 10 assets Dagster · pipeline complet en ~1 minute.

Solo build. Conception du modèle de données, écriture des modèles dbt et de leurs tests, orchestration Dagster, de la première ligne de SQL au pipeline reproductible.