Intégration avec d’autres systèmes
En tant que plateforme de référencement de schémas, schema.data.gouv.fr
a vocation à être facilement utilisée par d’autres systèmes informatiques. Nous proposons plusieurs éléments à cet effet.
Export des schémas valides
Nous proposons à l’adresse https://schema.data.gouv.fr/schemas/schemas.zip une archive compressée au format ZIP comprenant les schémas considérés comme valides par la plateforme ainsi que les fichiers de documentation associés à chaque version des schémas.
Voici l’arborescence pour un unique schéma, etalab/schema-irve
.
$ tree .
.
├── etalab
│ └── schema-irve
│ ├── 1.0.0
│ │ ├── README.md
│ │ ├── documentation.md
│ │ └── schema.json
│ ├── 1.0.1
│ │ ├── CHANGELOG.md
│ │ ├── CONTEXT.md
│ │ ├── README.md
│ │ ├── SEE_ALSO.md
│ │ ├── documentation.md
│ │ └── schema.json
│ └── latest
│ └── schema.json
├── schemas.toml
└── schemas.yml
Voici un extrait du fichier schemas.yml
(accessible à l’adresse https://schema.data.gouv.fr/schemas/schemas.yml) :
etalab/schema-irve:
consolidation:
dataset_id: 5448d3e0c751df01f85d0572
tags:
- irve
description: Spécification du fichier d'échange relatif aux données concernant la
localisation géographique et les caractéristiques techniques des stations et des
points de recharge pour véhicules électriques
email: info@data.gouv.fr
has_changelog: true
homepage: https://github.com/etalab/schema-irve
latest_version: 1.0.2
schemas:
- latest_url: https://schema.data.gouv.fr/schemas/etalab/schema-irve/latest/schema.json
original_path: schema.json
path: schema.json
title: Schéma IRVE
versions:
- 1.0.0
- 1.0.1
- 1.0.2
title: Schéma IRVE
type: tableschema
versions:
- 1.0.0
- 1.0.1
- 1.0.2
Un extrait du fichier schemas.json
(accessible à l’adresse https://schema.data.gouv.fr/schemas/schemas.json), permettant l’intégration avec Validata :
{
"$schema":"https://opendataschema.frama.io/catalog/schema-catalog.json",
"version":1,
"schemas":[
{
"name":"etalab/schema-decp-dpa",
"title": "Spécification du fichier de déclaration de profil d'acheteur",
"description": "Spécification du fichier de déclaration de profil d'acheteur",
"schema_url":"https://schema.data.gouv.fr/schemas/etalab/schema-decp-dpa/latest/schema.json"
}
]
}
URLs stables
Nous proposons des URLs stables permettant de proposer des liens vers notre plateforme.
Dans la documentation qui suit, nous utilisons plusieurs variables, définies de la manière suivante, suivant la syntaxe définie par la RFC 6570 :
{organisation}
, le nom de votre organisation ou utilisateur sur la forge que vous utilisez ;{dépôt}
, le nom du dépôt contenant votre schéma ;{version}
, la version du schéma que vous souhaitez, par exemple1.2.3
.
Documentation
Les URLs des documentations web sont de la forme suivante : https://schema.data.gouv.fr/{organisation}/{dépôt}/{version}.html
.
Si vous souhaitez un lien vers la dernière version publiée d’un schéma, vous pouvez remplacer {version}
par latest
.
Schémas
Les URLs des schémas valides sont propres au type de schéma. De manière générale, les URLs sont de la forme https://schema.data.gouv.fr/schemas/{organisation}/{dépôt}/{version}/{fichier_schema}
.
La variable {fichier_schema}
varie suivant le type du schéma. Voici les valeurs utilisées par type de schéma :
- pour
tableschema
,{fichier_schema}
estschema.json
; - pour
jsonschema
,{fichier_schema}
dépend du nom choisi par le producteur pour chaque schéma. Vous pouvez retrouver les noms des différents schémas à l’aide du fichierschemas.yml
; - pour
xsd
,{fichier_schema}
dépend du nom choisi par le producteur pour chaque schéma. Vous pouvez retrouver les noms des différents schémas à l’aide du fichierschemas.yml
.
Si vous souhaitez un lien vers la dernière version publiée d’un schéma, vous pouvez remplacer {version}
par latest
.
Informations sur la consolidation
La consolidation de données par rapport à un schéma consiste à rassembler plusieurs jeux de données conformes à un schéma en un seul jeu de données. schema.data.gouv.fr s’intéresse à ces jeux de données consolidés.
Des informations à ce propos sont disponibles à l’adresse https://etalab.github.io/monitor-consolidation/report.json, au format JSON. Ces informations font état de la conformité la plus récente de jeux de données consolidés.
{
"5448d3e0c751df01f85d0572":{
"date":"2020-05-25",
"dataset_id":"5448d3e0c751df01f85d0572",
"name":"Fichier consolidé des Bornes de Recharge pour Véhicules Électriques",
"schema_slug":"etalab/schema-irve",
"schema_version":"1.0.3",
"file_url":"https://static.data.gouv.fr/resources/fichier-consolide-des-bornes-de-recharge-pour-vehicules-electriques/20200520-224356/bornes-irve-20200520.csv",
"report_url":"https://go.validata.fr/table-schema?input=url&schema_url=https://schema.data.gouv.fr/schemas/etalab/schema-irve/1.0.3/schema.json&url=https://static.data.gouv.fr/resources/fichier-consolide-des-bornes-de-recharge-pour-vehicules-electriques/20200520-224356/bornes-irve-20200520.csv&repair=true",
"nb_rows":12190,
"nb_errors":4365,
"nb_rows_with_errors":4018,
"errors_report":"{\"structure-errors\": {\"count\": 1, \"count-by-code\": {\"extra-header\": 1}}, \"value-errors\": {\"count\": 4364, \"rows-count\": 4018, \"count-by-code\": {\"required-constraint\": 4245, \"type-or-format-error\": 117, \"pattern-constraint\": 2}, \"count-by-col-and-code\": {\"n_enseigne\": {\"required-constraint\": 403}, \"id_station\": {\"required-constraint\": 446}, \"puiss_max\": {\"type-or-format-error\": 114}, \"Ylatitude\": {\"type-or-format-error\": 1, \"required-constraint\": 2}, \"nbre_pdc\": {\"required-constraint\": 1910}, \"Xlongitude\": {\"required-constraint\": 2, \"type-or-format-error\": 2}, \"code_insee\": {\"required-constraint\": 917, \"pattern-constraint\": 2}, \"acces_recharge\": {\"required-constraint\": 3}, \"accessibilit\\u00e9\": {\"required-constraint\": 560}, \"n_station\": {\"required-constraint\": 2}}}, \"count\": 4365}",
"status":"invalid",
"error_percentage":35,
"badge_url":"https://img.shields.io/static/v1?label=Consolidation&message=4365+erreurs&color=red&style=flat-square"
}
}
La clé de l’objet JSON retourné (5448d3e0c751df01f85d0572
ici) correspond à l’identifiant du jeu de données sur data.gouv.fr.
Pour rappel, des informations sur la consolidation sont disponibles dans le fichier schemas.yml
, dans la clé consolidation
.