« LINUX:Récolte des données » : différence entre les versions

De WIKI sur Linux (ADB)
Aller à la navigation Aller à la recherche
Aucun résumé des modifications
Aucun résumé des modifications
Ligne 45 : Ligne 45 :


==La Wallonie==
==La Wallonie==
On peut télécharger le fichier convoité à l'URL <nowiki>http://geoportail.wallonie.be/catalogue/2998bccd-dae4-49fb-b6a5-867e6c37680f.html</nowiki> . Dans le futur, il faudra être attentif à la version; actuellement, il s'agit de la version de 2020.
On peut télécharger le fichier convoité à l'URL <nowiki>http://geoportail.wallonie.be/catalogue/2998bccd-dae4-49fb-b6a5-867e6c37680f.html</nowiki> . Dans le futur, il faudra être attentif à la version; actuellement, il s'agit de la version de 2020. Le format du fichier est CSV.




Ligne 59 : Ligne 59 :


Trois sources de données nous ont été utiles:
Trois sources de données nous ont été utiles:
* La liste des communes disponible à l'URL <nowiki>https://www.insee.fr/fr/information/4316069</nowiki>
* La liste des communes disponible à l'URL <nowiki>https://www.insee.fr/fr/information/4316069</nowiki> . On privilégie le format CSV. Sur cette même page, on retrouve les départements et les régions.




Ligne 68 : Ligne 68 :




* La liste des codes postaux disponible à l'URL <nowiki>https://datanova.laposte.fr/explore/dataset/laposte_hexasmal/export/?disjunctive.code_commune_insee&disjunctive.nom_de_la_commune&disjunctive.code_postal&disjunctive.ligne_5</nowiki>
* La liste des codes postaux disponible à l'URL <nowiki>https://datanova.laposte.fr/explore/dataset/laposte_hexasmal/export/?disjunctive.code_commune_insee&disjunctive.nom_de_la_commune&disjunctive.code_postal&disjunctive.ligne_5</nowiki> . On privilégie le format CSV.




Ligne 74 : Ligne 74 :




* Comme pour la Belgique, les données géolocalisée de toutes les maisons de France accompagnées de la rue, de la commune et du code postal sont souhaitées. On s'est tourné vers le projet BANO du projet Open Source OpenStreetMap. Ce projet est limité à la France; celui pour la Belgique est sur les rails (projet BANBO) mais les données ne sont pas encore disponibles. Les données sont téléchargeables à l'URL <nowiki>http://bano.openstreetmap.fr/data/</nowiki> . Nous utiliserons les fichiers départementaux pour une question d'efficacité et pour pouvoir reprendre de traitement en cours en cas de problème.
* Comme pour la Belgique, les données géolocalisée de toutes les maisons de France accompagnées de la rue, de la commune et du code postal sont souhaitées. On s'est tourné vers le projet BANO du projet Open Source OpenStreetMap. Ce projet est limité à la France; celui pour la Belgique est sur les rails (projet BANBO) mais les données ne sont pas encore disponibles. Les données sont téléchargeables à l'URL <nowiki>http://bano.openstreetmap.fr/data/</nowiki> . Nous utiliserons les fichiers départementaux pour une question d'efficacité et pour pouvoir reprendre de traitement en cours en cas de problème. La vue ci-dessous est tronquée vu la longueur de la liste. On privilégie le format CSV.




[[FILE:WATERBEAR:Bano.png|800px|center]]
[[FILE:WATERBEAR:Bano.png|400px|center]]





Version du 24 février 2021 à 17:55

But

Nous allons passer en revue les sources de données pour les pays ciblés.

Nous avons ciblé la Belgique et la France.

Notons que tous ces fichiers sont téléchargeables via les scripts fournis dans l'article suivant.


Codes des pays

En premier lieu, on a besoin des codes des pays concernés. Une recherche rapide sur Internet nous les donnent facilement.


Belgique

La Belgique est constituée de trois régions: Bruxelles Capitale, la Flandre et la Wallonie. Les données ont pour origine des sites officiels gouvernementaux via des services informatiques en charge des aspects Informatiques.


Niveau fédéral

Au niveau Européen, chaque pays jusqu'au niveau de découpage communal possède un numéro de code Insee.

L'URL suivante https://statbel.fgov.be/fr/propos-de-statbel/methodologie/classifications/geographie nous donne accès à ces codes que nous pouvons télécharger. On choisit le fichier REFNIS au format CSV le plus récent.



Région Bruxelles Capitale

Son service informatique CRIB fournit un ensemble conséquent de téléchargement à l'URL suivante: <wiki>https://datastore.brussels/web/urbis-download</nowiki>

Il faut affiner la sélection comme montré sur l'écran ci-dessous.



Il fournit un fichier Microsoft Access conséquent dont une seule table nous intéresse.


La Flandre

L'URL https://overheid.vlaanderen.be/fr/producten-diensten/address-register-crab donne accès à divers téléchargements. Nous choisissons le premier "Positions d'adresse CRAB". Il nous donne accès aux format Microsoft Access et dBase. Nous avons choisit le second. Ce schéma de base de données présenté est très éclaté. Parmi les nombreuses tables disponibles, celles qui nous intéressent, ne contiennent qu'une colonne utile; à côté se retrouve les liens vers les autres tables. Le travail nécessaire pour rassembler toutes les données qui nous intéressent est conséquent et nécessite un temps de traitement important. Ces tables rassemble les données pour toute la Belgique sauf pour leurs positions géographiques qui ne concernent que la Flandre.



La Wallonie

On peut télécharger le fichier convoité à l'URL http://geoportail.wallonie.be/catalogue/2998bccd-dae4-49fb-b6a5-867e6c37680f.html . Dans le futur, il faudra être attentif à la version; actuellement, il s'agit de la version de 2020. Le format du fichier est CSV.



Coordonnées géographiques

Le système de coordonnées géographique contenu dans ces fichiers est propre à la Belgique. La Belgique utilise le système de projection Lambert Belge de 1972. Nous devrons le transformer dans le système "WGS84" (World Geodetic System 1984), standard pour les GPS.


La France

On peut facilement trouver la liste des régions et des départements et leurs code Insee; seul quelques uns d'Outre-Mer sont plus difficile à recenser.

Trois sources de données nous ont été utiles:

  • La liste des communes disponible à l'URL https://www.insee.fr/fr/information/4316069 . On privilégie le format CSV. Sur cette même page, on retrouve les départements et les régions.



  • La liste des codes postaux disponible à l'URL https://datanova.laposte.fr/explore/dataset/laposte_hexasmal/export/?disjunctive.code_commune_insee&disjunctive.nom_de_la_commune&disjunctive.code_postal&disjunctive.ligne_5 . On privilégie le format CSV.



  • Comme pour la Belgique, les données géolocalisée de toutes les maisons de France accompagnées de la rue, de la commune et du code postal sont souhaitées. On s'est tourné vers le projet BANO du projet Open Source OpenStreetMap. Ce projet est limité à la France; celui pour la Belgique est sur les rails (projet BANBO) mais les données ne sont pas encore disponibles. Les données sont téléchargeables à l'URL http://bano.openstreetmap.fr/data/ . Nous utiliserons les fichiers départementaux pour une question d'efficacité et pour pouvoir reprendre de traitement en cours en cas de problème. La vue ci-dessous est tronquée vu la longueur de la liste. On privilégie le format CSV.



Note

Les fichiers de localisation contiennent quelques communes ou codes postaux non repris dans les listes officielles. Parfois, il s'agit de communes qui ont existé et qui sont encore repris. Elle concerne aussi les différents arrondissements des villes de Lyon, Marseille et Paris. Pour résoudre ces problèmes de correspondance, des fichiers de données ont été constitués manuellement et portent dans leur nom de fichier, le terme ".ajout.".




->retour à la page du menu sur l'API de GéoLocalisation