Commons:OpenRefine
| A propos | Comment importer des fichiers | Comment éditer des fichiers | Trucs et astuces avancés | Formation | Projets |
OpenRefine est un outil libre et open source (FOSS) avec lequel vous pouvez (avec un batch) éditer et télécharger des fichiers sur Wikimedia Commons. OpenRefine se concentre sur l'ajout et l'édition de données structurées. OpenRefine est disponible en tant que service cloud sur PAWS pour les utilisateurs et utilisatrices de Wikimedia.
-
Un projet classique de Wikimedia Commons dans OpenRefine
-
Un schéma dans OpenRefine prépare les imports dans Wikimedia Commons
Cette page rassemble des informations sur OpenRefine pour la communauté Wikimedia Commons.
- OpenRefine pour Wikidata : Wikidata:Tools/OpenRefine
- Informations générales sur OpenRefine pour les wikimédiens et wikimédiennes : OpenRefine
Questions fréquentes
- J'ai des problèmes d'installation ou pour ouvrir OpenRefine sur mon ordinateur. Que dois-je faire ?
Vous pouvez télécharger la dernière version stable d'OpenRefine depuis son site Web. Le manuel d'OpenRefine comprend des instructions d'installation détaillées à lire.
- Si vous utilisez Windows, assurez-vous d'installer le kit OpenRefine avec Java intégré.
Certains utilisateurs ne peuvent pas installer OpenRefine, par exemple en raison de problèmes de pare-feu, ou parce que leur organisation ou leur entreprise n'autorise pas les utilisateurs à installer des logiciels externes. Dans ce cas, vous pouvez utiliser la version cloud d'OpenRefine de Wikimedia sur PAWS, qui est décrite ici.
- OpenRefine permet-il de télécharger tous les types de fichiers que Wikimedia Commons prend en charge ?
OpenRefine prend en charge toutes sortes de fichiers multimédias qui peuvent être téléchargés sur Wikimedia Commons. Il ne prend pas en charge le téléchargement de fichiers de données.
De nombreux outils de téléchargement, y compris OpenRefine, ont parfois des difficultés à télécharger des fichiers TIFF.
A noter qu'OpenRefine prend en charge le téléchargement de fichiers locaux jusqu'à 100 Mo, pas plus. Il est possible de télécharger des fichiers plus grands à partir d'une URL.
- Quelle est la taille maximale des fichiers qui peuvent être téléchargés sur Wikimedia Commons avec OpenRefine ?
OpenRefine peut réaliser les téléchargements par lots à partir des versions >= 3.9.0, il n'y a donc pas de taille maximale de fichier à moins que vous n'utilisiez une version plus ancienne. Voir l'issue GitHub.
- Combien de fichiers puis-je télécharger en une session ou un projet ? Je peux télécharger 10 000 ou même 100 000 fichiers en même temps ?
OpenRefine peut facilement gérer des ensembles de données de dizaines de milliers (potentiellement des centaines de milliers) de lignes de données. Le goulot d'étranglement est la vitesse de téléchargement de fichiers sur Wikimedia Commons, qui est réglementée par l'API Wikimedia Commons. Pour télécharger des milliers de fichiers à la fois (ou plus), vous aurez besoin de patience et vous aurez à garder OpenRefine ouvert.
- OpenRefine peut-il récupérer des métadonnées intégrées à partir de fichiers (comme les métadonnées EXIF)?
Cela n'est pas possible à l'intérieur d'OpenRefine. Nous vous recommandons d'utiliser EXIFtool https://exiftool.org. Cette vidéo YouTube explique le processus assez clairement.
- Quels sont les (dés)avantages de l'exploitation locale d'OpenRefine ? Quels sont les (dés)avantages de la version cloud (PAWS) d'OpenRefine ?
Lorsque vous exécutez OpenRefine localement (sur votre propre ordinateur) :
- Sur votre propre ordinateur, il vous sera particulièrement facile de télécharger des fichiers vers Wikimedia Commons. Vous pourrez télécharger des fichiers à partir de votre disque dur local. Cela n'est pas possible sur PAWS.
- Sur votre propre ordinateur, vous pouvez effectuer diverses tâches (en particulier le nettoyage des données et la répartition/jointure des données) sans connexion internet. Vous avez besoin d'une connexion internet dès que vous voudrez faire une réconciliation et télécharger des données et des fichiers sur Commons et Wikidata.
Lors de l'exécution d'OpenRefine dans le cloud (via Wikimedia PAWS) :
- La version cloud est pratique lorsque vous ne pouvez pas facilement installer de nouveaux logiciels sur votre propre ordinateur.
- Vous avez toujours besoin d'une connexion Internet pour cela.
- Avec cette version PAWS/cloud, il n'est pas possible de télécharger des images depuis votre ordinateur local.
- Liens généraux
- Le site web d'OpenRefine: https://www.openrefine.org/
- Télécharger OpenRefine : https://openrefine.org/download.html
- Télécharger et installer l'extension Wikimedia Commons pour OpenRefine : https://github.com/OpenRefine/CommonsExtension
- Documentation générale d'OpenRefine : https://openrefine.org/docs
- Discuter d'OpenRefine avec sa communauté et avec les personnes de Wikimedia
- Poser des questions sur le forum communautaire d'OpenRefine : https://forum.openrefine.org - Cliquez ici pour créer un nouveau message sur le forum d'OpenRefine.
- Groupe Telegram pour les wikimédiens et wikimédiennes qui utilisent OpenRefine : https://t.me/+izmjhIR1Z5A3OTA0
- Reports de bugs et demandes de fonctionnalités
- Sur GitHub (pour OpenRefine en général) : Publier une demande de fonctionnalité sur GitHub
- Sur Wikimedia Phabricator (principalement pour la réconciliation Wikimedia Commons) : Poster un rapport de bug sur Phabricator.

1 740 867 fichiers ont été téléchargés avec OpenRefine.
- Modifications de Wikimedia Commons avec OpenRefine 3.7
- Fichiers Wikimedia Commons téléchargés avec OpenRefine
- Fichiers téléchargés par mois
- Derniers lots sur Wikimedia Commons avec OpenRefine (via EditGroups)
- Davantage de métriques
Apprendre à utiliser OpenRefine pour Wikimedia Commons : le cours WikiLearn
Ce cours en ligne est disponible à tout moment, gratuitement, pour tous ceux et celles qui ont un compte Wikimedia. Vous pouvez le suivre à votre rythme, avec des exercices informatiques. Le cours prend en moyenne 6 à 8 heures.
Télécharger des fichiers sur Wikimedia Commons avec OpenRefine (version 3.7)
Pour télécharger des fichiers sur Wikimedia Commons, vous avez besoin d'OpenRefine 3.7. Le téléchargement Wikimedia Commons n'est pas supporté par OpenRefine 3.6 ou les versions antérieures.
Éditer des fichiers sur Wikimedia Commons avec OpenRefine (version 3.6 et plus récente)
Pour éditer Wikimedia Commons, vous avez besoin d'OpenRefine 3.6 ou d'une version plus récente. Wikimedia Commons n'est pas supporté par OpenRefine 3.5 ou les versions antérieures. Il est fortement recommandé d'installer également l'extension OpenRefine pour Wikimedia Commons.
Trucs et astuces avancés
Il existe une page avec des conseils et astuces avancés, qui inclut davantage d'instructions sur la réconciliation, la récupération des EXIF, des requêtes GREL spéciales etc. N'hésitez pas à ajouter les vôtres !
Installer et utiliser OpenRefine
En tant qu'application locale sur votre ordinateur
OpenRefine peut être téléchargé en tant qu'application et fonctionne sur les ordinateurs de bureau et ordinateurs portables avec les systèmes d'exploitation Windows, Mac et Linux. Il fonctionne sur un petit serveur sur votre ordinateur et vous utilisez un navigateur Web pour interagir avec lui. Il fonctionne mieux avec les navigateurs basés sur Webkit, tels que Google Chrome, Chromium, Opera et Microsoft Edge, et est également pris en charge sur Firefox.
Vous pouvez télécharger OpenRefine ici. Les instructions d'installation sont disponibles dans le manuel d'utilisation d'OpenRefine.
Extension Wikimedia Commons pour OpenRefine

En outre, vous pouvez également installer l'extension Wikimedia Commons d'OpenRefine. Ce n'est pas nécessaire, mais utile pour l'édition de lots de Wikimedia Commons. Il offre :
- Ecran de démarrage pour charger les noms de fichiers directement à partir des catégories de Wikimedia Commons.
- Miniatures de fichiers Commons (tous les formats de fichier ne sont pas encore pris en charge).
- Plusieurs expressions GREL dédiées pour récupérer des données du wikitext pour un traitement ultérieur.
Les instructions de téléchargement et d'installation sont disponibles à https://github.com/OpenRefine/CommonsExtension
Avec le cloud (via Wikimedia PAWS)
Si vous ne pouvez pas installer OpenRefine sur votre ordinateur, ou s'il fonctionne très lentement, vous pouvez également l'utiliser dans le cloud (sur wmcloud.org via PAWS). Toute personne disposant d'un compte Wikimedia peut accéder à OpenRefine de cette manière. Consultez https://hub-paws.wmcloud.org/, connectez-vous et cliquez sur le logo OpenRefine (diamant bleu).
L'extension Wikimedia Commons (mentionnée ci-dessus) est installée dans OpenRefine sur PAWS. A noter : avec OpenRefine sur PAWS, il n'est PAS possible de télécharger des fichiers sur Wikimedia Commons depuis votre ordinateur local.
Démonstration : démarrer OpenRefine sur Wikimedia PAWS

OpenRefine via PAWS n'est pas géré par l'équipe OpenRefine ; si vous avez des questions ou des commentaires sur ce service, vous pouvez soumettre un ticket dans le projet PAWS sur Phabricator ou poser une question sur sa page de discussion.
Journal des activités passées, des présentations...
| Quand | Activité | Liens |
|---|---|---|
| Juillet 2023 à juin 2024 | Projet d'entraînement et de développement durable d'OpenRefine et Wikimedia Commons (financé par les fonds de la Fondation Wikimedia) | |
| 13 août 2022 | Tutoriel : Téléchargement par lots sur Wikimedia Commons avec OpenRefine à la Wikimania 2022 | Etherpad / Enregistrement vidéo |
| 9 juin 2022 | Tutoriel d'édition OpenRefine et SDC, Wikidata Lab XXXIV | Enregistrement vidéo |
| 19 mai 2022 | Démonstration d'une heure pour les personnes débutantes: édition de lot de Wikimedia Commons avec OpenRefine (tutoriel de Sandra Fauconnier), pendant la Semaine de description d'image | |
| Mars-juin 2022 | Heures d'ouverture mensuelles d'OpenRefine | Aucune note/enregistrement (les réunions ont été informelles) |
| 22 février 2022 | Rencontre de la communauté OpenRefine avec une démonstration des données structurées sur les fonctionnalités de Commons | Diapositives et enregistrements des réunions |
| Juillet 2021 - Octobre 2022 | Développement des fonctionnalités Wikimedia Commons pour OpenRefine (financé par une subvention de projet de la Fondation Wikimedia) |
|


