Commons:OpenRefine
| About | How to: upload files | How to: edit files | Advanced tips and tricks | Training | Projects |
O OpenRefine é uma ferramenta livre e de código aberto (FOSS) com a qual você pode editar e carregar arquivos em lote na Wikimedia Commons. O OpenRefine tem como foco a adição e a edição de dados estruturados. O OpenRefine está disponível como um serviço em nuvem no [[1]] para usuários da Wikimedia.
-
Um típico projeto do Wikimedia Commons no OpenRefine
-
Um esquema no OpenRefine que prepara edições para o Wikimedia Commons
Essa página coleta informações sobre o OpenRefine para a comunidade do Wikimedia Commons.
- OpenRefine para Wikidata: Wikidata:Tools/OpenRefine
- Informações gerais sobre o OpenRefine para Wikimedistas: OpenRefine
Perguntas frequentes
- Eu estou com problemas para instalar/abrir o OpenRefine no meu computador. O que devo fazer?
Você pode baixar a versão estável mais recente do OpenRefine [site]. O [do OpenRefine] inclui instruções detalhadas de instalação. Certifique-se de lê-las.
- Se você usa sistema Windows, certifique-se de instalar o pacote do OpenRefine com o Java embutido.
Alguns usuários não conseguem instalar o OpenRefine devido, por exemplo, a problemas com firewall ou porque sua organização ou empresa não permite a instalação de softwares externos. Nesse caso, você pode usar a versão em nuvem do OpenRefine disponibilizada pela Wikimedia no PAWS, que está descrita em outra seção desta página.
- O OpenRefine permite o carregamento de todos os tipos de arquivos que o Wikimedia Commons suporta?
O OpenRefine é compatível com todos os tipos de arquivos de mídia que podem ser carregados no Wikimedia Commons. Ele não é compatível com o carregamento de arquivos de dados.
Muitas ferramentas de carregamento, incluindo o OpenRefine, às vezes, têm dificuldades para carregar arquivos TIFF.
Observe que o OpenRefine permite o carregamento de arquivos locais de até 100MB. Arquivos maiores podem ser carregados a partir de uma URL.
- Qual é o tamanho máximo de arquivo que pode ser enviado ao Wikimedia Commons com o OpenRefine?
O OpenRefine agora oferece suporte para carregamentos em partes (chunked uploads) a partir da versão 3.9.0 ou superior, portanto, não há limite máximo de tamanho de arquivo, a menos que você esteja usando uma versão mais antiga. Veja [no GitHub].
- Quantos arquivos posso carregar em um único lote ou projeto? Posso carregar dezenas de milhares ou até centenas de milhares de arquivos de uma vez?
O OpenRefine consegue lidar facilmente com conjuntos de dados de até dezenas de milhares (ou potencialmente centenas de milhares) de linhas de dados. O gargalo está na velocidade de carregamento dos arquivos para o Wikimedia Commons, que é regulada pela API do Wikimedia Commons. Para o carregamento de milhares de arquivos de uma só vez (ou mais), será necessário ter paciência e manter o OpenRefine aberto durante todo o processo.
- O OpenRefine pode recuperar metadados incorporados nos arquivos (como metadados EXIF)?
Isso não é possível dentro do OpenRefine. Recomendamos o uso do [[2]]. [vídeo no YouTube] explica o processo de forma bastante clara.
- Quais são as vantagens e desvantagens de executar o OpenRefine localmente? Quais são as vantagens e desvantagens da versão em nuvem (PAWS) do OpenRefine?
Ao executar o OpenRefine localmente (no seu próprio computador):
- O carregamento de arquivos para o Wikimedia Commons será especialmente mais fácil quando realizado pelo seu próprio computador. Você poderá carregar arquivos diretamente do seu disco rígido local. Isso não é possível no PAWS.
- No seu próprio computador, você pode realizar diversas tarefas (especialmente limpeza de dados e união/divisão de dados) sem conexão com a internet. No entanto, você precisa de conexão para fazer reconciliação e carregar dados e arquivos para o Commons e o Wikidata.
Ao executar o OpenRefine na nuvem (via Wikimedia PAWS):
- A versão em nuvem é conveniente quando você não consegue instalar facilmente novos softwares no seu próprio computador.
- Você sempre precisa de uma conexão ativa com a internet para usar essa versão.
- Com a versão PAWS/nuvem, não é possível carregar imagens do seu computador local.
- Links gerais
- Site do OpenRefine: https://www.openrefine.org/
- Download do OpenRefine: https://openrefine.org/download.html
- Extensão do Wikimedia Commons para o OpenRefine: https://github.com/OpenRefine/CommonsExtension
- Documentação geral do OpenRefine: https://openrefine.org/docs
- Fale sobre o OrenRefine com a sua comunidade e com os usuários da Wikimedia
- Faça perguntas no [da comunidade do OpenRefine]: [aqui] para criar um post novo no fórum do OpenRefine
- Grupo do Telegram para Wikimedianos que usam o OpenRefine: https://t.me/+izmjhIR1Z5A3OTA0
- Relatórios de bugs e solicitações de recursos
- No GitHub (para o OpenRefine em geral): [uma solicitação de recurso no GitHub]
- No Wikimedia Phabricator (principalmente para reconciliação com o Wikimedia Commons): [um relatório de bug no Phabricator]

1 735 120 arquivos foram carregados com o OpenRefine.
- Edições no Wikimedia Commons com o OpenRefine 3.7
- Arquivos da Wikimedia Commons enviados com o OpenRefine
- Arquivos enviados por mês
- Últimos lotes carregados no Wikimedia Commons com o OpenRefine (via EditGroups)
- Mais métricas
Aprenda como usar o OpenRefine para o Wikimedia Commons: curso Wikilearn
Este curso online está disponível a qualquer momento, gratuitamente, para qualquer pessoa com uma conta Wikimedia. Ele pode ser realizado no seu próprio ritmo, com exercícios corrigidos automaticamente pelo computador. O curso leva, em média, de 6 a 8 horas.

Inicie o curso do WikiLearn: [para o Wikimedia Commons: o básico].
Envie arquivos ao Wikimedia Commons com o OpenRefine (versão 3.7)
Para carregar arquivos no Wikimedia Commons, você precisa do OpenRefine 3.7. O carregamento no Wikimedia Commons não é compatível com o OpenRefine 3.6 ou com versões anteriores.

Siga o passo a passo de como editar arquivos da Wikimedia Commons com o OpenRefine.
Edite arquivos na Wikimedia Commons com o OpenRefine (versão 3.7 e mais nova)
Para editar o Wikimedia Commons, você precisa do OpenRefine 3.6 ou mais recente. O Wikimedia Commons não é compatível com o OpenRefine 3.5 ou versões anteriores. É altamente recomendado também instalar a [do Wikimedia Commons para o OpenRefine].

Siga o passo a passo de como editar arquivos da Wikimedia Commons com o OpenRefine.
Dicas avançadas
Há também uma página com dicas e truques avançados, que inclui mais instruções sobre como trabalhar com manifestos e reconciliação, recuperar EXIF, fórmulas especiais de GREL e muito mais. Adicione as suas!
Instalar e executar o OpenRefine
Como um aplicativo local no seu computador
O OpenRefine pode ser baixado como um aplicativo para funcionar em computadores desktop e laptop com sistemas operacionais Windows, Mac e Linux. Ele executa um pequeno servidor no seu computador, e você então utiliza um navegador web para interagir com ele. O OpenRefine funciona melhor com navegadores baseados em Webkit, como Google Chrome, Chromium, Opera e Microsoft Edge, além de também ser compatível com o Firefox.
Você pode [o OpenRefine aqui]. Instruções de instalação estão disponíveis no [de usuário do OpenRefine].
Extensão da Wikimedia Commons para o OpenRefine

Além disso, você também pode instalar a [do Wikimedia Commons para o OpenRefine]. Isso não é obrigatório, mas é útil para a edição em lote no Wikimedia Commons. Ela oferece:
- Uma tela inicial para carregar nomes de arquivos diretamente de categorias do Wikimedia Commons.
- Miniaturas dos arquivos do Commons (nem todos os formatos de arquivo são compatíveis ainda).
- Diversas expressões GREL dedicadas para recuperar dados de wikitexto para processamento posterior.
O download e as instruções de instalação estão disponíveis em https://github.com/OpenRefine/CommonsExtension
Na nuvem (via Wikimedia PAWS)
Se você não conseguir instalar o OpenRefine no seu computador ou se ele estiver muito lento, você também pode usá-lo na nuvem (no wmcloud.org por meio do PAWS). Qualquer pessoa com uma conta Wikimedia pode acessar o OpenRefine por lá. Acesse https://hub-paws.wmcloud.org/, faça o login e clique no logo do OpenRefine (losango azul).
A extensão do Wikimedia Commons (mencionada acima) já está instalada no OpenRefine no PAWS. Atenção: com o OpenRefine no PAWS não é possível carregar arquivos para o Wikimedia Commons a partir do seu computador local.
Demonstração: iniciar o OpenRefine no Wikimedia PAWS

O OpenRefine via PAWS não é gerenciado pela equipe do OpenRefine. Se você tiver alguma dúvida ou comentário sobre esse serviço, pode enviar um ticket no projeto PAWS no Phabricator ou fazer uma pergunta na sua página de discussão.
Registro de atividades passadas, apresentações...
| Quando | Atividade | Links |
|---|---|---|
| Julho de 2023 - Junho de 2024 | Projeto de capacitação em OpenRefine e Wikimedia Commons e sustentabilidade (financiado com recursos da Fundação Wikimedia) | |
| 13 de agosto de 2022 | Tutorial: Carregamento em lote no Wikimedia Commons com OpenRefine na Wikimania 2022 | Etherpad / Gravação em vídeo |
| 9 de junho de 2022 | Tutorial de OpenRefine e edição de SDC, Wikidata Lab XXXIV | Gravação em vídeo |
| 19 de maio de 2022 | Demonstração de uma hora para iniciantes: edição em lote no Wikimedia Commons com OpenRefine (tutorial de Sandra Fauconnier), durante a Semana da Descrição de Imagens. | |
| Março – Junho de 2022 | Plantões mensais do OpenRefine | Sem anotações/gravações (as reuniões foram informais) |
| 22 de fevereiro de 2022 | Encontro da comunidade OpenRefine com demonstração das funcionalidades de Dados Estruturados no Commons | Apresentação de slides e gravação da reunião |
| Julho 2021 - Outubro 2022 | Desenvolvimento de funcionalidades para o Wikimedia Commons no OpenRefine financiado por um (Projeto Grant da Fundação Wikimedia) |
|