Añade script check_spell.py (#1669)

rtobar · web-flow · commit f6ebc8265bce · 2021-12-06T22:55:16.000+01:00
* Mejora varios aspectos del script create_dict

La versión anterior de este script cargaba los archivos completos antes
de agregarlos al set, lo que usa más memoria de lo requerido. Esta
operación se puede realizar más eficientemente usando generadores, con
lo cual los archivos se procesan línea a línea.

El script también innecesariamente trataba de remover el string vacío
del set resultando, lo cual se puede prevenir al momento de agregar
elementos al set.

Finalmente, el docstring todavía tenía referencias al antiguo archivo
"dict", las cuales fueron quitadas. El docstring también fue cambiado de
posición de tal manera que aparezca antes de los imports.


* Mueve create_dict.py -&gt; check_spell.py

Los usuarios que quieren realizar un chequeo ortográfico sobre los
archivos .po actualmente tienen que realizar dos pasos: invocar el sript
create_dict.py, el cual genera un archivo dict.txt (un diccionario que
contiene a todos los diccionarios dentro de dictionaries/), para luego
invocar pospell usando este diccionario generado.

Este commit toma el script create_dict.py y le agrega la funcionalidad
de invocar pospell luego de generar el diccionario dict.txt (que ahora
se genera como un archivo temporal). Con esto, el script ahora cumple la
función completa de relizar el chequeo de ortografía, por lo que su
nombre ha cambiado a check_spell.py

Si no se entregan argumentos, el script corrige todos los archivos .po
del repositorio; en caso contrario el usuario debe especificar arhivos
.po a ser chequeados.


* Cambia GitHub workflows, Makefile y pre-commit hooks para usar check_spell.py

En el caseo del workflow de GitHub y del Makefile, el cambio es simple:
basta con sustituir la invocación a los dos scripts anteriores por el
nuevo y ya todo funciona.

En el caso de pre-commit, podemos sacar el hook que corre pospell
directamente, y en cambio declrar el paquete pospell como una
dependencia aditional del nuestro hook local que ahora corre
check_spell.py directamente.


* Actualiza FAQ sobre cómo hacer chequeo de ortografía

Ya no es necesario que los usuarios realizen dos pasos por separado,
sino que ahora solo necesitan correr un solo script.

Signed-off-by: Rodrigo Tobar &lt;rtobar@icrar.org&gt;
diff --git a/.github/workflows/main.yml b/.github/workflows/main.yml
@@ -31,7 +31,6 @@ jobs:
         run: powrap --check --quiet **/*.po
       - name: Pospell
         run: |
-          python scripts/create_dict.py
-          pospell -p dict.txt -l es_ES **/*.po
+          python scripts/check_spell.py
       - name: Construir documentación
         run: PYTHONWARNINGS=ignore::FutureWarning sphinx-build -j auto -W --keep-going -b html -d cpython/Doc/_build/doctree -D language=es . cpython/Doc/_build/html
diff --git a/.overrides/faq.rst b/.overrides/faq.rst
@@ -26,8 +26,7 @@ pospell. Pospell puede ser instalada en tu entorno de Python empleando pip
 Una vez instalado, para chequear el fichero .po sobre el que estás trabajando,
 ejecuta desde el directorio principal del repo::
 
-    python scripts/create_dict.py  # para crear el archivo 'dict.txt'
-    pospell -p dict.txt -l es_ES path/tu_fichero.po
+    python scripts/check_spell.py path/tu_fichero.po
 
 pospell emplea la herramienta de diccionarios hunspell. Si pospell falla dando
 como error que no tiene hunspell instalado, lo puedes instalar así:
diff --git a/.pre-commit-config.yaml b/.pre-commit-config.yaml
@@ -5,13 +5,9 @@ repos:
     -   id: powrap
 -   repo: local
     hooks:
-    -   id: merge-dicts
-        name: merge-dicts
-        entry: python ./scripts/create_dict.py
+    -   id: check-spell
+        name: Check spelling
+        entry: python ./scripts/check_spell.py
         language: python
-# This one requires package ``hunspell-es_es`` in Archlinux
--   repo: https://github.com/AFPy/pospell
-    rev: v1.1
-    hooks:
-    -   id: pospell
-        args: ['--personal-dict', 'dict.txt', '--language', 'es_ES', '--language', 'es_AR']
+        additional_dependencies: ['pospell>=1.1']
+        files: \.po$
diff --git a/Makefile b/Makefile
@@ -89,8 +89,7 @@ progress: venv
 
 .PHONY: spell
 spell: venv
-	$(VENV)/bin/python scripts/create_dict.py
-	$(VENV)/bin/pospell -p dict.txt -l es_ES **/*.po
+	$(VENV)/bin/python scripts/check_spell.py
 
 
 .PHONY: wrap
diff --git a/scripts/check_spell.py b/scripts/check_spell.py
@@ -0,0 +1,35 @@
+"""
+Script to check the spelling of one, many or all .po files based
+on the custom dictionaries under the 'dictionaries/' directory.
+"""
+
+from pathlib import Path
+import sys
+import tempfile
+
+import pospell
+
+# Read custom dictionaries
+entries = set()
+for filename in Path("dictionaries").glob("*.txt"):
+    with open(filename, "r") as f:
+        entries.update(
+            stripped_line
+            for stripped_line in (line.strip() for line in f.readlines())
+            if stripped_line
+        )
+
+# Write merged dictionary file
+output_filename = tempfile.mktemp(suffix="_merged_dict.txt")
+with open(output_filename, "w") as f:
+    for e in entries:
+        f.write(e)
+        f.write("\n")
+
+# Run pospell either against all files or the file given on the command line
+po_files = sys.argv[1:]
+if not po_files:
+    po_files = Path(".").glob("*/*.po")
+
+errors = pospell.spell_check(po_files, personal_dict=output_filename, language="es_ES")
+sys.exit(0 if errors == 0 else -1)
diff --git a/scripts/create_dict.py b/scripts/create_dict.py
