Tecnificados

(Imagen generada con  https://es.cooltext.com/ ) Hoy quiero hacer un pequeño chequeo del estado de los Portales de Datos Abiertos Municipales, ahora que estamos a punto de terminar el 2019. Aprovechando que el evaluador está "terminado", he generado un subinforme: solo con los Ayuntamientos que tienen Portales de Datos Abiertos (31). Vamos a ordenar por calidad de los datos, empezaremos con cuatro estrellas. Solo tenemos a 17 Ayuntamientos con esta puntuación, ordenamos por el número de conjuntos de datos con cuatro estrellas ordenados de mayor a menor : Gijón (119) Cáceres (116) Santander (82) Madrid (70) Santa Cruz de Tenerife (67) Sant Feliu de Llobregat (37) Las Palmas de Gran Canaria (27) Barcelona (21) Cartagena (20) Badia del Vallès (11) Alcobendas (8) Rivas-Vaciamadrid (8) Lorca (4) Valencia (4) Zaragoza (3) Bilbao (2) Donostia/San Sebastián (1) Ahora vamos a ordenar por aquellos conjuntos de datos con tres estrellas. Aquí...

                                  Imagen obtenida de:  https://5stardata.info/es/ Hoy vamos a hablar de la puntuación de los diferentes formatos. Esta puntuación se estableció por Tim Berners Lee hace unos años. Si lo resumimos rápidamente sería así: Cualquier formato con licencia abierta : 1 estrella . Es decir, cualquier conjunto de datos que contenga al menos un fichero y esté alojado en un portal de Datos Abiertos, tendrá al menos esta puntuación. Ejemplo: un PDF. Cualquier formato reutilizable : 2 estrellas . Si puedes descargar un fichero del Portal de Datos Abierto y puedes modificarlo, su conjunto de datos tendrá al menos 2 estrellas. Ejemplo: un fichero Excel. Formato abierto: 3 estrellas . Si ademas de editarlo, lo puedes hacer sin software propietario , este conjunto de datos tendrá 3 estrellas. Un fichero CSV. Utilización de URIs: 4 estrellas . Si en el formato se están utili...

Y seguimos con la serie del evaluador, lo primero que quiero es dar las gracias a tod@s los que han contactado conmigo por este proyecto. Vamos a seguir poco para poder generar un evaluador gracias los datos que se publican en datos.gob.es Esta semana he generado el primer informe (aunque todavía no es el definitivo), he generado una tabla con cada organismo publicador, el número de conjuntos de datos que contiene y todos los formatos que utiliza. El informe está en formato Markdown (como ya os comenté Github lo interpreta automáticamente) y en formato CSV, así podemos trastear con el fácilmente. Aquí tenéis sus URLs: Markdown:  https://github.com/tecnificados/evaluador/blob/master/informes/organismoFormatos.md CSV:  https://raw.githubusercontent.com/tecnificados/evaluador/master/informes/organismoFormatos.csv Toda la lógica de generación del informe está en la clase " InformeOrganismoFormatos.java ", todo sigue en el repositorio que he estado utilizan...

En esta tercera entrega ya hemos empezado con la programación, el objetivo de hoy es conseguir cargar toda la información del fichero de datos.gob.es para poder evaluarla. Si miráis el repositorio del Evaluador ( https://github.com/tecnificados/evaluador ) hay unas cuantas clases nuevas: OrganoPublicador : es un bean que contiene el nombre del organismo y la lista de conjuntos de datos. ConjuntoDatos : también un bean que contiene su título y la lista de formatos que tienen sus recursos. Evaluador : en esta clase está toda la lógica que traduce el contenido del fichero a los dos beans anteriores. La función "evaluaLinea" me ha llevado más tiempo del que yo pensaba, debido a que hay celdas que son de tipo texto y tienen comas dentro. Como hago un "split" por comas, tengo que volver a juntar las celdas que tienen este comportamiento. Estos son todos los formatos que me he encontrado, que son bastantes más de los que yo pensaba: API  A...

Hoy vamos a continuar con el análisis para nuestro evaluador de Portales de Datos Abiertos. Lo primero que necesitamos conocer son las direcciones de los distintos portales. Para esto nos vamos a ir a la URL de nuestro Portal Nacional de Datos Abiertos:  https://datos.gob.es/es/catalogo , allí vamos a localizar el icono para descargar en formato CSV todos los recursos de todos los portales. Os lo señalo en rojo en la siguiente imagen: Ahora debemos descargarlo en nuestro PC. Ahora mismo ocupa casi 58 megas, y contiene 24.951 líneas. Para abrirlo y trastear con el fichero, os recomiendo utilizar OpenOffice, su programa de hojas de cálculo (OpenOffice Calc) es la mejor opción para trabajar con ficheros CSVs enormes. El fichero está compuesto por diferentes columnas, para conseguir hacer nuestro evaluador, necesitamos las siguientes: TÍTULO: nombre del conjunto de datos, soporta multidioma. Ejemplo:  [ca]Port de Barcelona - Arees Geogràfiques[en]Port...

Durante los últimos artículos, he ido sentando la bases para llegar a la creación de una pequeña aplicación de consola que nos sirva para evaluar los distintos portales de Datos Abiertos que están censados en nuestro Portal Nacional de Datos Abiertos:  https://datos.gob.es/es/catalogo Mi idea es leer todas los recursos (ficheros y URLs) que existen todos los portales de Datos Abiertos, agrupándolos por cada por cada conjunto de datos.   Después evaluaremos las siguientes características: ¿Los recursos están accesibles? ¿Qué tipo de ficheros contiene (CSV, PDF, HTML,...)? ¿Utiliza algún formato basado en URIs (RDF, TTL, N3, JSONLD,...)? ¿Las URIs enlazan con URIs externas a su portal (Linked Data)? Dependiendo de estas preguntas podremos puntuar cada conjunto de datos  basándonos en el siguiente gráfico: Y para terminar generaremos un informe en formato Markdown con todos los portales de datos y su puntuación. Todo esto lo haremos en una aplicaci...

Los desarrolladores a veces necesitamos información para realizar nuestras tareas, pero no la tenemos disponible en una fuente de datos tal y como nos gustaría. Ejemplo: llevo tiempo queriendo hacer un "simulador" de la bolsa con el IBEX 35, para esto lo ideal sería tener una API en tiempo real (o casi) que nos fuera devolviendo los valores actuales de cada valor. Una API en JSON gratuita que nos permita esto no existe (o yo no la he encontrado). Y para esto hay una herramienta de terceros llamada Import.io que nos puede ayudar. Vamos a seguir con nuestro ejemplo. Hay muchas páginas que tienen los datos de los valores del IBEX-35, yo voy a elegir ésta:  http://www.infobolsa.es/acciones/ibex35 Ahora nos vamos a la página web de Import.io, y en el campo donde está escrito "Enter an URL..." escribimos la URL de nuestra página y pulsamos el botón "Try it out". Después de unos segundos veremos la siguiente pantalla: En ella vemos todo...