Aquí te contamos, paso a paso, cómo conseguimos y tratamos los datos para escribir los dos artículos 
Miles de contratos públicos incumplen la ley para poder ser adjudicados a dedo y La invasión de los contratos menores de 14.999,99€, de nuestra última investigación sobre contratación pública.
1. ¿De dónde hemos sacado los datos? 
Los datos que utilizamos en los dos artículos sobre contratación pública provienen de la Plataforma de Contratación del Sector Público, donde publican la mayoría de administraciones públicas locales, autonómicas y locales.
2. ¿Qué datos hemos utilizado?
Descargamos todos los contratos menores publicados desde el 1 de enero de 2018 hasta el 31 de julio de 2019. Son un total de 346.726. Utilizamos el precio de licitación sin impuestos, que es el que marca qué tipo de procedimiento se puede utilizar. Ojo, hemos excluído de la base de datos aquellas entidades que no son administraciones públicas porque no les aplican las reglas de los menores al 100% . Tuvimos en cuenta que la reforma de la Ley de Contratos del Sector Público (LCSP) que cambió los umbrales de los menores entró en vigor el 18 de marzo de 2018. Por esta razón, en la primera investigación sobre fraccionamiento nos centramos en los contratos firmados en los primeros 7 meses del 2019.
3. ¿Qué queríamos conseguir?
El objetivo era crear una base de datos sobre la que hacer las consultas necesarias para:
- Descubrir banderas rojas que nos permitieran encontrar posibles fraccionamientos.
- Descubrir hasta qué punto se acumulan los contratos en el límite legal, cuántos contratos cambiaron de precio al cambiar los umbrales legales y qué contratos se pasan de estos umbrales, y por tanto son ilegales.
4. ¿Qué tuvimos en cuenta para analizar los datos?
Para la investigación sobre fraccionamiento indebido de contratos, hemos aplicado a esa base de datos el texto literal de la ley -contratos a una misma empresa que sumados superan el límite de los menores en un mismo año. Partiendo de esa base, creamos archivos en cada categoría (servicios, suministros y obras) para analizar en qué administraciones públicas esta práctica es más habitual. Esos son los datos que encontrarás en las tablas por entidad. También creamos diferentes archivos a partir de la base de datos global para analizar los casos más burdos.
En el segundo tema que publicamos, sobre el apelotonamiento de contratos en los umbrales legales, creamos archivos para analizar cada uno de los puntos que tratamos en el artículo y a todos ellos les aplicamos un proceso de limpieza para detectar errores y, sobre todo, para excluir de nuestros datos aquellos contratos a los que no les aplican los umbrales de 15.000 y 40.000 euros.
5. ¿Cómo limpiamos los datos? 
Para poder consultar las posibles banderas rojas era imprescindible limpiar los archivos con los que íbamos a trabajar, ya que detectamos múltiples errores en los datos originales. En los casos en los que se han detectado, se han solventado. En algunos casos, por ejemplo, hemos descubierto que lo que podían parecer fraccionamientos son en realidad expedientes duplicados por error. Esta parte, la limpieza, ha sido de las más complejas y duras de todo el proceso.
Eliminamos relaciones de contratos y posibles duplicados y otras filas que no corresponden a contratos menores. Además, revisamos aquellos en los que la cuantía no aparece o es 0€ para buscar esa cifra en otras columnas, como las del importe finalmente adjudicado.
Los contratos menores sólo pueden ser de obras, suministros y servicios, pero muchos tenían códigos de otros tipos, como concesiones, administrativos, contratos privados… En esos casos, hemos analizado el objeto para saber cuál es su categoría real. Una vez hecho esto, eliminamos los que no son menores en realidad: las colaboraciones público-privadas, los patrimoniales… Mantenemos los contratos privados (como los de los cachés de conciertos) porque al tratar solo con administraciones públicas sí les aplican las reglas de los menores como al resto.
Aplicamos los cuatro tipos de excepciones que marca la ley:
- Generales. Relaciones entre administración y empresa a las que no les afectan las reglas de la ley, como los de agua y transporte (regulados por otra ley), los de arbitraje, los de cooperación entre varios estados…
- Suscripción a revistas y bases de datos. Este tipo de contratos se pueden adjudicar como menores hasta límites muy superiores, los de la regulación armonizada, por eso los eliminamos.
- Los de ciencia. Un añadido a la ley permite que los contratos de suministros y servicios de agentes públicos del Sistema Español de Ciencia, Tecnología e Innovación tengan un límite mayor, 50.000 euros frente a 15.000. Pero solo para contratos destinados a la investigación, no para servicios generales. Hemos eliminado todos los que sí son para investigación, pero hemos dejado (y de eso va el despiece) los de servicios generales en los que se abusa de -o, simplemente, se aplica mal- esa excepción. Para hacerlo, recopilamos los agentes públicos del Sistema Español de Ciencia, Tecnología e Innovación a partir de las entidades incluidas dentro del mapa del Observatorio Español de I+D+i (ICONO) y de la Fundación Española de Ciencia y Tecnología (FECYT). Después analizamos los contratos públicos de suministros o de servicios suscritos por estos órganos que tuvieran la consideración de contratos menores. En este caso, el límite de los contratos menores se sitúa en 50.000 euros, de acuerdo con lo estipulado de forma excepcional por ley. Por último, comprobamos si los contratos menores estaban o no destinados a servicios generales y de infraestructura.
- Siempre que nos lo permitía la información sobre el objeto, valorábamos si entraban en la excepción que permite repetir contratos con la misma empresa si solo pueden ser encargados a una empresa concreta porque es una obra de arte única, no hay competencia por razones técnicas o se deben proteger derechos como los de propiedad intelectual e industrial.
6. ¿Qué organizaciones, documentos y colegas consultamos? 
Además del análisis a fondo de la LCSP, hemos estudiado artículos sobre la interpretación del artículo 118 (como este y este), las decisiones de las distintas juntas consultivas sobre este asunto y de la OIRESCON, informes sobre asunto concretos, como las concesiones como menores y análisis a fondo como los de la Oficina Antifrau.
Además, hemos consultado a especialistas en contratación y a expertos de la Comunidad Civio sobre tiempos de tramitación de un menor, si se aplican las reglas a los contratos privados y algunos casos particulares que nos resultaban curiosos. Muchísimas gracias a Esteban Umerez, José María Gimeno, Ana Isabel Beltrán, Lola Bataller y Roger Folguera.
7. ¿Qué datos liberamos? 
Así, los archivos -ya limpios- utilizados en el análisis de nuestro primer tema sobre el uso indebido de contratos menores, que están disponibles para descargar y reutilizar en la web de datos abiertos de Civio son:
- Contratos de una misma empresa a una misma administración que sumados superan el límite del menor adjudicados del 1 de enero de 2019 al 31 de julio de 2019:
- Contratos entre una administración y una empresa que superen sumados el límite de los contratos menores y que se adjudicaron, juntos, el mismo día. Los datos en esta categoría van del 1 de agosto de 2018 al 31 de julio de 2019. ¿Por qué arrancamos desde agosto de 2018? Queríamos un año completo y, además, dar margen para la aplicación de los nuevos umbrales previstos en la ley, que entraron en vigor en marzo de 2018.
- De suministros y servicios (con umbral en 15.000 euros).
- De obras (con umbral en 40.000 euros).
- Contratos entre una administración y una empresa con el mismo concepto y en el mismo año que superen sumados el límite de los contratos menores. En esta categoría creamos cuatro archivos, tratando cada ejercicio presupuestario por separado, como marcan la mayoría de interpretaciones del artículo 118.3 de la Ley de Contratos del Sector Público (LCSP):
- Obras. De agosto a diciembre de 2018.
- Servicios y suministros. De agosto a diciembre de 2018.
- Obras. De enero a julio de 2019.
- Servicios y suministros. De enero a julio de 2019.
Además, creamos archivos complementarios de entidades concretas que destacaban sobre el resto y que nos parecieron interesantes para analizar con más detalle, como:
- Los de la adaptación de los depósitos de armas largas de diversas comandancias de la Guardia Civil
- Todos los menores concedidos por la entidad pública Trabajo Penitenciario y Formación para el Empleo.
- Los contratos menores de obras de la Diputación de Ourense.
Del segundo tema, sobre la concentración de contratos menores firmados justo por debajo de los límites legales, publicamos la base de datos general empleada en la visualización. A ésta, le hemos aplicado la limpieza en los contratos que superan los umbrales, y creamos consultas específicas para encontrar casos relevantes. Así, los archivos -ya limpios- utilizados también en nuestro análisis, y que puedes descargar y reutilizar desde la web de datos abiertos de Civio son:
- Cambios de precio. Contratos de la misma administración pública al mismo empresario que cambiaron de precio con el cambio de los umbrales. Para eso, hemos extraído empresas que recibieron un contrato de más de 17.900 euros (en servicios y suministros) y de más de 48.000 (en obras) antes del cambio de ley; y que después de la reforma recibieron nuevos contratos mayores de 12.000 euros. Estos son los archivos que revisamos para encontrar cambios de precio sospechosos de forma manual.
- Contratos que superan los umbrales y, por lo tanto, son ilegales.
- Los pequeños. Contratos menores de menos de 50 euros.
Os recordamos, que esta investigación forma parte de RECORD, un proyecto europeo enfocado en crear un sistema de alertas anticorrupción en la contratación pública.
Si queréis usar los datos o republicar el artículo, ¡adelante! Aquí podéis revisar nuestros términos de uso. Y si tenéis cualquier pregunta, o sugerencia podéis escribirla en este hilo o escribirnos un email.
¡Un saludo de todo el equipo Civio!