¿Regulados por programas y algoritmos que permanecen en secreto? Cuéntanos tu caso

Quizá hayas oído hablar de la ‘transparencia algorítmica’. Como sabes, estamos inmersos en un proceso judicial para lograr que el código fuente de las aplicaciones informáticas que crean las Administraciones Públicas deje de ser un secreto - como la que concede o deniega el bono social de electricidad. Y lo hacemos porque, como hemos demostrado ya, pueden contener fallos de diseño que privarían a algunas personas de las ayudas que necesitan.

¿Tienes información de primera mano sobre situaciones como esta? ¿Conoces otros ejemplos en los que un fallo de diseño en un programa desarrollado desde la administración pública pueda estar teniendo consecuencias jurídicas negativas para una persona o colectivo?

Nos encantaría conocer tu caso y saber lo que piensas.

Sobre la creencia generalizada de que el uso de los algoritmos nos ayudaría a evitar sesgos y problemas en la toma de decisiones, es interesante este reciente caso en Estados Unidos sobre la predicción de riesgos de salud:

Creo que es otro buen ejemplo de por qué es necesaria la transparencia algorítmica.

1 me gusta

Estoy encantado con la iniciativa de Civio de ir al juzgado a reclamar y espero que sirva para futuras actuaciones similares.

Estoy preocupado por los algoritmo que se utilizan para Valoración Policial de Riesgo cuando una mujer presenta una denuncia en comisaria, por el programa que se utiliza para para determinar el grado de progresión en el sistema penitenciario y para rematar el SITEL.
Todo se realiza con software cerrado, privativo.
Mi información parte de la lectura de un artículo


Y de comprobaciones posteriores en otras fuentes.

1 me gusta

No sé si visteis también el monográfico que dedicó al tema The Guardian hace unas semanas:

El impacto de estas iniciativas de automatización de decisiones de política social por parte de las administraciones públicas puede tener un potencial efecto devastador, discriminando a los más desprotegidos y perpetuando situaciones de desigualdad y pobreza. Como os comenté antes del verano la transparencia algorítmica también se puede defender por la vía de la normativa de protección de datos, ya que prevé unas mínimas salvaguardas para algorítmicos que toman decisiones automatizadas con impacto legal o igualmente significativo. Aunque la transparencia del código fuente no es una salvaguarda que esté expresamente exigida por la ley (como si lo son por ejemplo la capacidad para exigir la revisión de la decisión por una persona, o el derecho a obtener información significativa sobre la lógica utilizada por el algoritmo) sí que se ha considerado apropiada en ciertos contextos por expertos y académicos y creo que habría que defenderla como una medida básica en el contexto de algoritmos “públicos”. Eso sí, creo que va a costar conseguir la publicación del código fuente (al menos en ciertos casos), ya que hay argumentos convincentes de seguridad y prevención del fraude. Lo que sí que debería exigirse como salvaguarda mínima es la validación del algoritmo por tercero(s) independiente(s) que revisen el código fuente a modo de “auditores”.

1 me gusta

Hola, Teresa: vimos el monográfico y nos pusimos en contacto con los periodistas que lo llevan para informarles de la situación del Bono Social en España. Se trata realmente de un tema interesante.