¿Regulados por programas y algoritmos que permanecen en secreto? Cuéntanos tu caso

#1

Quizá hayas oído hablar de la ‘transparencia algorítmica’. Como sabes, estamos inmersos en un proceso judicial para lograr que el código fuente de las aplicaciones informáticas que crean las Administraciones Públicas deje de ser un secreto - como la que concede o deniega el bono social de electricidad. Y lo hacemos porque, como hemos demostrado ya, pueden contener fallos de diseño que privarían a algunas personas de las ayudas que necesitan.

¿Tienes información de primera mano sobre situaciones como esta? ¿Conoces otros ejemplos en los que un fallo de diseño en un programa desarrollado desde la administración pública pueda estar teniendo consecuencias jurídicas negativas para una persona o colectivo?

Nos encantaría conocer tu caso y saber lo que piensas.

#2

Sobre la creencia generalizada de que el uso de los algoritmos nos ayudaría a evitar sesgos y problemas en la toma de decisiones, es interesante este reciente caso en Estados Unidos sobre la predicción de riesgos de salud:

Creo que es otro buen ejemplo de por qué es necesaria la transparencia algorítmica.

1 me gusta
#3

Estoy encantado con la iniciativa de Civio de ir al juzgado a reclamar y espero que sirva para futuras actuaciones similares.

Estoy preocupado por los algoritmo que se utilizan para Valoración Policial de Riesgo cuando una mujer presenta una denuncia en comisaria, por el programa que se utiliza para para determinar el grado de progresión en el sistema penitenciario y para rematar el SITEL.
Todo se realiza con software cerrado, privativo.
Mi información parte de la lectura de un artículo


Y de comprobaciones posteriores en otras fuentes.

2 Me gusta
#4

No sé si visteis también el monográfico que dedicó al tema The Guardian hace unas semanas:

El impacto de estas iniciativas de automatización de decisiones de política social por parte de las administraciones públicas puede tener un potencial efecto devastador, discriminando a los más desprotegidos y perpetuando situaciones de desigualdad y pobreza. Como os comenté antes del verano la transparencia algorítmica también se puede defender por la vía de la normativa de protección de datos, ya que prevé unas mínimas salvaguardas para algorítmicos que toman decisiones automatizadas con impacto legal o igualmente significativo. Aunque la transparencia del código fuente no es una salvaguarda que esté expresamente exigida por la ley (como si lo son por ejemplo la capacidad para exigir la revisión de la decisión por una persona, o el derecho a obtener información significativa sobre la lógica utilizada por el algoritmo) sí que se ha considerado apropiada en ciertos contextos por expertos y académicos y creo que habría que defenderla como una medida básica en el contexto de algoritmos “públicos”. Eso sí, creo que va a costar conseguir la publicación del código fuente (al menos en ciertos casos), ya que hay argumentos convincentes de seguridad y prevención del fraude. Lo que sí que debería exigirse como salvaguarda mínima es la validación del algoritmo por tercero(s) independiente(s) que revisen el código fuente a modo de “auditores”.

2 Me gusta
#5

Hola, Teresa: vimos el monográfico y nos pusimos en contacto con los periodistas que lo llevan para informarles de la situación del Bono Social en España. Se trata realmente de un tema interesante.

#6

¡Hola!

Soy un periodista freelance establecido en Barcelona y uno de los temas sobre los que trabajo es la justicia algorítmica y de datos, así que me encantó ver que iniciabais esta conversación en la comunidad de Civio :slight_smile:

Actualmente colaboro con AlgorithmWatch y voy a escribir el capítulo sobre España para su informe de este año “Automating Society II - Taking Stock of Automated Decision-Making in the EU” (aquí, el informe del año pasado, que fue presentado en el Parlamento Europeo).

Se trata de recopilar información sobre el marco institucional y normativo, hacer un mapa de actores y un resumen del debate público sobre el tema, y compilar un listado de algoritmos y protocolos automatizados de toma de decisiones (ADM, por sus siglas en inglés) que esté usando o haya usado la administración pública.

Además del caso de BOSCO y del recurso contencioso-administrativo presentado por Civio, yo he recopilado información sobre estos ADM:

  • VioGén (uno de los que menciona el artículo compartido por @Julian)
  • VeriPol
  • RisCanvi (quizá también mencionado en el artículo compartido por @Julian, ya que evalúa el riesgo de reincidencia de internos en centros penitenciarios)
  • Mediktor [había incluido enlaces sobre todos los ADM pero el sistema sólo me permite cuatro enlaces porque éste es mi primer mensaje en la comunidad, pero podéis buscar éste y los siguientes en internet]
  • Savana
  • Saler (antes conocido como Satán)
  • Smart Destination Barcelona - Sagrada Familia
  • Smart Waste
  • El algoritmo de análisis del discurso del odio en redes sociales que diseñó un estudiante de máster y que ha adoptado el Ministerio del Interior.

Y otros aplicados en el ámbito local para combatir la contaminación acústica, informar a conductores de plazas de aparcamiento en la calle, informar a la policía de infracciones de uso en las zonas de aparcamiento temporal para carga y descarga, detectar malas hierbas, regular el alumbrado público, detectar y prever incendios forestales, y buscar y detectar anuncios de pisos turísticos ilegales.

Más adelante podríamos hablar de cómo usar de alguna forma la información que estoy recopilando, ya que no voy a poder incluirla toda en el informe para AlgorithmWatch, que además en principio sólo se va a publicar en inglés.

A mí me gustaría que en España tuviéramos un lugar online en el que acceder a esta información: marco institucional y normativo, mapa de diferentes tipos de actores (quién está haciendo qué y dónde), seguimiento de debates públicos, y catálogo de procesos automatizados de toma de decisiones en uso por parte de la Administración Pública.

De momento dejo ahí la idea, y os la plantearé con más detalle más adelante :slight_smile:

4 Me gusta
#7

Hola Jose, mil gracias por toda la información que compartes con nosotros y me parece muy interesante lo que propones. ¿Conocéis a otra gente que esté trabajando en este mismo tema en España? ¿Qué creéis que necesitaríamos para hacer un catálogo de procesos automatizados de la administración pública? Un saludo.

#8

¡Qué interesante, José Miguel! Ayer salió publicado un trabajo en la revista Science sobre la regulación de los algoritmos que es bastante interesante. La idea es vigilar su fiabilidad y reducir posibles sesgos. Por si os interesa, la Agencia SINC ha publicado un reportaje sobre este tema, entrevistando a los científicos responsables del estudio:

1 me gusta
#9

Una nota rápida: un tribunal holandés ha ordenado hoy el cese de un sistema automático de vigilancia que pretendía detectar fraudes en la distribución ayudas económicas estatales porque el sistema viola los derechos humanos. El Gobierno puede recurrir la sentencia.

Se trata de un sistema de cálculo del riesgo que se usa sobre todo en zonas pobres, de las que recopila y analiza mediante un algoritmo opaco datos e información sobre los habitantes, para tratar de prever qué individuos tienen más probabilidades de cometer un fraude al solicitar ayudas sociales.

El tribunal ha dictaminado que el sistema no pasa el test requerido por la Convención Europea de Derechos Humanos de que haya un “equilibrio justo” entre los objetivos del sistema y la violación de la privacidad de las personas. El tribunal también ha señalado que el hecho de que el Gobierno lo use en zonas pobres y no revele cómo funciona el algoritmo equivale a discriminar a los ciudadanos de esas zonas por motivo de su situación o socioeconómica o migratoria.

Información del artículo en el Gurdian británico (no la he encontrado en español):

The Dutch government’s risk indication system (SyRI) is a risk calculation model developed over the past decade by the social affairs and employment ministry to predict the likelihood of an individual committing benefit or tax fraud or violating labour laws.

Deployed primarily in low-income neighbourhoods, it gathers government data previously held in separate silos, such as employment, personal debt and benefit records, and education and housing histories, then analyses it using a secret algorithm to identify which individuals might be at higher risk of committing benefit fraud.

A broad coalition of privacy and welfare rights groups, backed by the largest Dutch trade union, argued that poor neighbourhoods and their inhabitants were being spied on digitally without any concrete suspicion of individual wrongdoing. SyRI was disproportionately targeting poorer citizens, they said, violating human rights norms.

The court ruled that the SyRI legislation contained insufficient safeguards against privacy intrusions and criticised a “serious lack of transparency” about how it worked. It concluded in its ruling that, in the absence of more information, the system may, in targeting poor neighbourhoods, amount to discrimination on the basis of socioeconomic or migrant status.

The system did not pass the test required by the European convention on human rights of a “fair balance” between its objectives, namely to prevent and combat fraud in the interest of economic wellbeing, and the violation of privacy that its use entailed, the court added, declaring the legislation was therefore unlawful. The Dutch government can appeal against the decision.

1 me gusta
#10

Gracias por compartir, Jose. Es un primer paso :slight_smile:

#11

Hoy lleva la noticia el País: https://elpais.com/tecnologia/2020/02/12/actualidad/1581512850_757564.html

#12

Comparto una idea:
En educación cada vez se presta más atención a la segregación y la importancia de evitar guetos. Varias CCAA (Comunidad Valenciana, Navarra, Cataluña…) están creando normativas que hablan de un reparto equitativo de alumnos por parte de la administración entre distintos centros. Crro que el algoritmo asociado debería ser totalmente transparente

#13

Comparto resolución estimatoria recibida hoy.
https://drive.google.com/file/d/1x8oIQbncuboyMcnxJvf5uSRbpGhoxXow/view?usp=sharing
Creo que es relevante pensando en transparencia de algoritmos
“De este modo, la Dirección General de Educación Secundaria, Formación Profesional y Régimen Especial, dispone de documentación relativa al sistema de cálculo de la asignación, independientemente de su soporte, o de que se encuentre dispersa en varios documentos. De hecho, debe presumirse que para una adecuada gestión de los miles de centros docentes que
existen en la Comunidad, dichos criterios se encuentran identificados por la Consejería y son de uso habitual INCLUSO AUTOMATIZADO. El hecho de que un ciudadano quiera conocer dichos criterios objetivos satisface la finalidad de la LTAIBG prevista en su preámbulo para que “ los ciudadanos pueden conocer cómo se toman las decisiones que les afectan, cómo se manejan los
fondos públicos o bajo qué criterios actúan nuestras instituciones podremos hablar del inicio de un proceso en el que los poderes públicos comienzan a responder a una sociedad que es crítica, exigente y que demanda participación de los poderes públicos”.
…
Documentos sobre el sistema de cálculo de la asignación correspondiente a cada centro teniendo y sobre los distintos criterios objetivos utilizados para valorar las necesidades generales de gasto de cada centro. Independientemente de su ubicación o soporte, ya se encuentren en un solo documento o en varios, O TENGAN QUE EXTRAERSE DE LA APLICACIÓN INFORMÁTICA”

1 me gusta
#14

Gracias, Enrique :wink:

#15

Noticia de 11 marzo 2021


“Será obligado que el trabajador conozca la fórmula matemática que organiza su trabajo en todas las partes del trabajo”
…
Actualmente, son algoritmos los que deciden el reparto de pedidos entre los riders, sus bonificaciones, penalizaciones y otros aspectos fundamentales de su trabajo sin que el empleado tenga conocimiento de cuáles son los motivos o fórmulas para ello.

#16

Hoy he recibido una respuesta denegatoria de Madrid.
El tema es que para elegir qué personas forman los tribunales de oposición, se sortea informáticamente. En 2018 se sorteaba letra (mecanismo injusto), pero no se publicaban los listados, por lo que no había manera de saber si se saltaban a gente o no: tras pedirlos vía transparencia, denegaron.
En 2021 han publicado de forma activa listados que no dieron en 2018, y ahora dicen que se sortea tras que un programa ordene aleatoriamente. He pedido el código fuente del programa que ordena aleatoriamente, porque me parece algo tan sencillo que es una buen ejemplo de código que no podrían poner pegas en hacer público, y me han respondido, entre otras cosas, hablando de propiedad intelectual, de que el programa hace lo que debe y para eso lo supervisan ellos, y esta perla
https://drive.google.com/file/d/1fxp_6NiiVMZjrkq3Yd4oUyGi3aN7aaQq/view?usp=sharing
" a través del código fuente se pueden conocer detalles de un programa informático y de sus vulnerabilidades, quedando, en caso de facilitarse el acceso solicitado, desprotegida la aplicación frente a posibles ataques y usos indebidos. "
Hablan de “ataques y usos indebidos” de un programa que solo debe ordenar listados al azar?:man_facepalming:

2 Me gusta
#17

Comparto respuesta de ampliación de plazo de CLM: al menos no deniegan directamente.
Enlaza con lo que comenté por aquí hace tiempo de transparencia en algoritmos de adjudicación de centro educativo, relevante asociado a segregación
https://drive.google.com/file/d/1S5qCDNctFuy5N-V4bSRh7xMK0dT32Eti/view?usp=drivesdk

1 me gusta
#18

Gracias por compartir esta información con la comunidad. La respuesta es en línea con lo que nos han respondido a nosotros en el caso del algoritmo que gestiona la asignación del bono social: "Que se nos regule mediante código fuente o algoritmos secretos es algo que jamás debe permitirse en un Estado social, democrático y de Derecho" | Civio

2 Me gusta
#19

Tras haber reclamado a CTBG por silencio pasado el mes de ampliación de plazo, hoy he recibido respuesta de CLM
2021-CLM-AdmisónAlmumnado
Creo que es relevante que dan parte del código fuente (es SQL), pero parte hacen una reelaboración tremenda y elaboran una descripción (pseudocódigo) sin dar el código fuente.
Como está reclamado a CTBG no desistiré; creo que si han podido dar código fuente de parte lo pueden dar de todo

1 me gusta
#20

Resolución estimatoria RT_0253-2021 La Consejería de Educación de Madrid deberá dar el código fuente de un programa informático que implementa sorteo oposiciones

Sienta precedente para conseguir más transparencia en algoritmos de la administración

5 Me gusta