¿Regulados por programas y algoritmos que permanecen en secreto? Cuéntanos tu caso

Quizá hayas oído hablar de la ‘transparencia algorítmica’. Como sabes, estamos inmersos en un proceso judicial para lograr que el código fuente de las aplicaciones informáticas que crean las Administraciones Públicas deje de ser un secreto - como la que concede o deniega el bono social de electricidad. Y lo hacemos porque, como hemos demostrado ya, pueden contener fallos de diseño que privarían a algunas personas de las ayudas que necesitan.

¿Tienes información de primera mano sobre situaciones como esta? ¿Conoces otros ejemplos en los que un fallo de diseño en un programa desarrollado desde la administración pública pueda estar teniendo consecuencias jurídicas negativas para una persona o colectivo?

Nos encantaría conocer tu caso y saber lo que piensas.

Sobre la creencia generalizada de que el uso de los algoritmos nos ayudaría a evitar sesgos y problemas en la toma de decisiones, es interesante este reciente caso en Estados Unidos sobre la predicción de riesgos de salud:

Creo que es otro buen ejemplo de por qué es necesaria la transparencia algorítmica.

1 me gusta

Estoy encantado con la iniciativa de Civio de ir al juzgado a reclamar y espero que sirva para futuras actuaciones similares.

Estoy preocupado por los algoritmo que se utilizan para Valoración Policial de Riesgo cuando una mujer presenta una denuncia en comisaria, por el programa que se utiliza para para determinar el grado de progresión en el sistema penitenciario y para rematar el SITEL.
Todo se realiza con software cerrado, privativo.
Mi información parte de la lectura de un artículo


Y de comprobaciones posteriores en otras fuentes.

2 Me gusta

No sé si visteis también el monográfico que dedicó al tema The Guardian hace unas semanas:

El impacto de estas iniciativas de automatización de decisiones de política social por parte de las administraciones públicas puede tener un potencial efecto devastador, discriminando a los más desprotegidos y perpetuando situaciones de desigualdad y pobreza. Como os comenté antes del verano la transparencia algorítmica también se puede defender por la vía de la normativa de protección de datos, ya que prevé unas mínimas salvaguardas para algorítmicos que toman decisiones automatizadas con impacto legal o igualmente significativo. Aunque la transparencia del código fuente no es una salvaguarda que esté expresamente exigida por la ley (como si lo son por ejemplo la capacidad para exigir la revisión de la decisión por una persona, o el derecho a obtener información significativa sobre la lógica utilizada por el algoritmo) sí que se ha considerado apropiada en ciertos contextos por expertos y académicos y creo que habría que defenderla como una medida básica en el contexto de algoritmos “públicos”. Eso sí, creo que va a costar conseguir la publicación del código fuente (al menos en ciertos casos), ya que hay argumentos convincentes de seguridad y prevención del fraude. Lo que sí que debería exigirse como salvaguarda mínima es la validación del algoritmo por tercero(s) independiente(s) que revisen el código fuente a modo de “auditores”.

2 Me gusta

Hola, Teresa: vimos el monográfico y nos pusimos en contacto con los periodistas que lo llevan para informarles de la situación del Bono Social en España. Se trata realmente de un tema interesante.

¡Hola!

Soy un periodista freelance establecido en Barcelona y uno de los temas sobre los que trabajo es la justicia algorítmica y de datos, así que me encantó ver que iniciabais esta conversación en la comunidad de Civio :slight_smile:

Actualmente colaboro con AlgorithmWatch y voy a escribir el capítulo sobre España para su informe de este año “Automating Society II - Taking Stock of Automated Decision-Making in the EU” (aquí, el informe del año pasado, que fue presentado en el Parlamento Europeo).

Se trata de recopilar información sobre el marco institucional y normativo, hacer un mapa de actores y un resumen del debate público sobre el tema, y compilar un listado de algoritmos y protocolos automatizados de toma de decisiones (ADM, por sus siglas en inglés) que esté usando o haya usado la administración pública.

Además del caso de BOSCO y del recurso contencioso-administrativo presentado por Civio, yo he recopilado información sobre estos ADM:

  • VioGén (uno de los que menciona el artículo compartido por @Julian)
  • VeriPol
  • RisCanvi (quizá también mencionado en el artículo compartido por @Julian, ya que evalúa el riesgo de reincidencia de internos en centros penitenciarios)
  • Mediktor [había incluido enlaces sobre todos los ADM pero el sistema sólo me permite cuatro enlaces porque éste es mi primer mensaje en la comunidad, pero podéis buscar éste y los siguientes en internet]
  • Savana
  • Saler (antes conocido como Satán)
  • Smart Destination Barcelona - Sagrada Familia
  • Smart Waste
  • El algoritmo de análisis del discurso del odio en redes sociales que diseñó un estudiante de máster y que ha adoptado el Ministerio del Interior.

Y otros aplicados en el ámbito local para combatir la contaminación acústica, informar a conductores de plazas de aparcamiento en la calle, informar a la policía de infracciones de uso en las zonas de aparcamiento temporal para carga y descarga, detectar malas hierbas, regular el alumbrado público, detectar y prever incendios forestales, y buscar y detectar anuncios de pisos turísticos ilegales.

Más adelante podríamos hablar de cómo usar de alguna forma la información que estoy recopilando, ya que no voy a poder incluirla toda en el informe para AlgorithmWatch, que además en principio sólo se va a publicar en inglés.

A mí me gustaría que en España tuviéramos un lugar online en el que acceder a esta información: marco institucional y normativo, mapa de diferentes tipos de actores (quién está haciendo qué y dónde), seguimiento de debates públicos, y catálogo de procesos automatizados de toma de decisiones en uso por parte de la Administración Pública.

De momento dejo ahí la idea, y os la plantearé con más detalle más adelante :slight_smile:

3 Me gusta

Hola Jose, mil gracias por toda la información que compartes con nosotros y me parece muy interesante lo que propones. ¿Conocéis a otra gente que esté trabajando en este mismo tema en España? ¿Qué creéis que necesitaríamos para hacer un catálogo de procesos automatizados de la administración pública? Un saludo.

¡Qué interesante, José Miguel! Ayer salió publicado un trabajo en la revista Science sobre la regulación de los algoritmos que es bastante interesante. La idea es vigilar su fiabilidad y reducir posibles sesgos. Por si os interesa, la Agencia SINC ha publicado un reportaje sobre este tema, entrevistando a los científicos responsables del estudio:

1 me gusta

Una nota rápida: un tribunal holandés ha ordenado hoy el cese de un sistema automático de vigilancia que pretendía detectar fraudes en la distribución ayudas económicas estatales porque el sistema viola los derechos humanos. El Gobierno puede recurrir la sentencia.

Se trata de un sistema de cálculo del riesgo que se usa sobre todo en zonas pobres, de las que recopila y analiza mediante un algoritmo opaco datos e información sobre los habitantes, para tratar de prever qué individuos tienen más probabilidades de cometer un fraude al solicitar ayudas sociales.

El tribunal ha dictaminado que el sistema no pasa el test requerido por la Convención Europea de Derechos Humanos de que haya un “equilibrio justo” entre los objetivos del sistema y la violación de la privacidad de las personas. El tribunal también ha señalado que el hecho de que el Gobierno lo use en zonas pobres y no revele cómo funciona el algoritmo equivale a discriminar a los ciudadanos de esas zonas por motivo de su situación o socioeconómica o migratoria.

Información del artículo en el Gurdian británico (no la he encontrado en español):

The Dutch government’s risk indication system (SyRI) is a risk calculation model developed over the past decade by the social affairs and employment ministry to predict the likelihood of an individual committing benefit or tax fraud or violating labour laws.

Deployed primarily in low-income neighbourhoods, it gathers government data previously held in separate silos, such as employment, personal debt and benefit records, and education and housing histories, then analyses it using a secret algorithm to identify which individuals might be at higher risk of committing benefit fraud.

A broad coalition of privacy and welfare rights groups, backed by the largest Dutch trade union, argued that poor neighbourhoods and their inhabitants were being spied on digitally without any concrete suspicion of individual wrongdoing. SyRI was disproportionately targeting poorer citizens, they said, violating human rights norms.

The court ruled that the SyRI legislation contained insufficient safeguards against privacy intrusions and criticised a “serious lack of transparency” about how it worked. It concluded in its ruling that, in the absence of more information, the system may, in targeting poor neighbourhoods, amount to discrimination on the basis of socioeconomic or migrant status.

The system did not pass the test required by the European convention on human rights of a “fair balance” between its objectives, namely to prevent and combat fraud in the interest of economic wellbeing, and the violation of privacy that its use entailed, the court added, declaring the legislation was therefore unlawful. The Dutch government can appeal against the decision.

1 me gusta

Gracias por compartir, Jose. Es un primer paso :slight_smile:

Hoy lleva la noticia el País: https://elpais.com/tecnologia/2020/02/12/actualidad/1581512850_757564.html