Inteligencia artificial y transparencia algorítmica: «It’s complicated»

Una parte importante de la sociedad en la que nos movemos se encuentra en la economía de la información, una economía de datos y algoritmos. Porque los datos, si no se tratan, no son nada. Esta economía es también una política basada en la implementación algorítmica y en red de la sociedad de vigilancia (Zuboff, 2016). A su vez, esta noción de vigilancia automatizada tiene una genealogía cientificotécnica que puede rastrearse en la lógica del pensamiento cibernético, una visión que buscaba desarrollar la ciencia del control de máquinas y organismos (Wiener, 1961).

Desde la expansión del pensamiento cibernético y sus sucesivas transformaciones (Tiqqun, 2018), de la digitalización de casi todo y de la aceleración de los flujos globales de información y del poder que se deriva de estos, hemos llegado a un momento de poder usar una capacidad de tratamiento de la información más grande y más compleja. En esta aceleración hemos pasado por la interconexión (Internet), la fusión de contenidos digitales globales (web), la acumulación y el cruce de todo tipo de datos (big data), una nueva conexión de medios de captación de datos (Internet de las cosas), y ahora estamos en la autonomización de los procesos de análisis de los datos y de toma automática de decisiones a partir de los modelos extraídos de este análisis de datos; en otras palabras, en la interconexión de un gran número de sistemas de inteligencia artificial.

Si no hace ni sesenta años la competición entre las naciones se planteaba en términos de capacidad de creación de conocimiento científico y tecnológico, ahora nos encontramos con que las potencias globales con aspiraciones hegemónicas elaboran planes para sobresalir y avanzar en términos de inteligencia artificial o, si queréis, en términos de codificación y automatización del conocimiento mediante tecnologías de la cognición, la más representativa de las cuales es la inteligencia artificial. No es extraño que los que pretenden ser grandes poderes hayan establecido sus planes nacionales estratégicos de inteligencia artificial (China, 2018; NSTC, 2016; Villani, 2018; Hogarth, 2018).

Los incentivos para recoger cantidades inmensas de datos de todo tipo son dobles: económicos y políticos. El poder desatado por los datos y su tratamiento ha hecho que la manera de aproximarse a datos y algoritmos, con la ayuda de la inteligencia artificial y —más en concreto— del aprendizaje automático (machine learning), haya pasado de una primera intención analítica (usar algoritmos para entender qué dicen los datos) a una intención predictiva (anticipar) y, finalmente, a una acción claramente prescriptiva (orientar la conducta de millones de personas mediante lo que se ha averiguado de ellas y de su contexto con modelos predictivos y clasificatorios). De hecho, ahora mismo conviven todas estas perspectivas y se necesitan mutuamente; juntas hacen real una forma de economía y política basada en el control de la demanda y de la conformación de conductas individuales a escala planetaria (Turkle, 2006).

Eso es evidente, por ejemplo, en los sistemas de recomendación, que tanto nos presentan un nuevo servicio como nos recomiendan ciertas propuestas culturales o nos predisponen hacia determinadas opciones políticas. Los buscadores inducen una función parecida, a partir de la personalización de los resultados de búsqueda. De la accesibilidad ampliada a determinados contenidos culturales se pasa a configurar o estabilizar identidades culturales hegemónicas (Pasquale, 2015a). El hecho de que más del 80 % de las búsquedas se lleven a cabo usando portales norteamericanos debe tener y tiene un papel en pautas de consumo y configuración culturales, por ejemplo. Y quien habla de cultura puede hablar de muchos otros ámbitos de actividad, como ha demostrado el reciente escándalo de manipulación política desatado alrededor de Facebook y Cambridge Analytica (Grassegger; Krogerus, 2018). Asimismo, cada vez está más claro que la combinación de datos y algoritmos induce y propaga mecanismos de sesgo, discriminación y trato injusto y desigual (Eubanks, 2018).

Ante este estado de cosas, hay un cierto consenso en que deben abrirse otros escenarios alternativos. Este consenso presenta diversas variantes, pero, de un modo u otro, todas quieren recuperar la agencia de ciertos sujetos ante el abuso de poder y asimetría de capacidades de captación de datos, de su tratamiento, interpretación y decisión. Un punto común a las diversas variantes de este consenso es la exigencia de transparencia.

La transparencia de datos y de algoritmos(transparencia algorítmica para abreviar) implica la capacidad de saber qué datos se utilizan, cómo se utilizan, quiénes los utilizan, para qué los utilizan y cómo se llega a partir de los datos a tomar las decisiones que afectan a la esfera vital de quien reclama esta transparencia. Si una persona ha sido rechazada en algún proceso (por ejemplo, no recibe una beca o un crédito), debería saber a partir de qué datos se ha tomado esa decisión y cómo se ha decidido excluirla, que es una cosa diferente. Igualmente, si un sistema de reconocimiento la ha clasificado como sospechosa de terrorista. Hoy en día, una esfera pública informada debería estar compuesta por agentes capaces de averiguar el subtexto del universo algorítmico en el que se desarrollan los ciudadanos como sujetos económicos y políticos.

Ahora bien, este primer nivel de transparencia, recogido en iniciativas muy recientes y meritorias como el reglamento europeo sobre protección de datos, es solo un primer paso y bastante débil. Habitualmente se argumenta que la transparencia también tiene que incluir no solo el acceso a los datos, sino al código de los algoritmos que los tratan. Pero eso, aun siendo un paso necesario, no es del todo suficiente. Para empezar, obvia que este tipo de acceso no siempre es garantía de comprensión. Y un código al que se accede de esta manera puede ser incomprensible no solo para los ciudadanos no expertos, sino también para los propios expertos en datos, algoritmos e inteligencia artificial. Muchos algoritmos una vez "abiertos", una vez accedemos a su código, siguen siendo auténticas "cajas negras" (Pasquale, 2015b). Solo hay que considerar que el 95 % del código de programación habitual no se ejecuta nunca. Una de las razones es que los programadores anteriores lo desarrollaron en su momento por motivos no siempre documentados en el propio código y, como medida de precaución, es mejor no arriesgarse a efectos desconocidos intentando modificarlo. Las rutinas profesionales en un entorno de gran competitividad y celeridad pesan en esta práctica que va amplificando la incomprensión del código. Evidentemente, este hecho no excluye una voluntad malévola en configurar un código algorítmico de efectos claramente nocivos. Lo que es muy real es que, tanto si hay mala intención como buena en la voluntad que hay tras el algoritmo, su comprensión sigue siendo problemática.

En efecto, incluso si llegamos a entender ese código todavía puede resultar más difícil comprender cómo ha llegado a comportarse de un modo determinado. Esto es especialmente espinoso en el caso de ciertos algoritmos de aprendizaje automático que utilizan redes neuronales (base de todo lo que se conoce como deep learning). Es decir, que si accedemos al código de un sistema de este tipo puede darse el caso de que ni siquiera los expertos que lo han programado puedan explicar por qué muestra ciertos comportamientos. En el caso de que fuera posible entenderlo, aún quedarían varias otras cosas que hacer. Una sería poder comunicar de forma clara y comprensible a quien lo pregunte cómo ha pasado, qué ha pasado, por qué el sistema se ha comportado de aquella manera. Aquí hay un problema de lenguaje y de traducción muy grande. Entre expertos podemos comunicarnos sobre un comportamiento anómalo o correcto derivado de un proceso de entrenamiento de un sistema de aprendizaje automático, pero ¿cómo comunicamos su aplicación en un caso concreto a un público general? Una solución para este tipo de situaciones sería poder disponer de sistemas que interpretaran el comportamiento de los algoritmos de manera general o concreta y que pudieran proporcionar explicaciones en otro lenguaje más cercano al de la persona o colectivo afectados. Es un campo amplio de investigación lleno de dificultades (DARPA, 2018) que siempre está bordeando la regresión infinita de explicaciones de un lenguaje al siguiente.

En caso de que llegásemos a superar esta dificultad, todavía quedaría otro obstáculo. Una cosa es describir el mecanismo causal que ha llevado a una decisión y otra encontrarle una justificación. Son dos planos diferentes. ¿Aceptaríamos la justificación de que "el algoritmo no nos ha concedido un crédito" porque si lo hacía aumentaba el riesgo del banco?, ¿o que "el algoritmo no nos ha concedido una beca" porque así se favorece a minorías que sistemáticamente quedan fuera del reparto? Las justificaciones apelan a otras esferas de razonamiento no técnico, sino ético, moral o legal. Algunos aspectos como la equidad (fairness) entran en juego aquí. Y es un trabajo, después, difícil de retraducir a la implementación técnica. Iniciativas como, por ejemplo, DTL, FATML o DAT (DTL, 2018; FATML, 2018; DAT, 2016) intentan encontrar traducciones técnicas y metodológicas a la construcción y entrenamiento de algoritmos de inteligencia artificial que permitan justificar su transparencia, equidad, justicia y trazabilidad. Y no siempre lo consiguen.

Con frecuencia muchas de estas iniciativas acaban rindiéndose ante el hecho de que la solución no radica solo en los datos y en los algoritmos, sino en el contexto de prácticas sociales y políticas que los rodean. Dice mucho del peso de la metáfora algorítmica en esta época que los grandes centros de desarrollo de estas tecnologías hayan tardado bastante en desarrollar una sensibilidad fuera del hecho técnico (Boyd; Crawford, 2011) y propusieran marcos más complejos e interdisciplinarios en los que la solución técnica acabaría implementando marcos éticos y legales que querrían mitigar el riesgo. La expansión de comités éticos sobre inteligencia artificial reproduce, quizá, propuestas parecidas ante otras tecnologías de riesgo (Beck, 2002), como sucedió en el campo de la biología y el desarrollo de la bioética correspondiente. El hecho de que las asociaciones profesionales dentro del ámbito de la inteligencia artificial relacionen nuevas prácticas de diseño que incorporan conceptos éticos muestra también una cierta progresión respecto al estado de cosas en el que nos habíamos situado (IEEE, 2018).

Lo que parece claro es que todavía estamos en una fase relativamente inicial de la consideración de la inteligencia artificial como otra tecnología de riesgo, que lo es. En efecto, si seguimos la caracterización de Ulrich Beck (2002), es un tipo de tecnología que logra un impacto sistémico y distribuye sus riesgos y su incremento de forma desigual en la población. Está muy claro que los colectivos hasta ahora más afectados por decisiones guiadas por sistemas de inteligencia artificial son precisamente los más débiles (Eubanks, 2018).

La exigencia de transparencia sobre este tipo de sistemas y tecnologías, ciertamente, puede empezar a articular los debates de la esfera pública, y lo está haciendo. Ahora bien, como hemos mencionado más arriba, queda mucho por recorrer para que pueda haber un debate informado y de amplio alcance que involucre a todos los públicos afectados y supere los problemas de comprensión, traducción y comunicación actuales, que son de envergadura.

Bibliografía

Beck, U. (2002). La sociedad del riesgo: hacia una nueva modernidad. Barcelona: Paidós Ibérica.

Boyd, D.; Crawford, K. (2011). "Six Provocations for Big Data". A decade in Internet time: Symposium on the dynamics of the Internet and society, 21 September 2011. Oxford Internet Institute.

China. Consejo de Estado (2017). State Council Notice on the Issuance of the Next Generation Artificial Intelligence Development Plan. Traducción al inglés de New America Foundation. <https://www.newamerica.org/cybersecurity-initiative/blog/chinas-plan-lead-ai-purpose-prospects-and-problems>. [Consulta: 03/03/2018].

DARPA (2018). Explainable Artificial Intelligence.
<https://www.darpa.mil/program/explainable-artificial-intelligence>. [Consulta: 04/06/2018].

DAT (2016). Workshop on data and algorithmic transparency, 19 November 2016, New York. <http://datworkshop.org>. [Consulta: 12/05/2018].

DTL (2018). Data Transparency Lab. <http://datatransparencylab.org>. [Consulta: 20/05/2018].

Eubanks, V. (2018). Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor. New York: St. Martin's Press.

FATML (2018).Fairness, Accountability and Transparency in Machine Learning. <www.fatml.org>. [Consulta: 20/05/2018].

Grassegger, H.; Krogerus, M. (2018). Ich habe nur gezeigt, dass es die Bombe gibt. Entrevista con Michal Kosinski. <https://www.dasmagazin.ch/2016/12/03/ich-habe-nur-gezeigt-dass-es-die-bombe-gibt/>. [Consulta: 04/06/2018].

Hogarth, I. (2018). AI Nationalism. <https://www.ianhogarth.com/blog/2018/6/13/ai-nationalism>. [Consulta: 20/06/2018].

IEEE (2018). IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems. Ethically Aligned Design: A Vision for Prioritizing Human Well-being with Autonomous and Intelligent Systems (EADv2).

NSTC (2016). Networking and Information Technology Research and Development Subcommittee. The National Artificial Intelligence Research and Development Strategic Plan. National Science and Technology Council.

Pasquale, F. (2015a). "The Algorithmic Self". The hedgehog review, vol. 17, no. 1 (Spring).

— (2015b). The Black Box Society. The Secret Algorithms That Control Money and Information. Cambridge: Harvard University Press.

Robert M. [et al.] (2012). "A 61-Million-Person Experiment in Social Influence and Political Mobilization". Nature, vol. 489, no. 7.415, p. 295–298.

Tiqqun (2018). La hipótesis cibernética. <https://tiqqunim.blogspot.com/2013/01/la-hipotesis-cibernetica.html>. [Consulta: 07/06/2018].

Turkle, S. (2006). "Artificial Intelligence at Fifty: From Building Intelligence to Nurturing Sociabilities". Dartmouth artificial intelligence conference, Hanover, NH, USA, 15 July 2006. <http://www.mit.edu/~sturkle/ai@50.html>. [Consulta: 04/06/2018].

Villani, C. (2018). For a Meaningful Artificial Intelligence. Towards a French and European strategy. <https://www.aiforhumanity.fr/pdfs/MissionVillani_Report_ENG-VF.pdf>. [Consulta: 04/06/2018].

Wiener, N. (1961). Cybernetics: Or Control and Communication in the Animal and the Machine (2nd ed.). New York: MIT Press.

Zuboff, S. (2016, 3 de mayo). "The Secrets of Surveillance Capitalism. Google as Fortune Teller." Frankfurter allgemeine zeitung. <http://www.faz.net/aktuell/feuilleton/debatten/the-digital-debate/shoshana-zuboff-secrets-of-surveillance-capitalism-14103616.html>. [Consulta: 08/04/2018].