Por Paola Cantarini
Nuria Belloso Martín – BIO
Licenciada em Direito pela Universidade de Valladolid, é Professora Titular (Catedrática Acreditada) de Filosofia do Direito. Foi docente na Universidade de Valladolid e na Faculdade de Direito da Universidade de Burgos, e desde 2010 é diretora do Grupo de Inovação Docente-GID UBU em Metodologia Interdisciplinar Jurídico-Político-Filosófica. É responsável acadêmica pelo Programa de Mobilidade Erasmus com a Universitá di Catania (Itália) para os cursos de Direito e Ciência Política. É membro do Grupo de Pesquisa ORDITER da UBU. Coordena o Plano de Ação Tutorial – PAT – dos Professores da Faculdade de Direito. Desde 2011, é Coordenadora do Mestrado Universitário em Direito da Empresa e dos Negócios, atualmente em sua III Edição. Atualmente, é Diretora do Departamento de Direito Público.
Essa entrevista foi realizada originalmente em espanhol no dia 04.06.2023.
Versão original
Paola Cantarini: ¿Podría empezar hablándonos de su principal área de especialización, comentando su trabajo actual relacionado con la IA?
Nuria Belloso Martín: Lo primero, quiero comenzar agradeciendo a la Dra. Paola Cantarini por la posibilidad de conversar en esta entrevista sobre un tema respecto del que ambas, junto con otros muchos investigadores actualmente, compartimos interés como es el impacto de la IA en el Derecho. Aprovecho para felicitar a la Dra. Cantarini por las iniciativas que está desarrollando al respecto tales como la coordenação del grupo de “governança e governança da IA”, en el projeto na USP – IEA, Universidade de São Paulo – Instituto de Estudos Avançados “Understanding IA”, en el seno de cuyos trabajos se va a desarrollar esta entrevista; también la felicito por su trabajo en el Instituto Ethikai así como en la Revista do Instituto Ethikai – ethics as a service. Procedo a presentarme para todos aquéllos que tienen la amabilidad de leer esta entrevista. Soy Catedrática de Filosofía del Derecho en el Departamento de Derecho Público de la Facultad de Derecho de la Universidad de Burgos. Con respecto a mi actividad de gestión, he sido Directora del Departamento de Derecho Público durante una década. Desde 1996 hasta 2016 he coordinado el Programa de Doctorado “Sociedad plural y nuevos retos del Derecho”, del Departamento de Derecho Público. He sido Directora del Máster en Derecho de la empresa y de los negocios. Colaboro asiduamente con Universidades de Latinoamérica y Centroamérica (Brasil, Argentina, México), de Portugal (Universidad de Coimbra) y de Italia (Universidad de Catania y Universidad de Pisa), entre otras.
Con relación a la temática de la Inteligencia Artificial y Derecho, además de haber formado parte de Comités científicos en varios Congresos sobre la materia (Universidad de Sevilla; Universidad de Burgos). En cuanto el ámbito brasileño, me siento muy honrada de ser:
-Miembro del Consejo editorial internacional de la REVISTA ETHICAI https://ethikai.com.br/revista/ de Institutos éticos;
– Miembro del EthicAI Institute -ETHICS IN ARTIFICIAL INTELLIGENCE
En el ámbito de la Inteligencia Artificial y el derecho, me he interesado por el concepto de justicia predictiva (que algunos confunden con una nueva tipología de justicia), sobre los sesgos algorítmicos -como una forma de discriminación en el ámbito de la IA- principalmente los de género, muy dañinos en cuanto contribuyen a perpetuar y potenciar las desigualdades; las noticias falsas y la postverdad, potenciadas también en cuanto que se amparan en esa especie de “servidumbre tecnológica” que debilita la capacidad crítica de los ciudadanos; el derecho fundamental a la protección de datos personales y la problemática de la privacidad en el metaverso; los usos de la IA en la actividad decisional judicial, contrastando el juez-robot frente al juez-humano; la posibilidad de conseguir un algoritmo “justo” indagando sobre fairness y machine learning.
Para mayor concreción, cito aquí algunas de las publicaciones relacionadas con la temática:
– “Algoritmos predictivos al servicio de la justicia: ¿una nueva forma de minimizar el riesgo y la incertidumbre?”, Revista de la Faculdade Minera de Direito. Edição especial em homenagem aos professores Jorge Eduardo Douglas Price e Raffaele De Giorgi, v. 22, nº. 43 (2019), pp.1-31. Programa de Pós-graduação em Direito da Pontifícia Universidade Católica de Minas Gerais (ISSN: 2318-7999) (Qualis A1, Direito CAPES Brasil).
http://periodicos.pucminas.br/index.php/Direito/issue/view/1154
-“Inteligencia artificial en la resolución de asuntos judiciales. Reflexiones desde el paradigma de la justicia predictiva”, Cuadernos Digitales de Formación, nº8, El derecho y la inteligencia artificial, año 2021, Consejo General del Poder Judicial-Universidad de Granada, Directores: Alfonso Peralta Gutiérrez; Leopoldo Salvador Torres López.
-“Los desafíos iusfilosóficos de los usos de la inteligencia artificial en los sistemas judiciales: a propósito de la decisión judicial robótica vs. decisión judicial humana”, en Nuria Belloso Martín (Directora); Sociedad plural y nuevos retos del Derecho, Navarra, Thomson Reuters Aranzadi, 2021.
-“La problemática de los sesgos algorítmicos (con especial referencia a los de género). ¿hacia un derecho a la protección contra los sesgos? en LLano Alonso, Fernando Higinio (Director), Joaquín Garrido Martín y Ramón Valdivia Giménez (Coordinadores), Inteligencia Artificial y Filosofía del Derecho, Murcia, Editorial Laborum S.L., 2022, pp. 45-75. ISBN: 978-84-19145-21-5. Inteligencia Artificial y Filosofía del derecho – Ediciones Laborum
-“Noticias falsas y postverdad en tiempos de Covid: cómo combatir la desinformación”, en SÁNCHEZ BRAVO, Álvaro (Editor), Semper Sapiens. Homenaje al profesor Dr. Felipe Rotondo Tornaría, Madrid, Editora Universitaria Alma Mater de Punto Rojo Libros, 2022, pp. 487-526.
-“La problemática de la privacidad y la protección de datos en el metaverso”, en SÁNCHEZ BRAVO, Álvaro (Editor) LABORUM ET SCIENCIAE. Libro Homenaje a Juan Raso Delgue, Editorial Alma Mater, 2022, pp.441-462.
-“Sobre fairness y machine learning: el algoritmo ¿puede (y debe) ser justo?, Anales de la Cátedra Francisco Suárez, 2023. DOI: https://doi.org/10.30827/acfs.v57i.25250
-“La automatización de la mediación a través de la Inteligencia Artificial: un reto para el estatuto del mediador (mediador-robot vs. mediador-humano)“, Revista electrónica Lex Electronica – Revista del Centre de Recherche en Droit Public (CRDP), Universidad de Montreal, vol.28 (1) 2023, (en prensa) ISSN 1480-1787. https://www.lex-electronica.org/
– “Decisión judicial e inteligencia artificial: el difícil equilibrio entre un uso eficiente y la minimización de riesgos”, en Javier Espinosa de los Monteros; Raffaele de Giorgi; Luca Alvarenga Gontijo (Coords.), Jerarquías enredadas. Vínculos, límites y paradojas de la decisión Judicial. Homenaje a Jorge Douglas Price, México, Derecho Global, 2023 (en prensa).
-Colaboradora, en calidad de revisora, de la Guía para el Diálogo sobre el Diseño y Uso Eficiente, de Calidad y Ético de Herramientas Tecnológicas en la Justicia Civil. Universidad de Granada- Fundación COTEC para la Innovación, 2022.
En el ámbito jurídico español, en los últimos cuatro años, principalmente desde algunas áreas específicas del derecho (Derecho procesal, Derecho constitucional y Filosofía del Derecho) se ha puesto de manifiesto un mayor número de investigaciones, grupos de investigación y celebración de Congresos sobre esta temática. Pero no es sólo el ámbito académico sino también el de la abogacía y el judicial. Por ejemplo, la pasada semana he participado de uno de los Cursos de Verano que organiza la Universidad Complutense de Madrid junto con la Asociación profesional de la Magistratura cuya temática versaba sobre “La Administración de justicia ante el espejo en el siglo XXI”, dirigido por el Magistrado D. Juan Ángel Moreno García. En el panel en el que he participado, llevaba por título “Inteligencia artificical, big data y administración de justicia”.
El Derecho es la piedra angular que delimita los usos de la Inteligencia Artificial en todas las áreas en que están trabajando (Educación Sanidad, Industria, Investigación, Política, etc.). Junto a la legislación, la ética es otro de los pilares en los que se asientan las aplicaciones y avances de la IA. Como es conocido, “los mismos elementos y técnicas que potencian los beneficios socioeconómicos de la IA también pueden dar lugar a nuevos riesgos o consecuencias negativas para personas concretas o la sociedad en su conjunto” (Exposición de Motivos de Propuesta de Reglamento Europeo de IA). De ahí que si bien hay que aprovechar la ayuda y auxilio para el desarrollo de muchas tareas en el ámbito jurídico, también hay que estar alerta con respecto a los riesgos y amenazas que conlleva.
La aplicación de la IA al ámbito jurídico se plasma en varias actividades, entre las cuales:
-herramientas de análisis predictivo (ROSS Intelligence, iManage RAVN, eBrevia, LawGeex, Legaltech (Vlex Analyticis, Jurimetría y Tirant Analytics, entre otras) que trabajan con la estandarización de sentencias y condenas y que permiten a los letrados diseñar sus estrategias (tanto de defensa como de ataque) y prever sus posibilidades de éxito;
-programas de la denominada “Justicia predictiva” y en algunos programas que ya se están aplicando en varios tribunales (Equivant-Compas en Estados Unidos, Prometea en Argentina, Víctor y Sócrates en Brasil, Pretoria en Colombia);
-programas específicos de IA para uso policial, entre otros (como VIOGEN en España, para el ámbito de violencia de género; el programa Veripol, que sirve para detectar denuncias falsas en comisaría con un índice de acierto del 91%. Sirve para detectar, por ejemplo, las palabras más empleadas en testimonios inventados gracias al análisis de cientos de textos; o el polémico programa ABIS, sistema automático de identificación biométrica, que utiliza IA para identificar criminales a partir de una imagen).
La Inteligencia Artificial ha llegado para quedarse y no se puede mantener una actitud apocalíptica con respecto a la misma sino establecer las debidas precauciones que mitiguen los numerosos problemas que también conllevan.
En mi propia Universidad, desde el Vicerrectorado de Investigación, se va a impulsar la investigación en inteligencia artificial (IA) desde un aspecto transdisciplinar. En concreto, se pretende trabajar en las aplicaciones y el impacto de la IA en Educación, Industria, Sanidad, Investigación e innovación y Sociedad, incluida participación ciudadana, organizaciones no gubernamentales y tercer sector y, por supuesto, el Derecho.
Asimismo, aprovecho la ocasión para invitarles a asistir al II Congreso Internacional sobre Derechos Humanos, Violencia Digital e Inteligencia Artificial: amenazas, desafíos y retos, que se celebrará en la Facultad de Derecho de la Universidad de Burgos entre los días 9 y 10 de octubre. https://www2.ubu.es/ii_cidhvdia/es/.
Paola Cantarini: En su opinión, ¿existiría la necesidad y, en consecuencia, también la posibilidad de una ley mundial destinada a regular la IA a nivel global, aunque sólo fuera estableciendo unas normas mínimas?
Nuria Belloso Martín: El famoso dicho “Estados Unidos crea, China copia y Europa regula”, en buena parte viene a resumir muy bien las prácticas se llevan realizando desde hace años. Estados Unidos y China están invirtiendo un presupuesto ingente en investigación e innovación en inteligencia artificial, y no muestran gran preocupación por poner límites y, mucho menos, por establecer unos marcos o directrices éticas. Basta pensar en el desarrollo militar de proyectos sobre la potenciación cognitiva para entender que su finalidad es la consecución de resultados.
La Unión Europea, a diferencia de otros Estados, como China y Estados Unidos que son más permisivos, se ha interesado por establecer límites a la IA de manera que derechos fundamentales y valores jurídicos, no se vean vulnerados. El Informe 14 (2011) del Consejo Consultivo de Jueces Europeos (CCJE) ya consideraba que la informatización ayuda a los tribunales, no sólo a racionalizar los expedientes, sino que también facilita el registro y seguimiento de los asuntos.
Así pues, la Unión Europea ha legislado y emitido Informes de Comités de expertos sobre la IA, entre otros:
-El Informe 14 (2011) del Consejo Consultivo de Jueces Europeos (CCJE) ya consideraba que la informatización ayuda a los tribunales, no sólo a racionalizar los expedientes, sino que también facilita el registro y seguimiento de los asuntos.
-El uso de la inteligencia artificial en los sistemas judiciales ha sido objeto de estudio por parte de la Comisión Europea para la Eficiencia de la Justicia (CEPEJ)[1] que, en diciembre de 2018, adoptó la Carta ética europea sobre el uso de la inteligencia artificial en los sistemas judiciales y su entorno (European Ethical Charter on the Use of Artificial Intelligence in Judicial Systems and their environment). Grupo de expertos de alto nivel sobre IA, Directrices éticas para una IA fiable, 2019.
– Comisión Europea, Libro Blanco sobre la inteligencia artificial: un enfoque europeo orientado a la excelencia y la confianza, COM (2020) 65 final, 2020.
-En noviembre de 2021, los 193 Estados miembros de la Conferencia General de la UNESCO adoptaron la Recomendación sobre la Ética de la Inteligencia Artificial, el primer instrumento normativo mundial sobre el tema.
– Propuesta de REGLAMENTO DEL PARLAMENTO EUROPEO Y DEL CONSEJO POR EL QUE SE ESTABLECEN NORMAS ARMONIZADAS EN MATERIA DE INTELIGENCIA ARTIFICIAL (LEY DE INTELIGENCIA ARTIFICIAL) Y SE MODIFICAN DETERMINADOS ACTOS LEGISLATIVOS DE LA UNIÓN. COM/2021/206 final
(https://eur-lex.europa.eu/legal-content/ES/TXT/?uri=celex%3A52021PC0206
Esta iniciativa legislativa (IA Act) abarca todo tipo de sistemas de IA en todos los sectores excepto el militar. El principal punto de partida de la propuesta de ley es la clasificación de los sistemas de IA según el nivel de riesgo que implican. En concreto, la propuesta se basa en una jerarquía que distingue entre riesgos inaceptables, altos, limitados y mínimos. Los dos primeros son el objeto principal de la regulación.
Como parte de la categoría de riesgos inaceptables, quedan prohibidas prácticas que supongan una amenaza clara para la seguridad, los medios de subsistencia y los derechos de las personas. Por el momento, tres prácticas se han considerado inaceptables por ir en contra de los valores europeos: alterar el comportamiento humano para causar daño; evaluar y clasificar personas según su conducta social; y usar sistemas de identificación biométrica remota en tiempo real en espacios públicos, salvo en casos de emergencia.
Por otro lado, los sistemas de alto riesgo son aquellos con el potencial de causar un mayor impacto por desplegarse en sectores críticos, incluyendo las infraestructuras esenciales, la educación, el empleo, los servicios públicos y privados esenciales, la aplicación de la ley y la gestión de fronteras. En este caso, varios requerimientos pesan sobre el desarrollo e implementación de todos los productos.
El Reglamento prohíbe prácticas consideradas inaceptables y estipula requisitos para sistemas de IA en sectores críticos. Estas obligaciones consisten en un sistema de gestión de riesgos, un sistema de gestión de calidad y un seguimiento posterior a la comercialización. La ejecución de la legislación será probada por primera vez en España, en un sandbox regulatorio de aproximadamente tres años.
– Enmiendas a la IA Act (revisión de la propuesta de Reglamento de IA), aprobadas por el Parlamento Europeo y publicadas el 9 de mayo de 2023 (se han prohibido algunas prácticas, tales como la vigilancia biométrica, el reconocimiento de emociones por la IA y los sistemas policiales predictivos). La finalidad ha sido la de incorporar cautelas con relación a las innovaciones tecnológicas habidas en este sector a lo largo de los dos últimos años, intentando que el Reglamento que se promulgue no quede obsoleto antes de su aprobación. En este sentido, en esta revisión de la propuesta de Reglamento, se han prohibido algunas prácticas, tales como la vigilancia biométrica, el reconocimiento de emociones por IA y los sistemas policiales predictivos. De forma específica, se ha establecido que las IA generativas tendrán requerimientos adicionales de transparencia. Es decir, en esta última versión del texto del Reglamento, los parlamentarios han incluido un nuevo concepto, el de modelos fundacionales, correspondiente a lo que llamamos las IA generativas, que viene a cubrir aplicaciones como ChatGPT o Stable Diffusion.
Pasando del ámbito de la Unión Europea al ámbito nacional de España, en el marco de la Estrategia Española Nacional de Inteligencia Artificial -ENIA-y de la agenda España Digital 2026, se han ido dando pasos. Uno de ellos ha sido la creación de la Agencia Española de Supervisión de la Inteligencia Artificial (AESIA), con sede en La Coruña; otro, la “Carta de derechos digitales”, adoptada en julio de 2021 por el Gobierno de España. Esta Carta de derechos digitales se inscribe en el contexto de la citada Estrategia Española Nacional de Inteligencia Artificial -ENIA- de 2020, que apostaba, en su punto seis, por “Establecer un marco ético y normativo que refuerce la protección de los derechos individuales y colectivos, a efectos de garantizar la inclusión y el bienestar social”.
Aunque la Carta no tiene carácter normativo, se presenta como la línea a seguir en la legislación y políticas públicas. La Carta hace especial incidencia con respecto a los derechos en entornos específicos, como es el caso los derechos ante la Inteligencia artificial. En el Capítulo XXV, titulado “Derechos ante la inteligencia artificial”, en el apartado primero, defiende un enfoque centrado en la persona y en su inalienable dignidad; en el apartado segundo, con respecto al desarrollo y ciclo de vida de los sistemas de inteligencia artificial, preceptúa el derecho a la no discriminación: “a) Se deberá garantizar el derecho a la no discriminación cualquiera que fuera su origen, causa o naturaleza, en relación con las decisiones, uso de datos y procesos basados en inteligencia Artificial”. Si la finalidad planteada es clara, el problema radica en el cómo conseguir esa no discriminación. De ahí que, “b) Se establecerán condiciones de transparencia, auditabilidad, explicabilidad, trazabilidad, supervisión humana y gobernanza. En todo caso, la información facilitada deberá ser accesible y comprensible”. Y se completa con lo establecido en el apartado tercero, según el cual “Las personas tienen derecho a solicitar una supervisión e intervención humana y a impugnar las decisiones automatizadas tomadas por sistemas de inteligencia artificial que produzcan efectos en su esfera personal y patrimonial”.
La Carta contempla veintiséis derechos. Contiene un apartado dedicado a los derechos digitales en el empleo de las neurotecnologías. Concretamente, en el último Título de la Carta, el XXVI, bajo el rótulo “Derechos digitales en el empleo de las neurotecnologías”, regula las condiciones, límites y garantías de implantación y empleo en las personas de las neurotecnologías, término sobre el que no hay una definición clara y que, por otra parte, ha dado lugar a los denominados “neuroderechos”, nuevos derechos humanos que sería necesario cautelar producto del desarrollo de tecnologías invasivas, sobre los que también se ha abierto un debate.
Una vez expuesto lo anterior y retomando la pregunta respecto de sí considero necesaria una Ley de mínimos mundial que regulara la IA, mi respuesta es afirmativa. Sin embargo, considero que será imposible alcanzarla. Intereses diversos, lobbies que presionan, situación económica muy diferente entre países, al igual que nivel y posibilidades tecnológicas e, incluso, distintas concepciones sobre los derechos humanos, revela que llegar a un consenso mundial, aunque sea de mínimos, es una vía, por ahora, impracticable.
A nivel mundial, desde un enfoque ético, sí considero más plausible llegar a consensuar unos mínimos. Pero como siempre serán meras recomendaciones, quedando cada Estado en libertad de seguirlo o no, según sus intereses, en la práctica no supondrá ninguna limitación. De hecho, en noviembre de 2021, los 193 Estados miembros de la Conferencia General de la UNESCO adoptaron la Recomendación sobre la Ética de la Inteligencia Artificial, el primer instrumento normativo mundial sobre el tema. No solo protegerá, sino que también promoverá los derechos humanos y la dignidad humana, y será una brújula guía ética y una base normativa global que permitirá construir un sólido respeto por el estado de derecho en el mundo digital. Pero se trata de soft law y no de hard law.
Paola Cantarini: ¿Cómo sería la llamada “compensación” entre innovación y regulación? ¿O la regulación por sí misma impediría o comprometería la innovación y la competencia internacional? Según Daniel SOLOVE, en su libro Nothing to hide. The false tradeoff between privacy and security (Yale University Press, 2011), esto sería un error de concepto. Podría comentar este punto?
Nuria Belloso Martín: La regulación no tiene por qué impedir la innovación, pero sí que limita la innovación. Este dilema no resulta novedoso si se atiende a las relaciones del ser humano con la técnica a lo largo de la historia. La filosofía no ha ignorado la tecnología, la cual es relevante no solo como fuerza económica sino también como fuerza cultural. De hecho, durante los últimos dos siglos, cuando emergió gradualmente como disciplina, la filosofía de la tecnología se ha preocupado principalmente por el significado de la tecnología para la sociedad y la cultura y su impacto en ella, más que por la tecnología misma. La reflexión filosófica sobre la tecnología -confluencia de la ciencia (logos) y la técnica- es tan antigua como la filosofía misma. El testimonio más antiguo se puede situar en la antigua Grecia (Demócrito, Heráclito, Platón, Aristóteles). El Renacimiento condujo a una mayor apreciación de los seres humanos y sus esfuerzos creativos, incluida la tecnología. Como resultado, aumentó la reflexión filosófica sobre la tecnología y su impacto en la sociedad. Generalmente se considera a Francis Bacon como el primer autor moderno en proponer tal reflexión. Su opinión, expresada en su fantasía Nueva Atlántida (1627), fue abrumadoramente positiva[1]. Esta actitud positiva se prolongó hasta bien entrado el siglo XIX, incorporando el primer medio siglo de la revolución industrial. Por ejemplo, Karl Marx no condenó la máquina de vapor o la hilandería por los vicios del modo de producción burgués; por el contrario, consideró que la tecnología en curso e innovación tecnológica eran pasos necesarios hacia las etapas más felices del socialismo y el comunismo del futuro. Los filósofos de la tecnología de las humanidades tienden a dar por sentado el fenómeno de la tecnología en sí; lo tratan como una “caja negra”, un fenómeno dado, unitario, monolítico e ineludible. Su interés no es tanto analizar y comprender este fenómeno en sí, sino comprender sus relaciones con la moralidad (Jonas, Gehlen), con la política (Winner), con la estructura de la sociedad (Mumford), con la cultura humana (Ellul), con la condición humana (Hannah Arendt), o con la metafísica (Heidegger). En esto, estos filósofos son casi todos abiertamente críticos con la tecnología: considerando todas las cosas, tienden a tener un juicio negativo de la forma en que la tecnología ha afectado a la sociedad y la cultura humanas, o al menos señalan para su consideración los efectos negativos de la tecnología en los seres humanos.
Al igual que se ha constatado que puede hablarse de una filosofía de la tecnología, cabe preguntarse si también podría hablarse de un Derecho de la tecnología. En un trabajo del profesor Frosini, traducido al español por el profesor F. Llano, ya se citaba a Lee Loevinger cuando en un artículo que data de 1939, titulado Jurimetrics, ya aventuraba una nueva relación entre el jurista y una máquina que acaba de surgir, la computadora. Ello le permitía a Frosini aseverar que, desde entonces, se había iniciado “el proceso de metamorfosis de la figura del jurista como humanista en la del jurista tecnológico”. Qué duda cabe que, el jurista, desde entonces, convive y lidia con los problemas jurídicos que derivan de esta realidad tecnológica. Humanismo, tecnología y Derecho están llamados a caminar de la mano, aferrándose aún más fuertemente en este siglo XXI
Una vez hecha esta digresión sobre la relación ser humano/filosofía/tecnología, retomo la pregunta. El binomio privacidad/seguridad que ya fue objeto de análisis por Solove en 2011, a raíz de las nuevas tecnologías de la información y la comunicación, y la irrupción de la IA, resulta cada vez más difícil de conseguir. Cuando actualmente se pregunta por qué importa la privacidad, en algún momento se acabará cuestionando el lema “Nada que ocultar”. protagonistas de procesos en curso (Julian Assange, Edward Snowden), periodistas (Glenn Greenwald, Natalia Zuazo, Marta Peirano) y algunos académicos (Daniel Solove), entre otros, han atacado este lema. Como explica L. Domínguez Rubio, “El argumento «Nada que ocultar» sostiene que los programas de acumulación masiva de datos no constituyen un serio problema social ni personal. El argumento toma la forma de un dilema: si estos programas descubren actividades ilegales, cumplen su objetivo, ya que la persona que comete tales actividades no tiene derecho a mantenerlas en privado. Mientras tanto, quienes no usen las distintas plataformas para llevar a cabo actividades ilícitas no deberían tener inconveniente en que su información inocua sea filtrada sistematicamente”.
En el contexto en el que nos encontramos, nunca hemos tenido a nuestro alcance tanta información y nunca hemos estado más desinformados. Ciudadanos que, dominados por una ceguera como la que describía Saramago en la obra de ese mismo título, buscaban a tientas resquicios de luz, principalmente a través de internet y las redes sociales. El no-saber ha impulsado una búsqueda de respuestas a través de las grandes plataformas. En la línea de Byung-Chul Han, que ha analizado las diferencias entre la “masa clásica” y la nueva masa, a la que denomina “enjambre digital”, también J. Mª. Lasalle alza la voz de alarma con respecto a que los seres humanos estén derivando hacia una especie de enjambre masivo sin capacidad crítica y entregado al consumo de aplicaciones tecnológicas dentro de un flujo asfixiante de información que crece exponencialmente.
Las noticias falsas, bulos, información tergiversada (las denominadas fake news), que, de forma deliberada inducen a error con la intención de manipular a la opinión pública, acaban formando un conglomerado con la información verdadera, provocando en el ciudadano-consumidor, no sólo una perplejidad ante la difusión viral de noticas falsas sino llevándole a adoptar actuaciones equivocadas a partir de esa alteración de la verdad que da por buena, porque parte de desinformaciones.
El derecho a “comunicar o recibir libremente información veraz” sin que “pueda restringirse mediante ningún tipo de censura previa” es un derecho constitucional establecido en el artículo 20 de la Carta Magna española. La situación actual lleva a pensar si el hecho de que el ciudadano no exija veracidad a la información, si la consulta que hace de las noticias es a modo de entretenimiento, anulando cualquier perspectiva crítica al respecto, implica un consentimiento implícito porque resulta más cómodo “dejarse engañar”. Al fin y al cabo, así no se obliga a pensar, a cuestionar, a rebelarse, creando un magma de creciente tolerancia al engaño y a la mentira. Relativismo y postverdad son grandes enemigos de la verdad y la transparencia, y que afectan, de manera silenciosa, a derechos y libertades fundamentales, pilares básicos de toda democracia. La desinformación, entendida como un contenido informativo falso que se crea y difunde de forma deliberada, nos traslada -en cierta forma- a la distopía que Orwell describía en su novela 1984.
Al relativismo cognitivo, unido a corrientes de pensamiento tras las que se esconden intereses nebulosos, se ha sumado la cultura digital, provocando una exacerbación de la cultura de la desinformación. La psicopolítica digital, el ciberleviatán y otras construcciones de filósofos, politólogos y juristas, vienen advirtiendo de los riesgos que, junto a las también innegables ventajas que tiene el mundo digital, conllevan unas amenazas a las democracias y a los derechos fundamentales, por lo que resulta necesario adoptar las cautelas precisas (tecnológicas, jurídicas y éticas). En esta línea, la socióloga Shoshana Zuboff se ha referido al capitalismo de la vigilancia o lo que en el sistema chino están impulsando con el sistema de puntaje a través del crédito social.
Paola Cantarini: Tomando como ejemplo paradigmático en el ámbito de la protección de datos la LIA – Legitimate Interest Assessment, prevista en la LGPD brsileña y en el GDPR de la Unión Europea como documento de obligado cumplimiento, cuando se utiliza la base jurídica para el tratamiento de datos personales, esto es, el interés legítimo, donde existe, por ejemplo, un análisis/test de proporcionalidad, ¿entiende que sería posible crear un “marco” dirigido a la protección de los derechos fundamentales incardinado en un documento específico, la AIIA – Algorithmic Impact Assessment? Esto en el sentido de establecer, tras un análisis mediante ponderación, medidas de mitigación de riesgos para tales derechos, que sean adecuadas, necesarias y proporcionales en sentido estricto.
Nuria Belloso Martín: La Inteligencia Artificial funciona a partir de los datos y, actualmente, estamos en una sociedad datificada. La producción de datos a nivel global crece de manera exponencial cada año y arroja cifras muy altas que instigan a desarrollar la economía del dato. La economía moderna se basa cada vez más en el uso y transferencia de datos personales, y los individuos tienden a compartir más fácilmente estos datos si hay un clima de confianza mutua. El hecho de que haya unas normas sólidas que protejan los datos personales animará al público a compartir sus datos, lo que a su vez beneficiará a la economía. Aunque una parte muy importante del planeta siga desconectada, la hiperconexión de más de la mitad del globo parece justificar la digitalización masiva (el dataísmo). Somos conscientes de la importancia de potenciar los derechos digitales y apostamos por crear espacios de compartición que sean respetuosos con ellos.
En la Unión Europea, el Parlamento Europeo y el Consejo aprobaron el Reglamento (UE) 2016/679 del Parlamento europeo y del Consejo, de 27 de abril de 2016, Reglamento General de Protección de Datos (RGPD) con la aspiración de unificar los regímenes de todos los Estados Miembros en materia de protección de datos. Este Reglamento entró en vigor el día 25 de mayo de 2016 y, en España, se publicó la Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales y garantía de los derechos digitales (LOPDGDD).
El RGPD, en su Considerando 1 establece que “La protección de las personas físicas en relación con el tratamiento de datos personales es un derecho fundamental”. El artículo 8, apartado 1, de la Carta de los Derechos Fundamentales de la Unión Europea y el artículo 16, apartado 1, del Tratado de Funcionamiento de la Unión Europea (TFUE) establecen que toda persona tiene derecho a la protección de los datos de carácter personal que le conciernan.
Con la adopción de este Reglamento se buscaba una mayor seguridad jurídica para las empresas, así como mejores estándares de protección de los datos personales. El objetivo final era eliminar obstáculos al comercio transfronterizo, facilitando la expansión de negocios a lo largo de la Unión Europea con una única norma que regulara la protección de datos.
Las transferencias de datos cada vez más frecuentes, y un mundo globalizado que pide simplificar el poder hacer negocios en diferentes países, era importante llegar a un consenso para poder aprobar una norma que se adaptara mejor a las circunstancias. Es más, incluso las grandes compañías tecnológicas estadounidenses, en especial Microsoft pero también Google o Apple, han respaldado el RGPD –EDL 2016/48900– ya que son conscientes de la necesidad de cumplir con su responsabilidad (principio de accountability en inglés, uno de los grandes principios del RGPD) si se pretende retener la confianza de los usuarios
Cualquier entorno virtual está por diseño plenamente datificado y permite tratar un espectro más amplio de información relativa a actividades humanas. Sirva de ejemplo que la diversidad de datos biométricos recogidos aumenta a través de los interfaces neuronales, aunque lo más interesante es la información que se está buscando de esos datos biométricos. El uso de dispositivos en este entorno digital implica la recogida de cantidades masivas de datos personales de los participantes, datos biométricos, emocionales o fisiológicos, entre otros, los cuales son objeto de protección por el Reglamento General de Protección de Datos (RGPD), además del derecho constitucional la protección de los datos personales
Las recientes Sentencias del Tribunal de Justicia de la Unión Europea también han ido marcando criterios que estarán recogidos en la nueva legislación: el derecho al olvido, la aplicación territorial a quienes realicen tratamiento de datos de ciudadanos comunitarios, el equilibrio con otros derechos como el de libertad de expresión, entre otros. La nomenclatura utilizada sigue siendo la misma, pero se avanza en las garantías del interesado (es decir el titular de los datos) y en su protección
La protección de los datos personales se convierte en algo más que un cumplimiento formal de obligaciones legales llegando a ser una verdadera cultura de la privacidad que afecta a las organizaciones y que evalúa el riesgo teniendo en cuenta otros muchos factores que afectan a la privacidad y a la confidencialidad de los datos.
El art. 4 del RGPD nos define exactamente qué son datos personales y dice: “«datos personales»: toda información sobre una persona física identificada o identificable («el interesado»); se considerará persona física identificable toda persona cuya identidad pueda determinarse, directa o indirectamente, en particular mediante un identificador, como por ejemplo un nombre, un número de identificación, datos de localización, un identificador en línea o uno o varios elementos propios de la identidad física, fisiológica, genética, psíquica, económica, cultural o social de dicha persona”
Y también es importante saber qué es el tratamiento de datos personales definido en el mismo artículo: «tratamiento»: cualquier operación o conjunto de operaciones realizadas sobre datos personales o conjuntos de datos personales, ya sea por procedimientos automatizados o no, como la recogida, registro, organización, estructuración, conservación, adaptación o modificación, extracción, consulta, utilización, comunicación por transmisión, difusión o cualquier otra forma de habilitación de acceso, cotejo o interconexión, limitación, supresión o destrucción”.
Los derechos contemplados son aquellos a través de los cuales una persona física puede ejercer el control sobre sus datos personales. Su ejercicio es personalísimo. Es decir, que sólo pueden ser ejercidos por el titular de los datos, por su representante legal o por un representante acreditado, de forma que el responsable del fichero puede denegar estos derechos cuando la solicitud sea formulada por persona distinta del afectado y no se acredite que actúa en su representación.
En concreto son: i) Derecho de Acceso (derecho del afectado a obtener información sobre si sus propios datos de carácter personal están siendo objeto de tratamiento, la finalidad del tratamiento que, en su caso, se esté realizando, así como la información disponible sobre el origen de dichos datos y las comunicaciones realizadas o previstas de los mismos); ii) Derecho de Rectificación: consiste en la potestad del afectado a que se modifiquen los datos que resulten ser inexactos o incompletos; iii) Derecho de Cancelación (ahora, supresión de datos personales), es el derecho de cancelación de datos personales es el derecho del afectado a que se supriman los datos que resulten ser inadecuados o excesivos (de aquí surge el llamado «derecho al olvido«); iv) Derecho de Oposición: consiste en el derecho del afectado a que no se lleve a cabo el tratamiento de sus datos de carácter personal o se cese en el mismo en los supuestos; v) Derecho de portabilidad; vi) Derecho de limitación del tratamento.
Ahora bien, el RGPD presenta algunas carencias y déficit de regulación con respecto a la adecuada protección de Data Privacy:
-El consentimiento es uno de los requisitos evidentemente necesarios para poder realizar un tratamiento de datos, pero el uso de todos los datos de una persona requiere mucho más que un simple consentimiento legal con una amalgama contractual de cientos o miles de páginas que debería de tener por la complejidad del sistema.
-El RGPD y el concepto que tiene acerca de datos personales en lugar de Data Privacy es un fallo y error de base que necesita ser solventado. Se limita a una clasificación tradicional de Data Privacy con un problema básico en lo que respecta su naturaleza jurídica al confundir Data Privacy con Datos Personales y omitir esta primera que es la verdadera esencia de cualquier sistema protector de datos, el Data Privacy.
Aprovecho para poner en valor la función que desarrollan los Delegados de Protección de Datos, contribuyendo a gestionar y resolver conflictos que afectan a esta cuestión.
Retomado la pregunta que se me ha formulado, la aplicación de la base legitimadora del denominado “interés legítimo” que contiene el RGPD sobre el tratamiento de datos, el legislador europeo se caracteriza por un alto grado de flexibilidad en la aplicación de este supuesto de licitud de los tratamientos de datos personales. Se trata de atribuir al responsable del tratamiento la responsabilidad de efectuar la correspondiente ponderación de intereses, sin perjuicio de su ulterior control por la Agencia y, en su caso, por las autoridades judiciales. En cualquier caso, cada vez más hay tratamiento de datos habituales como en los casos de videovigilancia o de solvencia patrimonial (“morosidad”). En estos supuestos, los responsables no precisarían de acudir a la regla de ponderación (se entiende que la Ley la habrá verificado con anterioridad. Se trata así de otorgar seguridad jurídica a los operadores.
Sobre si sería posible crear un “marco” dirigido a la protección de los derechos fundamentales incardinado en un documento específico, la AIIA – Algorithmic Impact Assessment, es decir, una especie de “evaluación del impacto algorítmico”, considero que se trata de una propuesta innovadora y necesaria. Desde luego, resulta necesario un documento específico, una AIIA – Algorithmic Impact Assessmen que sirviera para evaluar el estado de la cuestión y ofrecer propuestas de mitigación de riesgos para tales derechos, Sin embargo, al menos a nivel de la Unión Europea, no se encuentra en la agenda de las cuestiones que preocupen actualmente. Como un paso ulterior, una vez se apruebe la propuesta de Reglamento, podría ser viable.
Paola Cantarini: ¿Qué se entiende por gobernanza de la IA? Qué relación ve entre innovación, tecnología y derecho?
Nuria Belloso Martín: La IA presenta componentes técnicos, éticos y jurídicos. Suelen primar los primeros, se invoca mucho a los segundos y se presta escasa atención a los terceros. En la relación IA-Derecho, hay que distinguir dos cuestiones: por una parte, la aplicación de la IA al estudio y la práctica del derecho y, por otra, la regulación de la IA.
Esta regulación de la IA se proyecta en la gobernanza de la IA a modo de estrategias o planes de acción sobre la materia. Como premisa, hay que advertir sobre los peligros de sustituir la gobernanza de la tecnología por una gobernanza a través de la tecnología, es decir, una gobernanza a través de las máquinas. Términos como la “justicia algorítmica”, “derecho al debido proceso tecnológico”, democracia a través de los algoritmos, etc.
La mayoría de las iniciativas se focalizan en estrategias suprarregionales (como en la Unión Europea) o nacionales (Estados Unidos) pero no a nivel mundial que permita afrontar los desafíos globalizados que implica la IA.
En el plano internacional, como primera providencia, no hay una definición universal o
generalmente aceptada de IA. En el ámbito de Naciones Unidas, numerosos organismos y agencias están trabajando sobre la aplicación de la IA en sectores y respecto de marcos normativos específicos y colaborando en el contexto de la AI for Good Global Summit. Esta plataforma liderada por la Unión Internacional de Telecomunicaciones (UIT) incluye cerca de una cuarentena de organismos y agencias. En su edición de septiembre de 2019, se actualizó el Compendio sobre Activities on Artificial Intelligence donde se recogen pormenorizadamente las actividades realizadas en 36 ámbitos normativos o institucionales concretos.
El Grupo de Alto Nivel sobre Cooperación Digital ha presentado una interesante propuesta de gobernanza ubicada dentro del sistema de Naciones Unidas que ha de ser “inclusive (of multiple stakeholders), anticipatory (of fast-progressing AI technologies and impacts), responsive (to the rapidly evolving technology and its uses) y reflexiva”. Esta propuesta defiende la aplicación de los principios de Derecho internacional y plantea tres posibles modalidades de gestión: una agencia especializada de la ONU; una organización vinculada como la OMC; o un órgano subsidiario de la Asamblea General.
A nivel de la Unión Europea, sigue faltando el consenso básico esencial para definir una política de IA. En la parte orgánica, además de las instituciones y órganos generales de la UE, se han establecido el Grupo Europeo de Ética en Ciencia y Nuevas Tecnologías; el proyecto AI4People; el Grupo de Expertos de Alto Nivel sobre Inteligencia Artificial1; y la Alianza Europea para IA. Por su parte, el Consejo de Europa se está centrando en el estudio de la IA desde la perspectiva de los derechos humanos, la democracia y el Estado de Derecho y en su modelo de regulación.
Y, por último, a nivel nacional en un ámbito comparado, en un estudio publicado en julio de 2019 se advierte que solo 41 de los Estados miembros de Naciones Unidas han mostrado algún tipo de intención o de interés en la preparación de medidas de gobernanza de la IA y, entre ellos, únicamente 19 han adoptado una estrategia o un plan nacional[2]. Pocos pertenecen a lo que se ha dado en denominar sistemas regionales “marginados” de la IA: Centro y Sur de América, Europa del Este, África y Centro y Sudeste de Asia. Como antes he mencionado, Estados Unidos, China y la Unión Europea (UE) protagonizan el debate sobre la IA a nivel mundial, pero cada uno de ellos traslada un modelo propio y diferente de desarrollo y comprensión de la misma. El rédito económico, el control de los ciudadanos y la visión humano-céntrica son, respectivamente, los parámetros que definen cada uno de esos modelos.
Este tríptico formado por la escasez de medidas nacionales, el carácter sectorial y fragmentado de las universales y la proliferación de las interregionales o regionales protagonizadas por países desarrollados pone de manifiesto un problema principal: una monopolización del debate sobre la IA que podría conducir al establecimiento de normas, así como de principios éticos, que respondiesen solo o prioritariamente a los intereses y necesidades de los implicados en el mismo y no, como debería ser, a los de la sociedad internacional en su conjunto.
Considero que una estrategia que abordara la gobernanza de la IA, como apunta Robles Carrillo, desde el plano institucional, debería de: evitar la sectorialización o la monopolización del debate por parte de los países más desarrollados y diseñar mecanismos de coordinación o transferencia tecnológica para neutralizar, en la medida de lo posible, los efectos de esta tecnología en el crecimiento de la brecha digital entre países desarrollados y no desarrollados. Tal vez la ONU fuera un órgano capaz de aunar un cierto grado de consenso al respecto. Y, desde un plano normativo, habría que adoptar un enfoque proactivo y abierto, no formalista, para la organización de la gobernanza sobre la base del Derecho internacional en vigor donde existen normas imperativas y obligatorias aplicables a la IA.
Paola Cantarini: En la Bienal de Arquitectura de Venecia de este año (2023) el tema del pabellón brasileño es Tierra y ancestralidad, es decir, descolonización (“Descolonizar el canon”, pabellón “Tierra”). ¿Sería posible escapar de esta lógica colonialista, también presente en las áreas de IA/datos?
Nuria Belloso Martín: Tal y como acabo de mencionar en la respuesta de la pregunta anterior, la brecha digital y tecnológica entre los países del Norte y los del Sur global, tiende a hacerse más amplia cada vez. No me gusta mucho el término colonialismo, posiblemente porque lo relaciona con la acusación que se ha hecho a los españoles por la conquista y colonización del Nuevo Mundo. Se han vertido acusaciones injustas y apoyadas en una “leyenda negra” interesada e indocumentada. Los datos históricos están ahí, y poco se ha valorado la cultura y Universidades que se crearon en el Nuevo Mundo. No me detengo más en este aspecto que no es el tema a tratar ahora.
Como acertadamente se expresó en el “Manifesto – por uma IA inclusiva, democrática e decolonial em favor da diversidade epistêmica dos países do Sul Global – mais transparência, explicabilidade, prestação de contas, transdisciplinaridade e multiculturalidade no desenvolvimento de uma IA de confiança, em infraestruturas livres e compartilhadas”, del Instituto Ethikai, promovida por la Dra. Paola Cantarini “os aspectos da inclusão, da diversidade, e do respeito dos direitos fundamentais e humanos, em todos os níveis, individual, coletivo e social, sendo necessária a busca de uma proporcionalidade entre se garantir o desenvolvimento tecnológico e também garantir a proteção de tais direitos, assim reduzindo as externalidades negativas, e considerando sobretudo o contexto sócio-cultural do país e do usuário em questão”.
Brasil está también dando pasos en cuanto a la IA, por ejemplo, con relación a los neuroderechos. Destaco aquí el Proyecto de Ley de Brasil para proteger los datos neuronales en el marco de la Ley General de Protección de Datos, es decir, se utiliza una vía diferente a la española, encaminada a la protección de unos mismos derechos. Siguiendo el modelo de Chile, como explica el autor do proyecto, el diputado Carlos Henrique Gaguim (DEM-TO) en Brasil se está trabajando en el Projeto de Lei 1229/21, que crea reglas para garantizar la protección de datos del sistema nervioso central, definidos como “dados neurais, obtidos a partir de qualquer sistema eletrônico, óptico ou magnético”. La propuesta, que se tramita en la Câmara de los Diputados, modifica la “Lei Geral de Proteção de Dados Pessoais (LGPD)”. El texto define dato neuronal como “qualquer informação obtida, direta ou indiretamente, da atividade do sistema nervoso central do paciente, mediante interações cérebro-computador, a exemplo de equipamentos auditivos e ortopédicos que operam por meio de sinais coletados diretamente do cerebro”. Esos datos, según la propusta, pasam a integrar una categoria especial de datos sensibles relacionados con la salud y demandan mayor protección.
El proyecto establece que el tratamiento de los datos neuronales sólo se realizará con el consentimiento del paciente o del responsable del mismo. En el formulario de consentimiento, se debe informar claramente al paciente sobre los posibles efectos físicos, cognitivos y emocionales del tratamiento, además de las contraindicaciones y normas relacionadas con la privacidad y la seguridad de la información. Se destaca que los datos neuronales son la última frontera de la privacidad humana, requiriendo una nueva estructura regulatoria que asegure, como mínimo: el derecho a la privacidad mental, la identidad, la autonomía personal y el libre albedrío. Si bien la propuesta está inspirada en el proyecto de ley chileno, presenta una diferencia importante. Allí se propuso un proyecto de ley autonómico para abordar el tema. Aquí, la idea inicial es cuidar los neuroderechos en la Ley General de Protección de Datos. Si bien los datos neuronales aún necesitan más protección, los principios de la LGPD serán útiles para tratar la materia.
Tener como elemento orientador la tutela y garantía de los derechos fundamentales constituye una especie de escudo protector frente a una tecnología invasiva y olvidadiza con el humanismo. Pero intentar escapar de esa lógica “colonialista” de la IA y de los datos, es una utopía. Sólo en una sociedad igualitaria e inclusiva, con suficiente sentido crítico para poner freno a la sociedad dataista y servirse de la IA para el desarrollo de sus tareas (sin que los datos y la IA se adueñen del tiempo y de la mente humana) sería factible.
Paola Cantarini: ¿Cuáles son los principales retos a los que se enfrenta actualmente el avance de la IA, teniendo en cuenta la polémica con ChatGPT y la “moratoria” solicitada en una carta/manifiesto firmada por Elon Musk y otros exponentes?
Nuria Belloso Martín: En marzo de 2023, Elon Musk y más de 1.000 investigadores firmaron una carta pidiendo pausar el desarrollo de las IAs avanzadas -Inteligencia Artificial (generativa)-. Tal petición de moratoria en el desarrollo de esta herramienta, provocó que se pusiera más atención aún (desde Gobiernos, como el de Italia- que prohibieron el uso de ChapGPT, a formular preguntas al ChatGPT sobre si tiene intención de rebelarse contra su creador, etc.). La tecnología de ChatGPT, como otras herramientas, tiene sus luces y sus sombras. Es conocido que su uso afecta a todas las áreas y entornos. Antes de entrar en el análisis del ámbito jurídico, voy a hacer alguna breve reflexión sobre cómo está afectando a otras áreas, como el de la propiedad intelectual y, por ende, también a las propias Universidades.
ChatGPT tiene capacidad de escribir artículos, libros, componer música o representar imágenes a toda velocidad. La propiedad intelectual está siendo objeto de vulneraciones, a la vez que se está sustituyendo el trabajo de muchos traductores por la IA y sustituyendo las voces humanas de narradores de libros. A partir de la denominada minería de datos, que durante años ha ido descomponiendo reglas y descifrando patrones de escritura en obras protegidas por derechos de autor, -cuya reproducción y explotación debe ser remunerada- estos sistemas de IA se han ido nutriendo. Como ya he mencionado, el Proyecto de Reglamento Europeo está trabajando en que se pueda distinguir entre los contenidos elaborados por IA y por humanos, y que se identifiquen las fuentes usadas, para su correspondiente remuneración. La irrupción del ChatGPT hizo que el Proyecto del Reglamento de la Unión Europea tuviera que incorporar su regulación en su última versión del texto. Los parlamentarios han incluido un nuevo concepto, el de modelos fundacionales, correspondiente a lo que llamamos las IA generativas, que viene a cubrir aplicaciones como ChatGPT o Stable Diffusion. Los describen como un “desarrollo reciente, en el que los modelos de IA son desarrollados a partir de algoritmos diseñados para optimizar la generalidad y la versatilidad de los resultados”. La propuesta de Reglamento advierte que estos modelos suelen entrenarse con una vasta variedad de fuentes e inmensas cantidades de datos para realizar una amplia gama de tareas posteriores, muchas de las cuales no son de contenido legal, a la vez que se les pide que ejecuten algunas tareas para las cuales no fueron específicamente desarrollados y entrenados. Modelos generativos como ChatGPT deberán marcar sus contenidos para que se sepa que han sido generados por una IA, y tendrán que diseñar sus sistemas de manera que se evite que generen contenido ilegal.
En las Universidades, los docentes estamos teniendo que adecuar ciertos trabajos que pedíamos que elaboraran los estudiantes (comentarios de texto, Trabajos Fin de Grado) ya que el docente no puede estar indagando si los trabajos que sus estudiantes le presentan han sido o no elaborados por estas herramientas.
Como es conocido, la IA es resultado de un complejo entramado de relaciones sintácticas/formales, no semánticas/de contenido. Ello no quiere decir que no sean capaces de desarrollar procesos decisorios complejos, o incluso de mejorar su programación de manera autónoma, sino que, por mucho que puedan simular un comportamiento inteligente, no pueden llegar a duplicar la inteligencia humana. El procedimiento por el que el programa lleva a cabo dichas tareas no se basa en la replicación de los procesos cognitivos humanos, sino en el empleo de heurísticos (como las correlaciones estadísticas) que permitan llegar a resultados semejantes soslayando el elemento cognitivo/reflexivo.
Hace treinta años, Jhon Searle ya anticipó la imposibilidad de que los sistemas de IA basados en la mera manipulación sintáctica de símbolos llegaran a entender el significado de los materiales que procesaban. Su experimento mental ha alcanzada gran difusión en la actualidad y se conoce como la “habitación china”. Lo que plantea en este experimento es la hipótesis de que un angloparlante que no tiene ni idea de chino se encierra en una habitación en la que dispone de un conjunto completo de reglas, escritas en inglés, sobre cómo manipular caracteres chinos y cómo generar otros a partir de tales manipulaciones. Seguidamente, desde el exterior se le facilitan una serie de caracteres de ese idioma y él, aplicando las citadas reglas, procede a transformarlos en otros caracteres que devuelve al exterior, de manera que estos resulten ser respuestas a los caracteres de entrada indistinguibles de aquellos que daría alguien que hablara chino con fluidez. Se observa así que el sujeto sólo es capaz de realizar operaciones sintácticas, pero no entiende nada de la lengua china. De igual manera, los traductores de idiomas o los asistentes personales con los que hablamos en nuestras casas tampoco entienden lo que les decimos ni lo que nos responden. Si este sistema, lo trasladamos al ámbito de la decisión judicial, de igual manera tendríamos una IA dictando sentencias pero que no entiende en absoluto.
Esta tecnología podría utilizarse para facilitar la creación de párrafos y argumentaciones por parte de los Juzgadores en aspectos muy concretos de la valoración probatoria. Voy a exponer un ejemplo concreto – desarrollado por el Magistrado del Juzgado de lo Social n.º 10, de Las Palmas de Gran Canaria, Javier Ercilla García-, sobre cómo se puede utilizar la red neuronal profunda de aprendizaje de lenguaje natural GPT-3 para generar argumentos de valoración de prueba con las instrucciones concretas dadas por el usuario.
Esta forma de automatización de resoluciones judiciales se basa en todos aquellos elementos repetitivos de una Resolución, o cuyas variaciones pueden ser fácilmente simplificables, a saber, encabezado, antecedentes de hecho, fundamentos de derecho sobre costas, fundamentos referenciales a jurisprudencia etc. Es decir, la automatización de sentencias, hasta ahora, se limitaba a todo aquello que no requería de una labor propiamente humana, dado que la valoración de la prueba y el razonamiento jurídico (interpretación y aplicación de la Ley) seguían siendo labores no automatizables. Por tanto, aunque la IA pudiera ayudar a automatizar procesos, hay algunos procesos que no se pueden automatizar completamente. Estos procesos, conocidos como tareas cognitivas profundas, requieren un alto nivel de comprensión y razonamiento para ser realizados.
Antes de decidir qué argumentos podrían introducirse en una sentencia mediante el empleo de GPT-3, habrá de tenerse presente cuál es la base de textos con la que esta IA ha sido entrenada. GPT-3 ha sido alimentado con una gran cantidad de textos en línea, incluyendo artículos de Wikipedia, libros, noticias, correos electrónicos, documentos legales y otros materiales. Dentro de los documentos legales, se han utilizado tanto contratos como acuerdos, formularios, licencias, leyes, regulaciones, sentencias judiciales y otros documentos legales relacionados. Consecuentemente, con GPT-3 podremos obtener un texto con una pátina de lenguaje jurídico. Ahora bien, ello no significa que GPT-3 sea capaz de resolver un caso jurídico complejo, aunque no es posible automatizar completamente los procesos que requieren un alto nivel de comprensión y razonamiento, herramientas como GPT-3 pueden ayudar a automatizar pequeñas partes de estos procesos, que requieren un moderado nivel de comprensión y razonamiento.
Es en la redacción de determinados aspectos de una sentencia, donde podríamos utilizar toda la capacidad que ofrece GPT-3, no tanto para crear procesos “desatendidos”, que elaboren parte de la Sentencia, sino para crear textos valorativos y argumentativos, que respondan a las solicitudes concretas del usuario. Esto es, crear texto significativo en una Sentencia, redactado por una IA, pero conforme a las directrices dadas por el Juzgador/a.
Para que GPT-3 pueda hacer una tarea concreta y exacta sin excederse en la atribución, hay que redactar el “prompt” o “entrada” conforme a unos criterios específicos, de tal manera que se le diga a la IA qué es exactamente lo que se quiere obtener. Estos criterios y el diseño de los mismos se denominan “prompt engineering”, y es la concreción en la entrada de las tareas específicas y la forma en que la IA va a generar el texto: i) Sujeto a simular; ii) Tarea; iii) Pasos para completar la tarea; iv) Contexto / Restricciones; v) Objetivo; vi) Formato de Salida; vii) Aplicación: la redacción de los argumentos de valoración de las pruebas testificales y de interrogatorio. El objetivo es obtener un texto, semejante al que escribiría un Juzgador/a en una Sentencia, capaz de engañar a un ser humano (test de Turing), en el que se valore la credibilidad o incredibilidad del testimonio prestado en juicio por un testigo o por una parte procesal; viii) Resultado.
La IA no valora la prueba, sólo traduce a lenguaje natural las instrucciones y argumentos –estereotipados o del caso concreto (texto libre)– dados por el Juzgador para creer o no un testimonio, ofreciendo así un texto cuya aceptación o no correrá en última instancia a un ser humano, a saber, al Juzgador que la incluya en su resolución.
Ahora bien, como he advertido, GPT-3 y en un futuro GPT-4, no son modelos de generación de texto específicamente entrenados con textos jurídicos. Sin embargo, sí que pueden llevarse a cabo entrenamientos específicos, para obtener modelos de generación de lenguaje jurídico. Esto es, alimentar una IA como GPT-3 y otras, con un conjunto de datos como podría ser el CENDOJ, ofrecería a los profesionales de la Administración de Justicia un asistente perfecto, ya no sólo para la redacción de Sentencias en aspectos concretos.
El citado uso no está exento de riesgos. Si sus resultados tienden a incluir información incorrecta y falsa, entonces los jueces tendrían que emplear un tiempo considerable en comprobar la validez del contenido generado por la IA, disipando así cualquier “ahorro de tiempo” significativo.[3] Como ocurre con las IAs en otros ámbitos, bajo la narrativa de supuestas “eficiencias”, se pueden poner en riesgo derechos fundamentales. También existe el riesgo de que los jueces y sus secretarios o asistentes confíen excesivamente en las recomendaciones de la IA, incurriendo en lo que se conoce como “sesgo de automatización” (automation bias).
En el contexto de tribunales de algunos países latinoamericanos, hay varias experiencias de la que han dado cuenta los propios jueces que han recurrido a este tipo de IA. Un juez colombiano, Juan Manuel Padilla García, presidente del Juzgado Primero del Circuito en Cartagena, en un proceso de Tutela de Derechos Fundamentales, ha recurrido al Chat GPT. El caso versa sobre un menor con espectro autista. En la sentencia, que fue favorable para el menor y la aseguradora tendrá que cubrir los costos para su adecuado tratamiento, el juez utilizó GPT para recopilar y procesar antecedentes jurisprudenciales. El juez ha incluido en su sentencia las respuestas generadas con el chatbot. Según afirma el juez Padilla, la intención es “extender los argumentos de la decisión adoptada” y señala que la IA que viene a cumplir una función asimilable a la de “un secretario”, “de manera organizada, sencilla y estructurada”, y lo beneficioso de ello sería que “podría mejorar los tiempos de respuesta en la rama judicial”.
Otra experiencia corresponde a Argentina, donde el doctor José Osvaldo Ledesma, juez de Paz de Berón de Astrada (Corrientes), dictó una sentencia con ChatGPT para incorporar a su sentencia un párrafo en formato de lectura fácil (destinado a personas en situación de vulnerabilidad por razones cognitivas o de instrucción). Se trató de un proceso voluntario sin patrocinio letrado en el cual se estaba rechazando la pretensión, con lo cual, consideró que había que redoblar los esfuerzos por hacer más comprensibles los fundamentos de tal decisión.
Precisamente, el uso de esta herramienta para lograr un formato de lectura fácil para los documentos jurídicos se está extendiendo, y buena prueba de ello es la “Guía de redacción judicial clara” que se ha aprobado recientemente en España, la cual toma como punto de partida el derecho de la ciudadanía a entender (claves para redactar documentos judiciales eficaces).
En esta línea, el Ministerio de Justicia español ha desarrollado una herramienta de IA online que traduce los documentos jurídicos a un formato de lectura fácil. La difusión de las decisiones judiciales a través de los medios de comunicación ha hecho que operen como un texto comunicativo. La sentencia tradicional -podía tener un lenguaje más arcaico con sus tecnicismos y cumplir las funciones de resolución del conflicto, pero podía fracasar como acto de comunicación. En la sociedad de la información, interesa el resultado de la sentencia, pero difícilmente se presta atención a la motivación. El ODS 16, “Paz, Justicia e instituciones sólidas”, establecido en la Agenda 2030, apunta hacia una accesibilidad que va más allá de las personas con discapacidad.
En resumidas cuentas, considero que los modelos generativos como ChatGPT deberán marcar sus contenidos para que se sepa que han sido generados por una IA y diseñar sus sistemas de manera para evitar que genere contenidos ilegales. Esto no deja de ser un deseo. En la realidad, ya se ha creado un modelo generativo de IA sin restricciones éticas (WormGPT). Es decir, se le puede pedir cualquier cosa, sin importar que sea ilegal, y la IA nos la dará.
En definitiva, si se auditan y controlan estos aspectos, no hay porqué dejarse llevar por una visión apocalíptica. La IA es una realidad y va a continuar su imparable desarrollo.
El Derecho tiene ante sí la crucial tarea de integrar sus usos con seguridad, eficacia y responsabilidad, adoptando las debidas cautelas para minimizar riesgos y aprovechar su potencial como apoyo en las diversas tareas a desarrollar en el sistema de Justicia. Concluyo con unas palabras del profesor Raffaele de Giorgi:
hemos extendido el espacio del no-saber justamente porque hemos extendido el espacio del saber. El único recurso que puede ser distribuido es el riesgo, y éste puede ser distribuido en modo racional: si con racionalidad entendemos el carácter de las decisiones que incrementan la posibilidad de actuar y que frente al riesgo están en grado de reverse a sí mismas.
[1] Algunos escritores alquímicos como Roger Bacon estaban dispuestos a argumentar que el arte humano, incluso si se aprende imitando procesos naturales, podría reproducir con éxito productos naturales o incluso superarlos. W. R. Newman, Promethean Ambitions: Alchemy and the Quest to Perfect Nature, University of Chicago Press, Chicago, 2004.
[2] CAMPBELL, T. A, Artificial Inteligence. An Overview of States Initiatives, FutureGrasp, Evergreen, 2019. En octubre de 2019, Malta ha aprobado su estrategia nacional (https://malta.ai/wp-content/uploads/2019/10/Malta_The_Ultimate_AI_Launchpad_vFinal.pdf).
[3] Steven A. Schwartz, abogado con despacho en Nueva York, recurrió a la herramienta para buscar precedentes que apoyasen un caso en el que el letrado se enfrentaba a la aerolínea estadounidense Avianca.
Como recoge ‘The New York Times‘, la demanda contra la empresa fue presentada en 2019 por el pasajero Roberto Mata, quien afirmaba que durante un vuelo a Nueva York había sufrido una lesión en una pierna debido al impacto de un carrito metálico.
Avianca solicitó al juez encargado del caso la desestimación, ante lo que Schwartz, con tres décadas de experiencia en la profesión, contratacó con un escrito de 10 páginas que citaba más de media docena de decisiones judiciales relevantes. ¿El problema? Ni el magistrado ni la defensa de la aerolínea fueron capaces de contrastar esta información. Y todo porquela máquina, y no es la primera vez que ocurre, se la había inventado.