Gubernamentalidad algorítmica y tecnologías de reconocimiento facial: reconfiguraciones punitivas en el contexto brasileño✽

Tiago Luis Schervenski da Silva y Ricardo Jacobsen Gloeckner

Recibido: 31 de marzo de 2025 | Aceptado: 21 de julio de 2025 | Modificado: 11 de agosto de 2025

https://doi.org/10.7440/res94.2025.05

Resumen | Este artículo investiga las transformaciones de las prácticas punitivas contemporáneas en el contexto social actual, en el que los datos y los algoritmos asumen un papel central en las dinámicas de poder y de control. Se busca responder a la pregunta sobre cuál es la función de los algoritmos en las prácticas punitivas actuales y cuáles son sus efectos. Para ello, se analiza el uso de tecnologías de reconocimiento facial en la seguridad pública brasileña, particularmente en los estados de Bahia y Goiás. A partir de una revisión de literatura, se explora el escenario biopolítico contemporáneo, marcado por la crisis de los medios tradicionales de confinamiento. Ante esta crisis, surgen nuevas formas de control que se desvinculan de las tecnologías penitenciarias y establecen mecanismos de vigilancia en espacios abiertos, basados en dispositivos de seguridad y en la lógica de la gestión de riesgos. En este contexto, los datos se vuelven esenciales para las prácticas punitivas impulsando el desarrollo de técnicas de vigilancia refinadas. El artículo examina cómo los sistemas informáticos en red capturan, procesan y utilizan estos datos ahondando en su lógica y racionalidad. La investigación busca comprender cómo estos dispositivos pueden producir resultados sesgados, especialmente contra personas racializadas y en situación de vulnerabilidad de género. Los resultados muestran que (i) el uso de esta tecnología presenta un sesgo discriminatorio que refuerza las desigualdades raciales y de género en el contexto de la vigilancia; y (ii) estas tecnologías encienden la vigilancia y la gestión de datos bajo una racionalidad supuestamente objetiva que, finalmente, sirve para crear perfiles predictivos y pronunciar veredictos silenciosos sobre los sujetos.

Palabras clave | algoritmos; control social; gubernamentalidad algorítmica; prácticas punitivas; tecnologías de reconocimiento facial

Algorithmic Governmentality and Facial Recognition Technologies: Punitive Reconfigurations in the Brazilian Context

Abstract | This article analyzes the transformations of contemporary punitive practices in today’s social context, where data and algorithms have assumed a central role in dynamics of power and control. It addresses the question of what role algorithms play in current punitive practices and what effects they generate. To this end, it examines the use of facial recognition technologies in Brazilian public security, with a focus on the states of Bahia and Goiás. Based on a review of the literature, the study explores the contemporary biopolitical landscape, marked by the crisis of traditional mechanisms of confinement. In response to this crisis, new forms of control have emerged that move beyond penitentiary technologies and establish surveillance mechanisms in open spaces, grounded in security devices and the logic of risk management. Within this framework, data become essential to punitive practices, driving the development of increasingly sophisticated surveillance techniques. The article investigates how networked computer systems capture, process, and deploy this data, examining the underlying logic and rationality. The research seeks to understand how these devices can produce biased outcomes, particularly against racialized individuals and those in situations of gender vulnerability. The findings indicate that (i) the use of this technology embeds a discriminatory bias that reinforces racial and gender inequalities in the context of surveillance; and (ii) these technologies intensify surveillance and data management under a supposedly objective rationality that ultimately generates predictive profiles and delivers silent verdicts on individuals.

Keywords | algorithms; algorithmic governmentality; facial recognition technologies; punitive practices; social control

Governamentalidade algorítmica e tecnologias de reconhecimento facial: reconfigurações punitivas no contexto brasileiro

Resumo | Este artigo investiga as transformações das práticas punitivas contemporâneas no contexto social atual, no qual os dados e os algoritmos assumem um papel central nas dinâmicas de poder e controle. Procura-se responder à questão sobre qual é a função dos algoritmos nas práticas punitivas atuais e quais são os seus efeitos. Para isso, analisa-se o uso de tecnologias de reconhecimento facial na segurança pública brasileira, particularmente nos estados da Bahia e de Goiás. Por meio de revisão bibliográfica, explora-se o cenário biopolítico contemporâneo, marcado pela crise dos meios tradicionais de confinamento. Diante dessa crise, emergem novas formas de controle que se desvinculam das tecnologias carcerárias e estabelecem mecanismos de vigilância em espaços abertos, fundamentados em dispositivos securitários e na lógica da gestão de risco. Nesse contexto, os dados se tornam essenciais para as práticas punitivas, impulsionando o desenvolvimento de técnicas refinadas de vigilância. O artigo examina como os sistemas informáticos em rede capturam, processam e utilizam esses dados, investigando sua lógica e racionalidade. A pesquisa busca compreender como esses dispositivos podem produzir resultados enviesados, especialmente contra pessoas racializadas e em situação de vulnerabilidade de gênero. Os resultados evidenciam que (i) o uso dessa tecnologia apresenta viés discriminatório que reforça as desigualdades raciais e de gênero no contexto da vigilância; e (ii) essas tecnologias inflamam a vigilância e o gerenciamento de dados sob uma racionalidade pretensamente objetiva que, por fim, serve para criar perfis preditivos e proferir vereditos silenciosos sobre os sujeitos.

Palavras-chave | algoritmos; controle social; governamentalidade algorítmica; práticas punitivas; tecnologias de reconhecimento facial

Algunas consideraciones sobre las sociedades de control

Ante la expansión global de los dispositivos tecnológicos de reconocimiento facial, presente en diversos contextos sociales y comerciales, este artículo investiga la lógica de los dispositivos, delimitando su alcance en relación con la seguridad pública en Brasil. Aquí, se desarrollan algunas reflexiones de carácter jurídico-filosófico, las cuales revelan una notable ineficiencia, pese a la significativa inversión realizada para su implementación en el contexto brasileño. Se procura esclarecer el funcionamiento de las herramientas algorítmicas y, tras una breve explicación, evidenciar la lógica de sus dispositivos, para concluir que la seguridad guía la implementación de las tecnologías de reconocimiento facial. Esto se refiere a una nueva manera de concebir el castigo, de modo que las herramientas se sumen a las estructuras de mecanismos de seguridad existentes. Finalmente, se pretende demostrar los impactos sociales que causa el uso (in)discriminado de los dispositivos, respaldado por su opaco velo de objetividad y neutralidad.

Este trabajo se estructura en cinco secciones. En la introducción, contextualizamos el problema y presentamos los objetivos principales de la investigación. En la segunda sección, abordamos brevemente las sociedades de control, con énfasis en los contornos de la biopolítica contemporánea y la transición de las disciplinas hacia los mecanismos de seguridad. En la tercera sección, examinamos el surgimiento de la gubernamentalidad algorítmica, detallando sus tres etapas operativas —vigilancia de datos, minería de datos y anticipación de datos— y discutiendo las críticas y las consecuencias del uso de algoritmos en las prácticas de seguridad. En la cuarta sección, analizamos la aplicación de las tecnologías de reconocimiento facial en la seguridad pública brasileña, con especial atención a los casos de los estados de Bahía y Goiás, explorando sus impactos y la falta de transparencia y regulación. Por último, en las conclusiones, enfatizamos que el principal aspecto que debe revelarse en la lógica opaca de las tecnologías algorítmicas reside en que los modelos que las constituyen son el resultado de las decisiones humanas, orientadas por intereses económicos, políticos y sociales, y marcadas por diferencias culturales. Aunque reivindiquen la objetividad y la neutralidad, estas tecnologías tienden a reproducir —y, en ciertos casos, a intensificar— efectos discriminatorios como parte de su funcionamiento.

Para estudiar el surgimiento de los nuevos mecanismos de control contemporáneos, es importante hacer un breve paréntesis que destaque cómo las formas características presentes en las sociedades disciplinarias —fijadas en los límites de organización de los medios de confinamiento (como son las cárceles, los hospitales, las escuelas o las fábricas), presentes en los siglos XVIII y XIX, con su apogeo a principios del siglo XX— están en crisis (Deleuze 2006) o, mejor, en un claro proceso de metamorfosis desde, al menos, la transición del siglo XX al siglo XXI.

Hacia finales del siglo XX, se evidenció la relativa ineficacia entre las cárceles y la vigilancia —binomio característico de las sociedades disciplinarias—, lo que generó desconfianza en las propias instituciones respecto a sus técnicas de subjetivación (Rodríguez 2019). Se constató la incapacidad de estas formas sociales para alcanzar los fines que se les habían asignado —concentración y distribución del espacio, así como organización del tiempo para maximizar la fuerza productiva de los individuos disciplinados (Deleuze 2006)—. La consciencia de la crisis por parte de las propias instituciones fue lo que propició el terreno para anticipaciones y metamorfosis en sus técnicas (Rosa y Amaral 2017).

Si la crisis se mantiene presente de manera constante, esta solo puede ser entendida como un “combate de retaguardia”, con el objetivo de implementar nuevas formas de control (Deleuze 1992). No es casualidad que las propias instituciones de confinamiento sean las primeras en percibir la alarmante situación en la que se encuentran, lo que genera diversos y constantes discursos de reforma (Amaral 2017). No obstante, las crisis, de las que surgen las oportunidades para las reformas, sirven, precisamente, como una vía de escape frente a su ruina (Rosa y Amaral 2017). De ahí se infiere que mediante las continuas crisis en realidad lo que ocurre es un movimiento de autofortalecimiento del capitalismo —siendo estos momentos de “inestabilidad” los instantes notables para que percibamos su capacidad de metamorfosis (Amaral 2020a)—. Por ello, tomaremos la crisis de los interiores —institucionales y subjetivos— como punto clave para comprender el panorama biopolítico1 de la contemporaneidad (Rodríguez 2019), pues son “de las candentes y siempre urgentes ‘reformas’ de donde nacen las nuevas configuraciones de control” (Rosa y Amaral 2017, 52-53, cursivas en el original)2.

Se puede observar que, al menos desde la década de 1970, y con mayor énfasis en los últimos 30 años, las tecnologías de vigilancia se han estado desplazando progresivamente en relación con las tecnologías carcelarias (Rodríguez 2019). Estas transformaciones recientes, inscritas en un contexto social actual en el que las fronteras entre el interior y el exterior son difusas, trazan un nuevo horizonte para la aplicación de un biopoder oscuro. Dicho proceso no implica una sustitución, sino más bien un desplazamiento de las sociedades disciplinarias hacia las sociedades de control (Mendes 2020).

Es importante comprender que no se trata del agotamiento de las sociedades disciplinarias, sino que ya no nos limitamos a ellas, y el auge de nuevos mecanismos de castigo así lo demuestran (Amaral 2017). Sin embargo, no veremos que los mecanismos de seguridad sustituyan por completo a los mecanismos disciplinarios; al contrario, estos mecanismos abren nuevos espacios para el castigo, en los que observaremos las disciplinas y los biopoderes en constante interacción (Chignola 2018). No existe, por lo tanto, una “era de la seguridad”; el cambio que presenciaremos será la aparición de nuevas técnicas punitivas y sus perfeccionamientos (Foucault 2006b). La propia disciplina se reconfigura en el siglo XXI. Basta con un rápido análisis al campo laboral en la transición al siglo XXI para percibir el surgimiento de nuevas disciplinas: desde la inseguridad laboral permanente hasta las guías de buenas prácticas, el benchmarking y otras técnicas. Se trata de disciplinas que se han reconfigurado, lo cual es necesario reconocer.

Considerando que las tecnologías de poder no deben entenderse como sucesivas, es decir, una era de la disciplina que precedió una era de la seguridad (Amaral 2020a), las tecnologías se manifiestan de una manera mucho más compleja. Es en este horizonte donde situamos el poder punitivo, asumiéndolo, aquí, como un conjunto práctico, “[…] una especie de homogeneidad, un dominio de referencia de aquello que los hombres hacen (tecnologías) y cómo lo hacen (estrategias)” (Amaral 2020b, 41). Lo anterior significa que el conjunto de fenómenos, mecanismos y técnicas se organizan en situaciones estratégicas (Foucault 1995). La homogeneidad, según Foucault, “[…] es asegurada por ese dominio de prácticas, con sus vertientes tecnológica y estratégica” (2006a, 94). En últimas, se trata de un conjunto de acciones sobre acciones posibles, que estructura el campo de acción de los otros, guiando comportamientos y ordenando posibilidades (Foucault 1995).

La coexistencia estratégica de las tecnologías de poder —de soberanía, disciplinarias o de seguridad— contribuye a la formación de estructuras complejas de castigo que se retroalimentan, en constante cambio y contaminaciones. Para su análisis, es importante comprender cuál de los sistemas de corrección se establece en la contemporaneidad, cuál se ejerce con mayor predominancia (Amaral 2020a). En este contexto, el problema del castigo y sus reconfiguraciones actuales debe plantearse en términos de la seguridad: “una manera de sumar, de hacer funcionar, además de los mecanismos de seguridad propiamente dichos, las viejas estructuras de la ley y la disciplina” (Foucault 2006b, 26). Precisamente por eso es que no veremos la desaparición de las prácticas punitivas estatales que subyugan, corrigen y disciplinan los cuerpos —como las cárceles—. La seguridad, en cuanto forma de pensar el castigo, hace erigir, multiplicar, reactivar y transformar los antiguos mecanismos disciplinarios (Amaral 2020a).

Las formas de la biopolítica contemporánea

Los dispositivos de seguridad surgen de las brechas creadas por las crisis de las instituciones de confinamiento y son utilizados como estrategia para organizar una biopolítica centrada en el lema de la seguridad (Amaral 2017). Cabe destacar que el elemento esencial de una biopolítica fundada en el paradigma del control es, paradójicamente, la libertad (Foucault 1995). Esto se debe a que, para que el gobierno actúe como el gestor de los peligros, es esencial que se instale un juego permanente entre la libertad y la seguridad —en este juego se encuentra el núcleo de la nueva razón gubernamental—. El riesgo se convierte en un factor inserto en una lógica de cálculo; en la práctica lo que ocurre es un verdadero cálculo de riesgos. La diferenciación de los cálculos ocurre de acuerdo con un mayor grado de riesgo, a partir de una posible identificación de zonas más o menos peligrosas.

Los conceptos de peligro y riesgo se sitúan en el centro de la cuestión (Rosa y Amaral 2017). La libertad no solo se acepta o se tolera; al contrario, se crea y se fomenta, lo que la convierte en un factor indispensable para el funcionamiento de la gestión gubernamental. Para que la seguridad se establezca es necesario que exista un margen de libertad en las relaciones de poder (Amaral y Dias 2024c). La libertad, en definitiva, es la verdadera condición para la existencia del poder (Foucault 1995). La vida, bajo el régimen de control contemporáneo, se ejerce en una lógica de gestión de peligros (Amaral 2020a). Los estímulos a la vida y la productividad ya no se llevan a cabo en moldes estrictos y cerrados que buscan someter al cuerpo como un mero objeto. Ahora, sus técnicas —orientadas al control y la gestión al aire libre— posibilitan la libertad que fundamenta las raíces del control (Amaral y Dias 2024c).

A partir de esa biopolítica, entendida aquí como un conjunto de mecanismos (Rosa y Amaral 2017), surge un arreglo diferente en la distribución de una serie de fenómenos, con el que se busca insertar los acontecimientos en términos de probabilidad. El instrumento ideal es la aplicación estadística de una media considerada óptima para delimitar los límites de lo aceptable. La fijación de esta media estadística se centra en los efectos de los fenómenos sobre la población, que debe ser entendida como objeto de una gestión gubernamental (Foucault 2006b).

Con estos instrumentos y fines, la técnica política de seguridad busca acondicionar un medio —entendido como soporte y elemento de circulación de una acción—, regular la aleatoriedad inscrita en un espacio determinado (Amaral 2020a). Esta forma diferencial de tratar el acontecimiento, introducida por la lógica de la racionalidad gubernamental de seguridad, implica algunas consecuencias que pueden verse claramente en la implementación de los mecanismos de seguridad estudiados aquí: mientras que la disciplina pretende aislar, concentrar y encerrar, basándose en una lógica centrípeta, los dispositivos de seguridad tienden a ampliar sus espacios de acción, es decir, son centrífugos. Dentro de esta lógica, los dispositivos buscan la organización y la ampliación de circuitos cada vez más amplios que deben ser desarrollados (Foucault 2006b). Constantemente se implementan nuevos elementos; Foucault afirma que “[…] la producción, la psicología, los comportamientos, las formas de actuar de los productores, los compradores, los consumidores, los importadores, los exportadores se integran al mercado mundial” (2006b, 67).

En este contexto las técnicas de seguridad experimentaron ciertas modificaciones —basadas en cálculos de costos y límites de lo aceptable—, lo que refleja el surgimiento de la nueva racionalidad gubernamental vinculada a la población. Eso ocurre porque, desde la década de 1970, el delito comenzó a interpretarse como un comportamiento económico (Rosa y Amaral 2017). La relación económica se vuelve fundamental para el análisis del costo de la represión y la delincuencia (Amaral 2020a), aunque no agota la complejidad de los mecanismos de control social. En esta dirección no habría tanto sentido en seguir invirtiendo únicamente en mecanismos de normalización general y exclusión (Rosa y Amaral 2017). El panorama que se configura se basa en la optimización de los sistemas de diferencia, despejando el terreno para procesos oscilatorios y “en la que haya una intervención que no sea del tipo de la sujeción interna de los individuos, sino de tipo ambiental” (Foucault 2007, 302).

Para comprender mejor la dimensión estratégica de los dispositivos de seguridad, es preciso aclarar que el cambio en las formas de la biopolítica surge directamente de la necesidad de organizar la fuerza de trabajo como instrumento del Estado, esto es, una necesidad directa para el desarrollo de los objetivos del capitalismo (Amaral y Dias 2024c). Ya Deleuze lo había enunciado: “No es solamente una evolución tecnológica, es una profunda mutación del capitalismo” (2006, 3). Es importante destacar que el régimen de la disciplina fue fundamental en la constitución de los mecanismos necesarios para la construcción del capitalismo industrial, un arreglo que, si bien aún está presente, ya no determina las maneras contemporáneas de regulación. Aunque no nos limitemos al antiguo modo de producción, la disciplina nunca ha dejado de ser un pilar central en la gestión del trabajo.

Para la plena consolidación del capitalismo contemporáneo, la inclusión de los cuerpos en el aparato de producción se convierte en una agenda central, así como la adaptación del fenómeno de las poblaciones a los procesos económicos, incorporando técnicas que apuntan a la extracción de la plusvalía. Para satisfacer esta demanda, es necesario reajustar el ejercicio del poder sobre el cuerpo, teniendo siempre en cuenta que las técnicas de subjetivación empleadas por las instituciones de confinamiento se estaban volviendo ineficaces. El ejercicio del poder orientado a la disciplina individual de los cuerpos, en cierta medida, pierde fuerza, actuando ahora como una dimensión complementaria de la regulación de la población (Chignola 2018). Lo que importa en la actualidad no es tanto la destrucción de los cuerpos —considerada contraproducente para la generación de riqueza—, sino más bien el conjunto de técnicas y tácticas aplicadas a la fuerza de trabajo, con el fin de organizarla mediante la vigilancia (Revel 2014).

Esto significa que ya no estamos limitados a un antiguo modelo de capitalismo centrado en la fábrica, basado en la concentración de capital y orientado a la producción. El capitalismo se convierte en un régimen de sobreproducción. Por lo tanto, se dirige más hacia el producto que hacia la producción, es decir, hacia la venta o el mercado; de ahí se deriva su notable capacidad de dispersión (Deleuze 2006). Veremos la sustitución de la fábrica por la empresa —ya que se trata de un régimen mucho más disperso— y la transformación de la forma de salario, ahora impulsada por la lógica de las recompensas, lo que condiciona la búsqueda incansable del mérito (Amaral y Dias 2024c). La competencia se introduce así como un emulador central y se convierte en un elemento esencial del nuevo panorama, estimulando al individuo mediante una modulación permanente del salario por un “sistema de recompensas” (Rosa y Amaral 2017, 43-44) que entusiasma y contrasta a los individuos (Deleuze 1992).

Teniendo en cuenta el cambio rotundo en la dinámica del capital, la producción de nuevas formas ultrarrápidas de control a cielo abierto es producto directo de la expansión inagotable de un sistema que, aunque se encuentre al límite, no deja de expandirse (Rosa y Amaral 2017). El nuevo clima punitivo, ante los contornos cambiantes de la dinámica del capitalismo, se manifiesta con la expansión del sistema penal, que, al utilizar las nuevas técnicas de control tecnológico basadas en datos, permean ahora también la sociabilidad en el espacio abierto, complementando y reforzando las instituciones de confinamiento. Se trata de una nueva forma de gubernamentalidad3 que, apoyada en dispositivos de seguridad, se ejerce sobre la población, sin eludir de ninguna manera la función central del castigo (Amaral 2017).

En las sociedades de control —que surgen precisamente de las mencionadas transformaciones del capitalismo—, lo esencial, subraya Deleuze, se basa en una cifra: “la cifra es una contraseña [mot de passe], en tanto que las sociedades disciplinarias están reguladas mediante consignas [mots et ordre])” (2006, 3). Las cifras, mediante un lenguaje numérico de control, delimitan el acceso o la exclusión de la información. Los individuos se desarticulan en dividuos (Deleuze 2006), con partes de sí mismos registradas en datos y muestras cuantificables. La cuantificación en datos, informaciones, contraseñas y cifras facilita la previsibilidad de los individuos, los grupos y los comportamientos (Amaral y Dias 2024b), lo que implica una verdadera sublimación de control más allá de la cárcel (Schervenski da Silva 2024).

Los datos adquieren una relevancia especial para las prácticas punitivas contemporáneas, que exigen técnicas refinadas de vigilancia. Las prácticas sociales actuales como el consumo, el salario y la deuda terminan por crear condiciones que hacen que los comportamientos de los individuos sean predecibles, como, por ejemplo, la información sobre los gastos con la tarjeta de crédito, el historial de compras y la ubicación registrada por las aplicaciones. Ese entorno crea un terreno fértil para que los Estados y los gobiernos utilicen los comportamientos predecibles, registrados en los datos, con el fin de alimentar sus complejos mecanismos de vigilancia. Para alcanzar los fines de las agencias punitivas, los mecanismos se alinean con la propia idea de controlar la vida. Las agencias adoptan dinámicas de vigilancia y control social para extraer los datos a favor de sus propios intereses, escudándose en la justificación de la seguridad (Amaral y Dias 2024c). En consecuencia, las esferas de la seguridad y la economía se enfrentan con barreras completamente nebulosas, lo que crea un complejo que opera a favor de la gobernanza de las posibilidades futuras (Amoore y De Goede 2005).

El surgimiento de la gubernamentalidad algorítmica

La vigilancia algorítmica se ha consolidado y extendido significativamente en nuestra sociedad. Como se mencionó, desde hace al menos tres décadas, los dispositivos de monitoreo —especialmente las cámaras— se han convertido en parte de nuestra vida cotidiana. Inicialmente restringidas a entornos privados, orientadas al control de los espacios laborales y de consumo, estos mecanismos se extendieron posteriormente a las vías urbanas y se apropiaron progresivamente del espacio público. No pasó mucho tiempo antes de que las cámaras migraran a los dispositivos móviles, con sus funciones de registro vinculadas a la seguridad, el entretenimiento, el trabajo, la vigilancia y la curiosidad (Rodríguez 2019).

Así, se produce un doble movimiento: por un lado, la digitalización, que convierte lo análogo en digital; por otro, la datificación, entendida como el proceso de transformar eventos, acontecimientos e interacciones en datos que pueden almacenarse, ponerse en circulación y analizarse. Ambos procesos tienen lugar tanto en la vida cotidiana como en las prácticas punitivas, confundiendo las dos experiencias en una sola. Toda la vigilancia que existía antes con fines coercitivos se vuelve hacia los placeres del individuo, lo que crea un espacio de oscura libertad absoluta (Harcourt 2015). En esta lógica se inscriben las bases de datos actuales: el acceso a ellas está garantizado —en las redes sociales, por ejemplo— si el usuario ofrece a cambio su información y sus datos. Al proporcionar “libremente” sus datos, el usuario también se mueve “libremente” dentro de los espacios digitales (Rosa y Amaral 2017). Todas las acciones que realizamos en las redes de comunicación, en sus navegadores y plataformas, son rastreadas y almacenadas, constituyendo un gran archivo de nuestras acciones, elecciones y hábitos (Bruno 2016). El control, así, se ejerce con una gran contribución de la libertad (Rosa y Amaral 2017).

Si bien la vigilancia algorítmica ya redefine el concepto de privacidad, su materialización en el espacio público —mediante las tecnologías de reconocimiento facial— radicaliza aún más su alcance. Esto se debe a que su implementación monitorea no solo las acciones digitales, sino también las del cuerpo en los espacios físicos (Beiguelman 2021). La implementación de cámaras es un buen ejemplo para percibir el aumento de la vigilancia en nuestras vidas; sin embargo, es cierto que cada vez se incorporan más actividades a las redes sociales, y no solo las que las cámaras pueden capturar (Rodríguez 2019). A medida que evolucionan las tecnologías de reconocimiento facial, estas se integran cada vez más a las redes y a los sistemas informáticos, lo que resulta en mayor frecuencia del mapeo facial. El rostro puede entenderse como la nueva huella digital, pues, una vez identificado, permite rastrear el cuerpo en un espacio determinado (Beiguelman 2021). La vigilancia ya no requiere necesariamente de las instituciones de confinamiento, sino que integra las cárceles al espacio de circulación general (Rodríguez 2019). En este nuevo contexto, las vidas digitales se vuelven oscuramente similares a la existencia monitoreada de los individuos supervisados en las cárceles (Harcourt 2015).

Este nuevo régimen de control emergente puede denominarse gubernamentalidad algorítmica, una racionalidad que se basa en la recopilación, la agregación y el análisis automatizados de cantidades masivas de datos para anticipar e influir en posibles comportamientos (Rouvroy y Berns 2015). Los mecanismos operan por medio de redes basadas en el proceso de vigilancia y recopilación masiva de datos, su clasificación y análisis, con el fin de gestionar, influir y disciplinar el comportamiento de los individuos. La estructura de la red mundial de computadores y sus navegadores utiliza todas las acciones y los rastros digitales para constituir “[…] un vasto, dinámico y polifónico archivo de acciones, elecciones, intereses, hábitos, opiniones, etc.” (Bruno 2016, 36).

Según Harcourt (2015), los datos abarcan una amplia variedad de información, que incluye comunicaciones telefónicas, redes sociales, correos electrónicos, videos, chats, estadísticas vitales e información del censo gubernamental. Todos estos datos son producidos por computadores, celulares o dispositivos digitales por medio de correos electrónicos, mensajes, tuits y videos. Con la digitalización de la vida cotidiana vemos también una acentuación de la lógica de acumulación de datos sobre individuos, lo que conduce a una datificación de la vida. El conjunto masivo de datos —derivado de diferentes fuentes— puede ser extraído, almacenado y analizado para diversos propósitos y en diferentes contextos. El uso de los datos y los metadatos que alimentan las bases y los programas de vigilancia urbana no se consideran apenas como históricos o informativos. Su lógica, en realidad, se basa en un intenso cruce de datos con innumerables posibilidades a partir de la adquisición de contenido personal (Amaral y Dias 2024c).

El valor de este conjunto de datos reside en su capacidad para generar perfiles predecibles, es decir, su utilidad para medir la probabilidad de que se produzcan ciertos acontecimientos, como, por ejemplo, que un individuo cometa un delito o incluso que sea detenido anticipadamente (Mayer-Schönberger y Cukier 2013). Con la acumulación de datos, se busca, entonces, predecir y modificar el comportamiento humano (Zuboff 2018). La gestión de la enorme cantidad de información producida diariamente consiste en atribuirle sentido mediante la aplicación de estos datos en “algoritmos poderosos”, definidos como “una secuencia finita de instrucciones precisas que se pueden implementar en sistemas informáticos” (Osoba 2017, 4-6).

Las tres etapas de la gubernamentalidad algorítmica

De forma más esquemática, se puede decir que el régimen de la gubernamentalidad algorítmica utiliza estadísticas para extraer automáticamente información de bases de datos con fines de predicción o exclusión. Para comprender mejor este sistema, el mecanismo se puede dividir en tres etapas. Cabe señalar que una etapa no implica la ausencia de contaminación con la otra; al contrario, cuanto más se confunden, mayor es su eficacia en la recopilación de datos de los individuos (Rouvroy y Berns 2015).

La primera etapa se denomina vigilancia de datos, o dataveillance, que es la recopilación y la conservación automática de una gran cantidad de datos no clasificados (Rouvroy y Berns 2015). Los datos procedentes de las más diversas fuentes están experimentando un auge de recopilación y conservación automáticas (Rodríguez 2019): información de seguridad, control, gestión de recursos, marketing, publicidad, personalización de ofertas o incluso de personas que comparten generosamente sus datos en redes sociales. Con los fines perseguidos por la recopilación de la información, los datos pierden su vínculo con el “conocimiento verdadero”. Se produce un vaciamiento y una minimización del individuo y de cualquier posible consentimiento que pudiera darse por esta correlación de información. Los datos, en consecuencia, dejan de tener sentido colectivo y se presentan simplemente como una múltiple faceta de lo real (Rouvroy y Berns 2015).

La supuesta racionalidad de la gestión de datos reside precisamente en que los datos, en sí mismos, parecen inofensivos: un rastro dejado por una compra, el uso de una palabra específica, un desplazamiento dentro de la ciudad; elementos que son tan heterogéneos, tan poco intencionados y tan poco subjetivos que supuestamente no podrían mentir. Así, cada elemento se reduce a su naturaleza más cruda, a la vez que se abstrae de su contexto real, se condensa en un dato (Rouvroy y Berns 2015).

La segunda etapa es la minería de datos, o datamining, que busca procesar automáticamente los datos recopilados de manera masiva en la primera etapa, explorando ese gran depósito de información (Rodríguez 2019). Su propósito es descubrir correlaciones sutiles entre los datos. Aquí, nos encontramos ante una producción de conocimiento estadístico constituido por simples correlaciones automatizadas, basado en información completamente heterogénea. Cabe destacar que el mayor avance de esta etapa consiste en la aplicación de la estadística sin necesidad de plantear una hipótesis previa, es decir, prescindiendo una vez más de toda forma de subjetividad (Rouvroy y Berns 2015).

Con la aparición de las tecnologías de aprendizaje automático, se ha extendido ampliamente el discurso sobre la creación de algoritmos capaces de “aprender inductivamente”, que podrían ser entrenados para establecer correlaciones efectivas entre los datos en ese gran conjunto de información capturada. Sin embargo, los procesos de minería y análisis de datos son incapaces de “enseñar” a las máquinas a pensar; la inteligencia artificial funciona aplicando matemáticas a grandes cantidades de datos para inferir probabilidades a partir de correlaciones y patrones (Mayer-Schönberger y Cukier 2013). La lógica de la estadística se invierte: las hipótesis se producen a partir de los propios datos capturados (Rouvroy y Berns 2015), por no decir robados, como ya se expuso.

Los sistemas algorítmicos se utilizan para crear perfiles predictivos, orientados a intentar predecir el futuro (Amaral y Dias 2024c), basándose ampliamente en la estadística de datos históricos para anticipar y proporcionar futuros probables para decisiones comerciales inmediatas e inminentes (Amoore y De Goede 2005); es lo que podríamos llamar como anticipación de datos, o datanticipating, la tercera etapa de la gubernamentalidad algorítmica. Esta tercera etapa se basa en el uso del conocimiento probabilístico y estadístico y busca anticipar los comportamientos individuales, vinculándolos con los perfiles creados a partir de las correlaciones descubiertas mediante la minería de datos (Rouvroy y Berns 2015). Cuantos más datos se recopilen, mayor será la eficacia de la creación de dicho perfil.

En este sentido, los procesos de decisión se tercerizan a sofisticadas máquinas de procesamiento de datos que, como ya se ha indicado, solamente siguen instrucciones matemáticas. Surge una noción de conocimiento en la que la objetividad parece absoluta, ya que no se admite ninguna intervención subjetiva, por lo que las normas parecen surgir de la realidad (Rouvroy y Berns 2015). Sin embargo, muchos de los procedimientos algorítmicos son inaccesibles y funcionan como una “caja negra”. Podemos analizar sus datos de entrada (inputs) y sus datos de salida (outputs), pero no sabemos qué sucede entre ambos procesos, es decir, durante la transformación de los datos de entrada en datos de salida, ni los criterios de análisis u otra información relevante. Dado que los sistemas algorítmicos están respaldados y reforzados por la opacidad —están fuera del alcance de cualquier verificación—, los problemas derivados de estas máquinas se tratan como cuestiones técnicas (Pasquale 2015). Los operadores de las máquinas tienen un amplio margen para eludir los debates sobre sus efectos, así como para imposibilitar la discusión sobre los intereses que subyacen a los operadores de los algoritmos (Amaral 2021).

Los algoritmos se legitiman para emitir veredictos silenciosos sobre la vida de los individuos, dejándolos sin ninguna capacidad efectiva para impugnarlos (Amaral et al. 2021). Esto termina configurando un paradigma kafkiano moderno —el que vivió Josef K, protagonista de El proceso de Kafka (2006)—, en el que no se entiende si la acusación del delito fue correcta, ya que la decisión se basa en datos manipulados por algoritmos, que afirman que él cometió un delito y debe responder judicialmente (Amaral y Dias 2024c).

El uso de algoritmos en los mecanismos de seguridad: críticas y consecuencias

En este contexto intricado y multifacético, también resulta compleja la transformación de las prácticas punitivas ante los retos que plantean sus anticuadas —y todavía presentes— formas de castigo (Schervenski da Silva y Curcio 2025). La toma de decisiones se delega a máquinas sofisticadas, capaces de operar con métodos codificados de procesamiento de datos. La tecnología de reconocimiento facial es un tipo de identificación biométrica que analiza los rasgos fisionómicos para crear un modelo matemático único, que representa cada rostro, basado en tecnologías de computación visual4. Estos programas se basan y se orientan por una perspectiva de aprendizaje automático, o machine learning; es decir, las acciones de la máquina se moldean con base en acciones previas. Independientemente del elemento corporal que vaya a ser analizado por el sistema tecnológico, el cuerpo no se analiza en su totalidad, sino solo puntos específicos, los cuales servirán como base para los cálculos probabilísticos (Nunes 2019a).

Podemos decir, de manera esquemática, que la máquina, siguiendo un conjunto de métodos, verifica un patrón, determina acciones automáticamente y realiza proyecciones. Basándose en este método, las tecnologías de reconocimiento facial organizan dos procedimientos. El primero se ocupa del rastreo, es decir, la detección de puntos considerados esenciales en el rostro del individuo. Se identifican las características faciales específicas, como la distancia entre los ojos y el contorno de la mandíbula, para crear un modelo que reproduzca las particularidades de cada individuo. Tras identificar los puntos, comienza el segundo procedimiento, denominado “extracción”, en el que los detalles faciales se transforman en una representación matemática. La ecuación resultante se almacena en una base de datos y se compara con los modelos matemáticos de otras personas, buscando una correspondencia (Electronic Frontier Foundation 2023). Este procedimiento pretende la equivalencia o la diferenciación de los rostros de los individuos con otros —codificados en datos— sometidos al big data5. Todos los procedimientos, en definitiva, se someten a algoritmos y siguen la lógica descrita anteriormente. Lo que ocurre en el conjunto de procedimientos es la sustitución del significado de los rostros por una matemática de estos, que busca reducir la complejidad y la multidimensionalidad de un rostro a criterios medibles y predecibles (Kember 2014).

Esta tecnología presenta problemas inherentes. Su programación produce dos tipos de errores: falsos negativos y falsos positivos. En el caso de un falso negativo, el algoritmo no reconoce el rostro correspondiente a la imagen proporcionada, aunque figure en su base de datos. En el caso de un falso positivo el sistema comete un error de reconocimiento, atribuyendo erróneamente la identidad de una persona a otra.

Los dos tipos de errores son anticipados por los programadores y se calibran de formas diferentes conforme el resultado deseado. Una mayor tolerancia a los falsos positivos aumenta el número de rostros reconocidos, pero reduce la precisión; mientras que privilegiar la minimización de falsos negativos dificulta la detección de coincidencias (Elesbão et al. 2020). En el contexto de la seguridad pública es crucial reducir al máximo los falsos positivos, ya que su impacto puede llevar a la detención y el castigo de inocentes (Electronic Frontier Foundation 2023). En este sentido, un estudio del National Institute of Standards and Technology de Estados Unidos, realizado en 2019, indica que:

Los falsos positivos ocurren en los sistemas biométricos cuando las muestras de dos individuos generan una puntuación de comparación igual o superior a un umbral establecido. La mayoría de los sistemas están configurados con un umbral fijo para todos los usuarios. Los falsos positivos representan un riesgo para seguridad de las aplicaciones de verificación uno a uno. Así mismo, tienen consecuencias graves en las aplicaciones de identificación uno a muchos. Por ejemplo, en aplicaciones en las que una persona solicita un préstamo más de una vez con diferentes identidades biográficas, en la compra de visas, la expedición de licencias de conducir o el fraude en beneficios sociales un falso positivo que de otra manera pasaría desapercibido podría generar diversas consecuencias posteriores, como pérdidas financieras. En una aplicación de vigilancia, un falso positivo puede dar lugar a una acusación falsa. (Grother 2019, 28)

El sistema busca, naturalmente, alcanzar la máxima precisión. Para lograrlo, el algoritmo necesita alimentarse con un volumen de datos cada vez mayor, de modo que pueda identificar con mejor precisión los rasgos físicos de las personas. Mientras haya más cantidad de imágenes disponibles, más detalles se incorporarán al mapeo facial, lo que reducirá la tasa de error. En consecuencia, se hace necesaria la vigilancia masiva de la población, con la captura de rostros sin consentimiento previo y sin que los individuos tengan acceso o conocimiento sobre el propósito del uso de sus datos. A pesar de la intensiva vigilancia que alimenta estos sistemas y el amplio banco de imágenes con el que cuenta, capturadas incluso de las redes sociales, esta cantidad de datos es insuficiente para el sistema. Además, existen factores limitantes intrínsecos. Tanto la iluminación del entorno como el ángulo de la fotografía son factores que interfieren en la precisión de la lectura facial por parte del sistema (Beiguelman 2021). De igual manera, las expresiones faciales también afectan la eficiencia de la máquina, provocando errores (Lobato et al. 2024).

La situación se agrava aún más si se tiene en cuenta que los datos recopilados son especialmente sensibles, ya que son únicos y difíciles de modificar. Los rasgos de una persona solo cambian con el tiempo o mediante intervenciones quirúrgicas. Una vez el modelo facial se registra en la base de datos —generalmente sin el conocimiento del individuo—, el algoritmo solo dejará de identificarlo cuando se consiga eliminar su información asociada.

Otro problema crítico de los sistemas es la distorsión del reconocimiento en términos raciales y de género, lo que da lugar a decisiones sesgadas y discriminatorias. Las bases de datos contienen menos referencias de rostros de personas no blancas, lo que aumenta la incidencia de falsos positivos en estos grupos. Un ejemplo es el caso de la empresa IJB-A, cuya base de datos contenía un 59,4% de fotos de hombres blancos, un 20,2% de mujeres blancas, un 16% de hombres negros y apenas un 1,4% de mujeres negras (Silva 2019, 7-8). La deficiencia en el entrenamiento de las máquinas no es un caso aislado, sino un problema sistémico de la tecnología. En realidad, esto refleja una sociedad racista, que realiza pruebas con poblaciones predominantemente blancas y no ajusta sus algoritmos para reconocer rostros racializados con la misma precisión.

La situación se vuelve aún más alarmante al examinar los efectos en la seguridad pública, con su notoria historia de selectividad racial. La discriminación automatizada intensifica el escenario de la selectividad (Elesbão et al. 2020), lo que representa seguridad para algunos y represión para otros (Reis et al. 2021). La consecuencia de la nueva dimensión derivada de un escenario basado en datos es el surgimiento del racismo algorítmico (Beiguelman 2021). En 2019, el número personas negras arrestadas mediante sistemas de reconocimiento facial fue del 90,5% (Nunes 2019a). Es importante destacar que, en ese mismo año, al menos cuatro estados registraron arrestos utilizando tecnologías de reconocimiento facial (Lima et al. 2024). Se afirma que las autoridades policiales insisten en invertir en estas tecnologías con el fin de identificar a sospechosos, a pesar de que los mecanismos presentan tasas alarmantes de error cuando se trata de identificar a personas negras (Electronic Frontier Foundation 2023).

Tras el supuesto velo de objetividad y neutralidad, los procesos de toma de decisiones se han externalizado cada vez más a máquinas que procesan datos codificados, en las que se utilizan sistemas algorítmicos para desarrollar perfiles predictivos, lo que implica sanciones selectivas vinculadas a prácticas discriminatorias (Amaral et al. 2021). Al respecto, concluye Zuboff: “el big data se origina en lo social, y es allí donde debemos encontrarlo y estudiarlo” (2018, 8). Estamos de acuerdo con Amaral y Dias cuando afirman que “abandonar la supuesta neutralidad tecnológica de los algoritmos supuestamente intrínseca a la composición de sus programas es tan importante como comprender las fórmulas de sus cálculos” (2024a, 32).

Las tecnologías de reconocimiento facial y su aplicación en la seguridad pública: la experiencia brasileña

A principios de 2020, el Governo do Estado de São Paulo inauguró el Laboratório de Identificação Biométrica estableciendo un nuevo frente para el avance de esta iniciativa de gestión de datos biométricos digitales, destinada a promover y aprovechar las tecnologías de reconocimiento facial. Fue cuando el entonces gobernador João Dória celebró que el laboratorio “localizaría al delincuente antes de que se cometiera el delito”, y felicitó al delegado general de la Policía Civil, destacando que “nunca se había arrestado tanto como en esos 13 meses” (Governo do Estado de São Paulo 2020). El laboratorio forma parte del Instituto de Identificação Ricardo Gumbleton Daunt, llamado así en honor a un innovador criminólogo y dactiloscopista, que heredó el nombre de su abuelo, un médico esclavista (Silva 2022).

La adopción de esta técnica en Brasil cobró gran relevancia debido al Decreto 793, del 24 de octubre de 2019, que estableció el uso de recursos del Fundo Nacional de Segurança Pública para incentivar la implementación de sistemas de videovigilancia que utilizan las tecnologías de reconocimiento facial, la inteligencia artificial y otras (Ministério da Justiça e Segurança Pública 2019). El decreto basa su implementación en un discurso de seguridad, al considerar estos sistemas como parte integral de las estrategias para reducir y controlar la violencia y la delincuencia (Lima et al. 2024). Desde entonces, estas técnicas se han extendido por todo el país. Actualmente, 421 proyectos utilizan técnicas de reconocimiento facial en Brasil, con 87.199.831 personas posiblemente vigiladas. En la región sur, hay 82 proyectos activos y 11.150.413 personas vigiladas6.

Sin embargo, el uso de las tecnologías de reconocimiento facial, mediante ese decreto y otras medidas posteriores, no fue acompañado por la implementación de un estándar adecuado que garantizara la transparencia y la posibilidad de analizar los datos ingresados a los sistemas. Cabe señalar que el derecho a la protección de datos fue reconocido como un derecho fundamental autónomo mediante una enmienda constitucional (Brasil 1988). En este sentido, la Ley 13.709/2018, conocida como Lei Geral de Proteção de Dados (LGPD), promulgada en agosto de 2018, establece los principios y las reglas para el tratamiento de los datos personales en Brasil, imponiendo límites y deberes a los agentes de tratamiento y garantizando derechos a los titulares. Su origen se debió a la necesidad de armonizar las prácticas de recopilación y uso de datos con los estándares internacionales, garantizando la transparencia, la seguridad y la rendición de cuentas, especialmente ante el avance de tecnologías capaces de hacer vigilancia a gran escala, como el reconocimiento facial.

No obstante, la implementación de estos proyectos avanza en el territorio brasileño sin que exista ninguna regulación que proteja los derechos fundamentales de los individuos vigilados. La consecuencia es un uso inapropiado de las tecnologías, lo que convierte los espacios públicos en laboratorios de experimentación (Lima et al. 2024). A la luz de este laboratorio a cielo abierto, podríamos estar ante un renovado momento oscuro de las formas de castigo: “Podríamos, por lo tanto, estar encaminándonos hacia algo aún más profundo que la gestión de la muerte de grupos específicos, más agudo que la emulación de la autodestrucción, para experimentar así un estado de pacificación mortal, de gestión aterradora de una condición de supervivencia” (Amaral 2023, 15).

Un caso que ilustra la manera como se implementa en general la tecnología de reconocimiento facial —basándose únicamente en una autorización genérica— es el de la Secretaria de Segurança Pública do Estado da Bahia. Esta se basa solo en el artículo 144 de la Constitución Federal, que estipula que se puede emplear cualquier medio para garantizar mejor la seguridad pública. El estado de Bahía experimentó un uso muy publicitado de las tecnologías de reconocimiento facial en el Carnaval de 2019 (Nunes et al. 2023b), a partir de la iniciativa de la secretaría, aunque con números desalentadores: se capturaron los rostros de 1,3 millones de personas, lo que generó 903 alertas. Sin embargo, el 96% de los avisos no dieron ningún resultado. Al respecto, Pablo Nunes asegura enfáticamente que:

Esas alertas se pueden comparar con el envío de una ambulancia para socorrer un posible paciente. Si en nueve de cada 10 llamadas no hay una emergencia real, se desperdicia el dinero público, y se asigna inútilmente tiempo y personal. Esto es lo que ha estado ocurriendo con la aplicación de la tecnología de reconocimiento facial. (2019b, 68)

Esta es una taza de error alarmante, pero eso no detuvo al estado de Bahía, que continuó invirtiendo en la tecnología y desembolsó, en 2021, cerca de 665 millones de reales (Falcão 2021). Ya en 2020, también durante el Carnaval de Salvador, detuvieron 42 fugitivos y se capturaron las identidades biométricas de 11,7 millones de personas (Gama 2020). Lo que en principio puede parecer un éxito, al ponerlo en perspectiva, se convierte en algo aterrador. El registro fotográfico de los rostros fue 278.000 veces superior al número de personas detenidas (Reis et al. 2021, 38). Y los resultados fueron similares a los de 2019: 34 detenciones (Falcão 2021). No obstante, el uso de las tecnologías de reconocimiento facial se extendió hacia el interior del estado y ahora está presente en más de 70 municipios, a pesar de los claros indicadores de su eficacia en la reducción de la delincuencia. De hecho, según los datos de la Secretaria de Segurança Pública do Estado da Bahia, entre 2018 y 2022, los índices de delincuencia y violencia permanecieron estancados o incluso aumentaron en algunas regiones del estado (Lima et al. 2024).

Es interesante destacar también la experiencia del estado de Goiás, donde se evidencia un proyecto en curso para expandir la vigilancia mediante el uso de las tecnologías de reconocimiento facial. Esto se debe a que, dada la falta de regulación específica para la implementación de las tecnologías, se observa una dinámica diferente en la interiorización de los mecanismos: el fenómeno ocurre junto con la municipalización de la gestión de los recursos y los datos generados por las cámaras (Nunes et al. 2023a).

Por ejemplo, el jefe de policía Waldir (en ese momento, diputado federal, en representación del estado por el partido União) lideró la municipalización del uso de cámaras en las ciudades de Goiás, destinando cerca de 30% de sus recursos parlamentarios a este fin. Con todo el incentivo, los municipios organizaron licitaciones y contrataron empresas para instalar cámaras de forma autónoma. El resultado fue que, actualmente, Goiás es el estado brasileño con más programas municipales que implementan videovigilancia y reconocimiento facial. Cabe destacar que se realizó una inversión de casi 50 millones de reales en apenas dos años, bajo el pretexto de “modernizar la policía”, pero sin especificar los servicios, las empresas ni los responsables (Nunes et al. 2023a).

Sin embargo, ante la tendencia hacia la “modernización de la seguridad” por parte de los municipios, estos proyectos no han sido acompañados por mecanismos de rendición de cuentas, responsabilidad y transparencia (Lima et al. 2024). Vale la pena resaltar que las tecnologías de reconocimiento facial, ya generalizadas en el municipio de ese estado, cuentan con un programa propio denominado Harpia, creado en 2017 por el Instituto de Identificação da Polícia Civil en colaboración con la Universidade Federal de Goiás. Al momento de su lanzamiento, el mecanismo ya contaba con 50.000 fotos en su base de datos, sin que ninguna autoridad hubiera explicado de dónde se habían obtenido ni cómo serían tratados los datos. Hasta la fecha, no hay información de la Policía Civil sobre el uso que se hace de Harpia (Nunes et al. 2023a).

En ambos casos ocurre un verdadero proceso de evasión de la responsabilidad en el uso de la tecnología, ya que varios proyectos se están aplicando de manera descentralizada en la seguridad pública brasileña. En Brasil, cada entidad tiene la facultad de decidir cuál tecnología utilizará, el tipo de software, las empresas proveedoras, las bases de datos que utilizarán, los requisitos para el análisis de videos y la ubicación donde se implementarán las tecnologías (Lima et al. 2024). La situación se ve agravada por la falta de información, ya que en ninguno de los proyectos implementados en Brasil se ha realizado una evaluación de sus impactos.

La LGPD establece, en el artículo 4, sección III, párrafo 3, la elaboración de una evaluación del impacto en todos los casos, y la impone cuando se trata del ámbito punitivo: la seguridad pública, la investigación y la persecución penal. La herramienta denominada “Evaluación de impacto en la protección de datos” (EIPD) tiene como objetivo identificar los efectos que una determinada política, programa o servicio tiene sobre la privacidad y la protección de los datos personales (Universidade Federal do Ceará 2024), para determinar cuáles son los riesgos y cuáles las medidas a adoptar. Incluso, en el ámbito internacional, la Unión Europea exige que se realicen EIPD para la adopción de equipos de reconocimiento facial. Sin embargo, en Brasil la tecnología se está utilizando de manera evidente sin una debida supervisión y evaluación de riesgos. Además, las autoridades que la utilizan no están cualificadas para esto: desconocen el funcionamiento del sistema y sus posibles consecuencias y no han recibido formación para adecuar sus conocimientos sobre el tema y orientar sus acciones.

Si la tecnología es, de hecho, tan eficaz como se afirma, es necesario presentar información que lo demuestre. Esto otorgará mayor legitimidad a su uso. De hecho, la LGPD establece el derecho al acceso público a los datos de manera gratuita, sencilla, clara y precisa. No obstante, en la actualidad, pocas instituciones comparten la información adecuadamente. Algunas ni siquiera liberan los datos cuando los solicitan las partes interesadas, ni los ponen a disposición del público. La principal fuente estadística sobre el tema proviene de instituciones independientes que realizan sus propias investigaciones. Ante estas circunstancias, el escrutinio público sobre la proporcionalidad y la eficiencia de los sistemas de reconocimiento facial se ve comprometido (Reis et al. 2021). Las autoridades que implementan estas prácticas deben facilitar el acceso de los ciudadanos a la información de manera simplificada y a través de canales específicos.

Conclusiones

En cuanto a la restructuración de las barreras de las sociedades disciplinarias, ahora que la vigilancia se ha extendido también al espacio abierto, se advierte sobre el uso indiscriminado de los dispositivos de reconocimiento facial, teniendo en cuenta que, detrás de la apariencia democrática que pueden adoptar los dispositivos de seguridad (Negri y Hardt 2001), existen, en realidad, sistemas algorítmicos que se retroalimentan en un ciclo discriminatorio (Amaral et al. 2021). Con el respaldo de legislaciones frágiles, estas tecnologías exacerban la vigilancia y la gestión de datos bajo una racionalidad supuestamente objetiva que, en últimas, sirve para crear perfiles predictivos y emitir veredictos silenciosos sobre los individuos (Amaral et al. 2021), con el fin de anticipar e influir en los posibles comportamientos, configurando una “gestión de lo posible” (Bruno 2016, 37). El escenario brasileño, ante la falta de transparencia —respaldada por la falta de regulación centralizada en el tema— permite un amplio margen de discreción sobre cómo se utilizarán estas herramientas, lo que le confiriere a Brasil un estatus de “laboratorio” a cielo abierto. La situación es realmente delicada, ya que los mecanismos pueden “condenar el presente a un futuro anticipado” (Bruno 2016, 37). Ya no se trata de aislar al individuo en la cárcel, más bien, la nueva lógica penal se precipita bajo la interceptación del individuo en su camino (Amaral 2017).

Se puede afirmar que el elemento central que se revela en la lógica opaca de las tecnologías algorítmicas es que las decisiones que estructuran los modelos de las máquinas son tomadas por seres humanos, quienes llevan consigo intereses económicos, políticos, sociales y diferencias culturales (Amaral et al. 2021). A pesar de la supuesta objetividad y neutralidad de estas tecnologías, es inevitable que reproduzcan efectos discriminatorios como consecuencia de su funcionamiento.

Referencias

  1. Amaral, Augusto Jobim do. 2017. A governamentalidade em tempos securitários. Caxias do Sul: Editora da Universidade de Caxias do Sul.
  2. Amaral, Augusto Jobim do. 2020a. “Biopolítica e biocapitalismo”. En Política da criminologia, editado por Augusto Jobim do Amaral, 103-163. São Paulo: Tirant Lo Blanch.
  3. Amaral, Augusto Jobim do, ed. 2020b. Política da criminologia. São Paulo: Tirant Lo Blanch.
  4. Amaral, Augusto Jobim do, Ana Clara Elesbão dos Santos y Felipe da Veiga Dias. 2021. “Gubernamentalidad algorítmica y nuevas prácticas punitivas”. Derechos en Acción 20 (20): 549. https://doi.org/10.24215/25251678e549
  5. Amaral, Augusto Jobim do. 2023. “Neoliberalismo, contrarrevolução e pós-fascismo no Brasil”. Destroços: Revista de Pensamento Radical 4 (1): 1-22. https://doi.org/10.53981/destroos.v4i1.46400
  6. Amaral, Augusto Jobim do y Felipe da Veiga Dias. 2024a. “Algoritmos e novos desdobramentos biopolíticos do controle”. Em Tecnopolítica criminal, editado por Augusto Jobim do Amaral y Felipe da Veiga Dias, 29-59. São Paulo: Tirant Lo Blanch.
  7. Amaral, Augusto Jobim do y Felipe da Veiga Dias. 2024b. “Controle social e governo de dados”. En Tecnopolítica criminal, editado por Augusto Jobim do Amaral y Felipe da Veiga Dias, 13-28. São Paulo: Tirant Lo Blanch.
  8. Amaral, Augusto Jobim do y Felipe da Veiga Dias. 2024c. “Surveillance no estado penal e as ‘novas’ tecnologias de controle biopolítico”. En Tecnopolítica criminal, editado por Augusto Jobim do Amaral y Felipe da Veiga Dias, 60-84. São Paulo: Tirant Lo Blanch.
  9. Amoore, Louise y Marieke de Goede. 2005. “Governance, Risk and Dataveillance in the War on Terror”. Crime, Law and Social Change 43: 149-173. https://doi.org/10.1007/s10611-005-1717-8
  10. Beiguelman, Giselle. 2021. Políticas da imagem: vigilância e resistência na dadosfera. São Paulo: Ubu.
  11. Brasil. 1988. Constituição da República Federativa do Brasil. Brasília: Câmara dos Deputados.
  12. Bruno, Fernanda. 2016. “Rastrear, classificar e performar”. Ciência e Cultura 68 (1): 34-38. http://dx.doi.org/10. 21800/2317-66602016000100012
  13. Chignola, Sandro. 2018. “A toupeira e a serpente”. Revista de Direitos e Garantias Fundamentais 19 (3): 239-269. Traducido por Augusto Jobim do Amaral. http://dx.doi.org/10.18759/rdgf.v19i3.1599
  14. Deleuze, Gilles. 1992. “Controle e devir”. En Conversações, 213-222. Traducido por Peter Pál Pelbart. São Paulo: 34.
  15. Deleuze, Gilles. 2006. “Post-scriptum sobre las sociedades de control”. Polis 13: 1-7. http://journals.openedition.org/polis/5509
  16. Electronic Frontier Foundation. 2023. Street Level Surveillance: Face Recognition. Electronic Frontier Foundation. https://sls.eff.org/technologies/face-recognition
  17. Elesbão, Ana Clara Santos, Jádia Timm dos Santos y Roberta Medina. 2020. “Quando as máscaras (do reconhecimento facial) caírem, será um grande carnaval”. En Algoritarismos, editado por Jesús Sabariego, Augusto Jobim do Amaral y Eduardo Baldissera Carvalho Salles, 247-259. São Paulo: Tirant Lo Blanch.
  18. Falcão, Cíntia. 2021. “Lentes racistas. Rui Costa está transformando a Bahia em um laboratório de vigilância com reconhecimento facial”. The Intercept Brasil, 20 de septiembre. https://www.intercept.com.br/2021/09/20/rui- costa-esta-transformando-a-bahia-em-um-laboratorio-de-vigilancia-com-reconhecimento-facial/
  19. Foucault, Michel. 1995. “O sujeito e o poder”. En Michel Foucault: uma trajetória filosófica (para além do estruturalismo e da hermenêutica), editado por Hubert Dreyfus y Paul Rabinow, 231-249. Traducido por Vera Porto Carrero. Río de Janeiro: Forense Universitária.
  20. Foucault, Michel. 2006a. “¿Qué es la Ilustración?”. En Sobre la ilustración, editado por Javier de la Higuera, 71-97. Traducido por Javier de la Higuera, Eduardo Bello y Antonio Campillo. Madrid: Tecnos.
  21. Foucault, Michel. 2006b. Seguridad, territorio, población. Curso en el Collège de France (1977-1978). Traducido por Horacio Pons. Buenos Aires: FCE.
  22. Foucault, Michel. 2007. Nacimiento de la biopolítica. Curso en el Collège de France (1978-1979). Traducido por Horacio Pons. Buenos Aires: FCE.
  23. Gama, Aliny. 2020. “Reconhecimento facial por app captura 42 foragidos no Carnaval de Salvador”. UOL, 26 de febrero. https://carnaval.uol.com.br/2020/noticias/redacao/2020/02/26/reconhecimento-facial-por-app-captura-42-foragidos-no-carnaval-de-salvador.htm
  24. Governo do Estado de São Paulo. 2020. “Discurso de João Doria na inauguração do Laboratório de Identificação Biométrica em 28 de janeiro”. https://soundcloud.com/governosp/discurso-de-joao-504599548
  25. Grother, Patrick, Mei Ngan y Kayee Hanaoka. 2019. Face Recognition Vendor Test (FRVT) Part 3: Demographic Effects. National Institute of Standards and Technology. https://doi.org/10.6028/NIST.IR.8280
  26. Harcourt, Bernard. 2015. Exposed: Desire and Disobedience in the Digital Age. Cambridge: Harvard University Press.
  27. Kafka, Franz. 2006. O processo. Traducido por Marcelo Backes. Porto Alegre: L&PM.
  28. Kember, Sarah. 2014. “Face Recognition and the Emergence of Smart Photography”. Journal of Visual Culture 13 (2): 182-199. https://doi.org/10.1177/1470412914541767
  29. Lima, Thallita, Thaís Cruz, Pedro Diogo y Felipe da Silva. 2024. Vigilância por lentes opacas: mapeamento da transparência e responsabilização nos projetos de reconhecimento facial no Brasil. Río de Janeiro: Centro de Estudos de Segurança e Cidadania.
  30. Lobato, Luisa Cruz, Pedro Augusto P. Francisco y Louise Marie Hurel. 2024. “Videomonitoramento”. Instituto Igarapé. https://igarape.org.br/videomonitoramento-webreport/
  31. Mayer-Schönberger, Viktor y Kenneth Cukier. 2013. Big Data: A Revolution That Will Transform How We Live, Work, and Think. Boston: Houghton Mifflin Harcourt.
  32. Mendes, Celso Helder Furtado y Fernando Vechi. 2020. “Tecnovigilância e controle e(m) tempos securitários: quem são os alvos?”. En Algoritarismos, editado por Jesús Sabariego, Augusto Jobim do Amaral y Eduardo Baldissera Carvalho Salles, 219-232. São Paulo: Tirant Lo Blanch.
  33. Ministério da Justiça e Segurança Pública. 2019. Portaria n.º 793, de 24 de outubro de 2019. Diario Oficial, sección 1, edición 208, 55-56. https://dspace.mj.gov.br/handle/1/1380
  34. Negri, Antonio y Michael Hardt. 2001. Império. Traducido por Berilo Vargas. Río de Janeiro: Record.
  35. Nunes, Pablo. 2019a. “EXCLUSIVO: levantamento revela que 90,5% dos presos por monitoramento facial no Brasil são negros”. The Intercept Brasil, 21 de noviembre. https://www.intercept.com.br/2019/11/21/presos- monitoramento-facial-brasil-negros/
  36. Nunes, Pablo. 2019b. “Novas ferramentas, velhas práticas: reconhecimento facial e policiamento no Brasil”. En Retratos da violência: cinco meses de monitoramento, análise e descobertas, coordinado por Silvia Ramos, 67-70. Río de Janeiro: Centro de Estudos de Segurança e Cidadania.
  37. Nunes, Pablo, Thallita G. L. Lima y Yasmin Rodrigues. 2023a. Das planícies ao planalto: como Goiás influenciou a expansão do reconhecimento facial na segurança pública brasileira. Río de Janeiro: Centro de Estudos de Segurança e Cidadania.
  38. Nunes, Pablo, Thallita G. L. Lima y Yasmin Rodrigues. 2023b. O sertão vai virar mar: Expansão do reconhecimento facial na Bahia. Río de Janeiro: Centro de Estudos de Segurança e Cidadania.
  39. O Panóptico. 2024. Monitor de novas tecnologias de segurança pública no Brasil. https://www.opanoptico.com.br/#mapa
  40. Osoba, Osonde y William Welser. 2017. An Intelligence in Our Image: The Risks of Bias and Errors in Artificial Intelligence. Santa Mónica: RAND Corporation. https://doi.org/10.7249/rr1744
  41. Pasquale, Frank. 2015. The Black Box Society: The Secret Algorithms That Control Money and Information. Cambridge: Harvard University Press.
  42. Reis, Carolina, Eduarda Almeida, Felipe da Silva y Fernando Dourado. 2021. Relatório sobre o uso de tecnologias de reconhecimento facial e câmeras de vigilância pela administração pública no Brasil. Brasília: Laboratório de Políticas Públicas e Internet.
  43. Revel, Judith. 2014. Foucault, un pensamiento de lo discontinuo. Traducido por Irene Agoff. Buenos Aires: Amorrortu.
  44. Rodríguez, Pablo Esteban. 2019. Las palabras en las cosas: saber, poder y subjetivación entre algoritmos y biomoléculas. Buenos Aires: Cactus.
  45. Rosa, Alexandre Morais da y Augusto Jobim do Amaral. 2017. “A ostentação penal”. En Cultura da punição: a ostentação do horror, 13-92. Florianópolis: Empório do Direito.
  46. Rouvroy, Antoinette y Thomas Berns. 2015. “Governamentalidade algorítmica e perspectivas de emancipação: o díspar como condição de individuação pela relação?”. Revista Eco Pós: Tecnopolíticas e Vigilância 18 (2): 36-56. Traducido por Pedro Henrique Andrade. https://doi.org/10.29146/eco-pos.v18i2.2662
  47. Schervenski da Silva, Tiago Luis. 2024. “Governamentalidade algorítmica e as tecnologias de reconhecimento facial: reconfigurações Punitivas no Contexto Brasileiro”. Tesis de grado, Pontifícia Universidade Católica do Rio Grande do Sul, Brasil.
  48. Schervenski da Silva, Tiago Luis y Valentina Simões Pires Curcio. 2025. “A ineficiência da aplicação da tecnologia de reconhecimento facial na segurança pública brasileira: uma análise jurídico-filosófica do uso do dispositivo securitário”. En Algoritarismos II, 732-742. Valencia: Tirant Lo Blanch.
  49. Silva, Tarcízio da. 2019. “Visão computacional e vieses racializados: branquitude como padrão no aprendizado de máquina”. Anais do II Congresso de Pesquisadoras/es Negras/os do Nordeste, Epistemologias negras e lutas antirracistas, editado por Sérgio Rodrigues de Santana, Solange P. Rocha y Ana Marinho Cristina Lúcio, 811-823. https://www.periodicos.ufpb.br/index.php/ci/issue/view/2402
  50. Silva, Tarcízio da. 2022. Racismo algorítmico: inteligência artificial e discriminação nas redes digitais. São Paulo: Edições Sesc.
  51. Universidade Federal do Ceará. 2024. RIPD — Relatório de Impacto de Proteção de Dados. https://lgpd.ufc.br/pt/ripd-relatorio-de-impacto-de-protecao-de-dados/
  52. Zuboff, Shoshana. 2018. “Big other: capitalismo de vigilância e perspectivas para uma civilização de informação”. En Tecnopolíticas da vigilância: perspectivas da imagem, editado por Fernanda Bruno, Bruno Cardoso, Marta Kanashiro, Luciana Guilhon y Lucas Melgaço, 17-68. São Paulo: Boitempo.

✽ El artículo es el resultado del trabajo de grado en Derecho presentado por el primer autor en diciembre de 2024, en la Pontifícia Universidade Católica do Rio Grande do Sul (Brasil), bajo la orientación del coautor y se deriva de una investigación desarrollada en un programa de iniciación científica, entre 2023 y 2024. A principios de 2024, se publicó un ensayo preliminar, como capítulo del libro Algoritarismos II (editado por Augusto Jobim do Amaral, Jesús Sabariego y Ana Clara Elesbão. Valencia: Tirant lo Blanch), también como resultado de la investigación. Esta versión presenta modificaciones sustanciales en relación con el ensayo, ofrece una mayor densidad teórica, solidez argumentativa y rigor analítico. Integra, además, la fundamentación teórica con el análisis de los datos de la experiencia brasileña y sistematiza íntegramente los resultados obtenidos. El autor principal fue el responsable de la revisión bibliográfica, la sistematización de las ideas y la redacción del manuscrito, mientras que el coautor colaboró con la supervisión, la revisión crítica y la mejora del texto. No se utilizaron herramientas de inteligencia artificial en su elaboración. La traducción al español de este texto fue financiada por la Friedrich-Ebert Stiftung en Colombia (Fescol).

1 “El conjunto de mecanismos por medio de los cuales aquello que en la especie humana constituye sus rasgos biológicos fundamentales podrá ser parte de una política, una estrategia política, en una estrategia general de poder; en otras palabras, cómo, a partir del siglo XVIII, la sociedad, las sociedades occidentales modernas, tomaron en cuenta el hecho biológico fundamental de que el hombre constituye una especie humana” (Foucault 2006b, 15).

2 Todas las traducciones son libres.

3 “El conjunto constituido por las instituciones, los procedimientos, análisis y reflexiones, los cálculos y las tácticas que permiten ejercer esa forma bien específica, aunque muy compleja, de poder que tiene por blanco principal la población, por forma mayor de saber la economía política y por instrumento técnico esencial los dispositivos de seguridad. Segundo, por ‘gubernamentalidad’ entiendo la tendencia, la línea de fuerza que, en todo Occidente, no dejó de conducir, y desde hace mucho, hacia la preeminencia del tipo de poder que podemos llamar ‘gobierno’ sobre todos los demás: soberanía, disciplina, y que indujo, por un lado, el desarrollo de toda una serie de aparatos específicos de gobierno, […] el desarrollo de toda una serie de saberes. Por último, creo que habría que entender la ‘gubernamentalidad’ como el proceso o, mejor, el resultado del proceso en virtud del cual el Estado de justicia de la Edad Media, convertido en Estado administrativo durante los siglos XV y XVI, se ‘gubernamentalizó’ poco a poco” (Foucault 2006b, 136).

4 “La computación visual (visual computing) es un término que abarca áreas de la informática e iniciativas interdisciplinarias dedicadas a construir sistemas para la comprensión automatizada de imágenes y videos. Es decir, se busca crear softwares y hardwares computacionales capaces de comprender objetos, entidades y situaciones a partir de información visual, como imágenes y fotogramas de video. Sus implicaciones son amplias, desde la industria y la mecatrónica, hasta el marketing y la publicidad” (Silva 2020, 433).

5 “El big data es, sobre todo, el componente fundamental de una nueva lógica de acumulación, profundamente intencional y con importantes consecuencias, que denomino capitalismo de vigilancia. Esta nueva forma de capitalismo de la información busca predecir y modificar el comportamiento humano como medio para generar ingresos y controlar el mercado” (Zuboff 2018, 18).

6 Ver más en el sitio web O Panóptico disponible en opanoptico.com.br/#mapa

Tiago Luis Schervenski da Silva

Estudiante de la maestría en Filosofía de la Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS), Brasil. Investigador vinculado al grupo de investigación Criminología, Cultura Punitiva y Crítica Filosófica (PUCRS). https://orcid.org/0009-0000-9780-1274 | tiago.silva01@edu.pucrs.br

Ricardo Jacobsen Gloeckner

Doctor en Derecho por la Universidade Federal do Paraná, Brasil. Profesor del programa de posgrado en Ciencias Penales de la Pontifícia Universidade Católica do Rio Grande do Sul, Brasil. Publicaciones recientes: “Tre tesi sull’incostituzionalità sostanziale dell’articolo 383 del codice di procedura penale brasiliano” (en coautoría), Diritto e Giustizia Minorile 3-4: 76-92, 2024; y “Um sistema de informantes? Notas sobre o direito ao confronto e o estímulo a uma justiça criminal underground” (en coautoría), Revista Brasileira de Políticas Públicas 13: 180-211, 2023, https://doi.org/10.5102/rbpp.v13i1.8751. https://orcid.org/0000-0002-1205-380X | ricardo.gloeckner@pucrs.br