Los deepfakes, que una vez fueron una novedad, han evolucionado rápidamente hasta convertirse en una amenaza sistémica para los negocios, la sociedad y la democracia, exigiendo una regulación urgente, herramientas de detección robustas y una mayor alfabetización mediática para salvaguardar la confianza en el mundo digital.
Los deepfakes ya no son una novedad. Están convirtiéndose rápidamente en una amenaza sistémica para los negocios, la sociedad y la democracia. Según el Parlamento Europeo, alrededor de 8 millones de deepfakes se compartirán en 2025, en comparación con solo 0.5 millones en 2023. En el Reino Unido, dos de cada cinco personas afirman haber encontrado al menos un deepfake en los últimos seis meses. Pero donde antes podían ser relativamente fáciles de detectar, la creciente sofisticación de los modelos de IA disponibles públicamente ha hecho que la detección sea más difícil que nunca.
Los avances en redes generativas antagónicas (GANs) y modelos de difusión han sido catalizadores del crecimiento de deepfakes avanzados y hiperrealistas. Ambas tecnologías han sido fundamentales para habilitar el intercambio de rostros y la modulación de voz sin problemas en videollamadas o transmisiones en vivo. Esto ha mejorado masivamente la experiencia del usuario, con capacidades como avatares virtuales que hacen que los juegos y las reuniones sean más personalizados e inmersivos. Pero también ha abierto la puerta a estafas de suplantación en tiempo real.
Podrías pensar que solo los no iniciados no reconocerían una suplantación de alguien que conocen bien y en quien confían. Pero en mayo del año pasado, un grupo de estafadores se hizo pasar por un gerente senior de la firma de ingeniería Arup, convenciendo con éxito a un empleado del departamento de finanzas para transferir 200 millones de HK$ a cinco cuentas bancarias locales. Ataques similares suplantando a empleados senior y CEOs se han lanzado contra empresas como Ferrari, WPP y Wiz en los últimos 12 meses, socavando la confianza en las comunicaciones digitales.
La clonación de voz también ha aumentado junto con los deepfakes. La síntesis de voz impulsada por IA ahora es capaz de replicar la voz humana con un grado de precisión asombroso. Sorprendentemente, solo unos segundos de audio son suficientes para crear un clon casi perfecto. Eso podría ser genial para todo tipo de usos creativos, como audiolibros personalizados o doblaje, pero tiene el potencial de causar un daño inmenso.
En julio de este año, una mujer en Florida fue engañada para entregar US$15k en dinero de fianza después de escuchar lo que creía que era su hija pidiendo ayuda tras un accidente automovilístico. El llamador, un clon de IA que actuaba como su hija, eventualmente transfirió la llamada a un supuesto abogado, quien proporcionó instrucciones para la transferencia. El hecho de que estos clones se ensamblen utilizando meras muestras de las voces de las personas, que se pueden encontrar fácilmente a través de canales de redes sociales, resalta el potencial de mal uso.
En las redes sociales, la línea entre la realidad y la ficción se está desdibujando. Los influencers virtuales generados por IA dominan el panorama del marketing en línea, ofreciendo a las marcas personalidades completamente controlables. Las audiencias ahora tienen que navegar en un mundo donde las personalidades legítimas y artificiales son virtualmente indistinguibles, lo que plantea preguntas sobre la autenticidad en los medios. En Hollywood, se utilizan deepfakes para rejuvenecer a los actores o recrear figuras históricas. Si bien eso permite a las empresas de producción mejorar la calidad de su contenido a un costo relativamente bajo, también le da a los estafadores los medios para reproducir un parecido convincente de celebridades famosas y usarlo para provocar controversia.
Pero las apuestas son mucho más altas que la tergiversación de celebridades. Los deepfakes pueden usarse para sembrar división política, al difundir narrativas falsas o fabricar videos de figuras políticas dando discursos falsos. Las consecuencias pueden ser profundas, influyendo en la opinión pública, cambiando el rumbo de las elecciones nacionales y potencialmente envenenando el discurso político global.
Frente a tantas amenazas, los gobiernos de todo el mundo están respondiendo. En Europa, la Ley de IA contiene una cláusula para el etiquetado obligatorio de contenido generado o modificado con la ayuda de IA, que debe etiquetarse como tal para hacer que los usuarios sean conscientes de su origen. Aunque la ley no prohíbe los deepfakes, prohíbe el uso de sistemas de IA que manipulen a las personas de manera encubierta en ciertos contextos. Algunos gobiernos están utilizando o invirtiendo activamente en tecnologías de detección que pueden identificar cambios sutiles en voces, rostros o imágenes.
Pero la regulación aún se queda atrás en comparación con la tecnología. El etiquetado obligatorio, los algoritmos de detección de artefactos de IA y la forense de audio son una parte importante de la solución, pero controlar la amenaza de los deepfakes requiere una estrategia mucho más amplia y completa. Una regulación robusta y pautas éticas, junto con la inversión en alfabetización mediática, tienen un papel igual, si no mayor, en la lucha contra el fraude y la desinformación de los deepfakes.
La regulación y las pautas éticas deben volverse más proactivas, con el uso de marcas de agua y estándares de divulgación obligatorios convirtiéndose en características habituales de cualquier estrategia de deepfake. La alfabetización mediática, por otro lado, debe ser tratada como una prioridad. Los ciudadanos deben estar equipados con las habilidades de pensamiento crítico para cuestionar lo que ven y oyen. Solo trabajando juntos, entre reguladores, el sector privado y la sociedad civil, podemos proteger la vida digital y asegurar que la amenaza de los deepfakes se convierta en cosa del pasado.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
El caso a favor de la regulación de los deepfakes
En Breve
Los deepfakes, que una vez fueron una novedad, han evolucionado rápidamente hasta convertirse en una amenaza sistémica para los negocios, la sociedad y la democracia, exigiendo una regulación urgente, herramientas de detección robustas y una mayor alfabetización mediática para salvaguardar la confianza en el mundo digital.
Los deepfakes ya no son una novedad. Están convirtiéndose rápidamente en una amenaza sistémica para los negocios, la sociedad y la democracia. Según el Parlamento Europeo, alrededor de 8 millones de deepfakes se compartirán en 2025, en comparación con solo 0.5 millones en 2023. En el Reino Unido, dos de cada cinco personas afirman haber encontrado al menos un deepfake en los últimos seis meses. Pero donde antes podían ser relativamente fáciles de detectar, la creciente sofisticación de los modelos de IA disponibles públicamente ha hecho que la detección sea más difícil que nunca.
Los avances en redes generativas antagónicas (GANs) y modelos de difusión han sido catalizadores del crecimiento de deepfakes avanzados y hiperrealistas. Ambas tecnologías han sido fundamentales para habilitar el intercambio de rostros y la modulación de voz sin problemas en videollamadas o transmisiones en vivo. Esto ha mejorado masivamente la experiencia del usuario, con capacidades como avatares virtuales que hacen que los juegos y las reuniones sean más personalizados e inmersivos. Pero también ha abierto la puerta a estafas de suplantación en tiempo real.
Podrías pensar que solo los no iniciados no reconocerían una suplantación de alguien que conocen bien y en quien confían. Pero en mayo del año pasado, un grupo de estafadores se hizo pasar por un gerente senior de la firma de ingeniería Arup, convenciendo con éxito a un empleado del departamento de finanzas para transferir 200 millones de HK$ a cinco cuentas bancarias locales. Ataques similares suplantando a empleados senior y CEOs se han lanzado contra empresas como Ferrari, WPP y Wiz en los últimos 12 meses, socavando la confianza en las comunicaciones digitales.
La clonación de voz también ha aumentado junto con los deepfakes. La síntesis de voz impulsada por IA ahora es capaz de replicar la voz humana con un grado de precisión asombroso. Sorprendentemente, solo unos segundos de audio son suficientes para crear un clon casi perfecto. Eso podría ser genial para todo tipo de usos creativos, como audiolibros personalizados o doblaje, pero tiene el potencial de causar un daño inmenso.
En julio de este año, una mujer en Florida fue engañada para entregar US$15k en dinero de fianza después de escuchar lo que creía que era su hija pidiendo ayuda tras un accidente automovilístico. El llamador, un clon de IA que actuaba como su hija, eventualmente transfirió la llamada a un supuesto abogado, quien proporcionó instrucciones para la transferencia. El hecho de que estos clones se ensamblen utilizando meras muestras de las voces de las personas, que se pueden encontrar fácilmente a través de canales de redes sociales, resalta el potencial de mal uso.
En las redes sociales, la línea entre la realidad y la ficción se está desdibujando. Los influencers virtuales generados por IA dominan el panorama del marketing en línea, ofreciendo a las marcas personalidades completamente controlables. Las audiencias ahora tienen que navegar en un mundo donde las personalidades legítimas y artificiales son virtualmente indistinguibles, lo que plantea preguntas sobre la autenticidad en los medios. En Hollywood, se utilizan deepfakes para rejuvenecer a los actores o recrear figuras históricas. Si bien eso permite a las empresas de producción mejorar la calidad de su contenido a un costo relativamente bajo, también le da a los estafadores los medios para reproducir un parecido convincente de celebridades famosas y usarlo para provocar controversia.
Pero las apuestas son mucho más altas que la tergiversación de celebridades. Los deepfakes pueden usarse para sembrar división política, al difundir narrativas falsas o fabricar videos de figuras políticas dando discursos falsos. Las consecuencias pueden ser profundas, influyendo en la opinión pública, cambiando el rumbo de las elecciones nacionales y potencialmente envenenando el discurso político global.
Frente a tantas amenazas, los gobiernos de todo el mundo están respondiendo. En Europa, la Ley de IA contiene una cláusula para el etiquetado obligatorio de contenido generado o modificado con la ayuda de IA, que debe etiquetarse como tal para hacer que los usuarios sean conscientes de su origen. Aunque la ley no prohíbe los deepfakes, prohíbe el uso de sistemas de IA que manipulen a las personas de manera encubierta en ciertos contextos. Algunos gobiernos están utilizando o invirtiendo activamente en tecnologías de detección que pueden identificar cambios sutiles en voces, rostros o imágenes.
Pero la regulación aún se queda atrás en comparación con la tecnología. El etiquetado obligatorio, los algoritmos de detección de artefactos de IA y la forense de audio son una parte importante de la solución, pero controlar la amenaza de los deepfakes requiere una estrategia mucho más amplia y completa. Una regulación robusta y pautas éticas, junto con la inversión en alfabetización mediática, tienen un papel igual, si no mayor, en la lucha contra el fraude y la desinformación de los deepfakes.
La regulación y las pautas éticas deben volverse más proactivas, con el uso de marcas de agua y estándares de divulgación obligatorios convirtiéndose en características habituales de cualquier estrategia de deepfake. La alfabetización mediática, por otro lado, debe ser tratada como una prioridad. Los ciudadanos deben estar equipados con las habilidades de pensamiento crítico para cuestionar lo que ven y oyen. Solo trabajando juntos, entre reguladores, el sector privado y la sociedad civil, podemos proteger la vida digital y asegurar que la amenaza de los deepfakes se convierta en cosa del pasado.