«Dessa»: el modelo de voz de Block que imita las emociones humanas

Imagina una conversación con un asistente de voz que no se limita a responder tus preguntas, sino que ríe en el momento oportuno, suspira al hablar de una jornada laboral agotadora y se le quiebra la voz cuando expresa gratitud. Eso es precisamente lo que intenta ofrecer la compañía «Block», dirigida por Jack Dorsey, a través de su nuevo modelo de voz «Dessa», surgido del laboratorio de investigación interno de la empresa y capaz de funcionar localmente en hardware de consumo sin necesidad de servicios en la nube.

¿Qué distingue a «Dessa» desde el punto de vista técnico?

El aspecto esencial del diseño de «Dessa» es que se trata de un modelo de voz a voz (speech-to-speech) entrenado íntegramente con habla humana, no con texto. La mayoría de los sistemas de voz extendidos hoy funcionan mediante una cadena de tres etapas: convertir el habla del usuario en texto, pasar ese texto a un gran modelo de lenguaje para generar la respuesta y, finalmente, convertir la respuesta en voz. Esa mediación textual es la causa de que se pierda una enorme cantidad de información que el texto no puede transportar, como el tono, la emoción, la velocidad del habla y el registro de la voz.

Block describe este problema con total franqueza en su blog: considera que convertir la voz en texto implica renunciar a una capa riquísima de significado, y que los sistemas de inteligencia artificial más potentes del mundo hoy «no pueden oír cómo te sientes», algo que la compañía juzga una experiencia incompleta y potencialmente peligrosa en determinados contextos.

Una conversación bidireccional sin esperas

«Dessa» es un modelo full-duplex (totalmente dúplex), es decir, capaz de hablar y escuchar al mismo tiempo, al igual que lo que presentó «OpenAI» con su modelo de voz en directo. Esta característica elimina la lógica de «turno a turno» que vuelve forzada la conversación con los asistentes de voz tradicionales: puedes interrumpirlo, y él puede intervenir con una breve palabra de confirmación mientras hablas, exactamente como ocurre en el diálogo humano natural.

Lo más llamativo es que la compañía afirma que el conocimiento del modelo proviene de los datos de conversaciones con los que fue entrenado, sin depender de un gran modelo de lenguaje independiente para recuperar información: una opción arquitectónica distinta de la predominante en este campo.

Emociones integradas en lugar de «etiquetas» artificiales

Muchos modelos actuales de generación de voz, como algunas versiones de ElevenLabs y Fish Audio, se basan en etiquetas textuales que dirigen la emoción: una etiqueta para la risa, otra para el susurro y una tercera para la tristeza. Block sostiene que la emoción en «Dessa» está integrada en el propio modelo y no añadida desde fuera, aunque la compañía no ha aclarado de forma categórica si existe algún mecanismo de orientación oculto que cumpla esa misma función.

Los investigadores de la empresa han publicado varias grabaciones demostrativas que muestran al modelo con distintas voces y tonos:

• Una conversación en la que el modelo menciona que está cansado del trabajo, y su tono suena efectivamente fatigado.
• Un fragmento en el que habla de lo cómodo que se siente con su interlocutor, con una voz emocionada que casi se quiebra.
• Un juego interactivo de adivinanzas con una de las integrantes del equipo, en el que el modelo respondió con rapidez y precisión.

Funciona en tu dispositivo… pero aún no está disponible

En términos prácticos, Block afirma que «Dessa» fue entrenado en un único rack de unidades de procesamiento gráfico de Nvidia y que es capaz de funcionar localmente en un ordenador de consumo como un «MacBook» con procesador M4 Max o superior. Ejecutar un modelo de voz en el propio dispositivo implica menor latencia, mayor privacidad y un coste operativo muy inferior al de depender de servicios en la nube.

Con todo, el modelo no está disponible para el público todavía. La compañía ha optado por abrir primero la puerta a las pruebas por parte de investigadores de seguridad, una decisión lógica a la vista de los riesgos evidentes: un modelo de voz con esta naturalidad podría emplearse para la suplantación de identidad, estafas telefónicas y manipulación emocional.

¿Por qué le interesa la voz a una empresa financiera?

La entrada de Block en el mercado de los modelos de voz puede parecer sorprendente, pero resulta lógica al observar su actividad. La compañía ofrece soluciones financieras y comerciales para pequeñas empresas, y su plataforma «Square» ya utiliza inteligencia artificial de voz para la recepción de pedidos. Disponer de un modelo de voz propio que funcione en el dispositivo le permite ampliar estas experiencias —desde la atención de llamadas hasta el servicio al cliente y la gestión de reservas— con un coste menor y mayor independencia de los proveedores externos.

Una lectura del panorama general

Uno de los investigadores de la compañía describió el lanzamiento como «el momento GPT-3 de la voz», una calificación que conviene tomar con cautela hasta que el modelo esté disponible para pruebas independientes. Pero la tendencia general es clara: el paso de la arquitectura «voz → texto → voz» a modelos puramente de voz se ha convertido en el eje de la competencia en este ámbito. Y si este enfoque tiene éxito, transformará la forma de interactuar con los sistemas inteligentes en centros de llamadas, asistentes personales y aplicaciones educativas y sanitarias.

La verdadera apuesta aquí no reside únicamente en el realismo de la voz, sino en la capacidad de las empresas para establecer salvaguardas que impidan el uso indebido de una tecnología que ya puede imitar las emociones humanas con una precisión inquietante.

✦ بقلم فريق دروب أيديا