Modelo

PolyAI lleva su modelo de voz en tiempo real a SageMaker JumpStart

PolyAI Dialog-RSN-1 ya esta disponible en AWS Marketplace y en el catalogo de Amazon SageMaker JumpStart, y es el primer modelo de la compania que se ofrece a traves del marketplace.

PolyAI lleva su modelo de voz en tiempo real a SageMaker JumpStart

SageMaker aloja el modelo de voz que PolyAI ya usa en llamadas reales

Amazon ha abierto en su catalogo de Amazon SageMaker JumpStart el modelo Dialog-RSN-1 de PolyAI, una firma britanica especializada en agentes de voz para centros de contacto. Es el primer modelo de la compania que se comercializa a traves de AWS Marketplace y, en la practica, significa que un equipo puede levantar un agente de conversacion en tiempo real con la misma clicking con la que despliega cualquier otro modelo del hub, sin construir la parte mas dificil por su cuenta: entender una llamada en vivo y responder en el momento preciso.

La novedad tecnica que defiende el anuncio no es tanto el catalogo como el modo de trabajo del modelo. Dialog-RSN-1 opera en una sola pasada: percibe directamente el audio de quien llama, razona sobre lo que necesita y contesta en tiempo real. No hay una etapa separada de transcripcion previa ni un modelo de razonamiento que intervenga despues, y por tanto tampoco hay relevos entre componentes. Para un ingeniero de redes y telecomunicaciones esto tiene una consecuencia practica muy concreta: la latencia de la ruta de audio deja de depender de una cadena de servicios encadenados y se reduce a un unico salto entre el endpoint y el operador.

Este diseno tambien cambia lo que el modelo es capaz de captar. Al trabajar sobre la senal de audio original y no sobre la mejor aproximacion de un transcriptor, el modelo registra el tono, las vacilaciones y el ritmo de la conversacion, tres señales que se pierden en cuanto el audio pasa por un proceso de transcripcion. AWS sostiene que esa lectura es la que permite que el agente note una frustacion antes de que escale y decida por su cuenta cuando es el momento adecuado para hablar.

Desde el punto de vista de la integracion, el endpoint habla el protocolo OpenAI Realtime. Eso significa que un cliente Realtime ya existente se conecta cambiando simplemente su URL base para apuntar al puente de PolyAI. El audio de entrada es PCM mono de 16 bits a 16 o 24 kHz, por lo que cualquier flujo que llegue en G.711 u Opus debe transcodificarse antes, y cada conexion se mantiene hasta 30 minutos. El modelo es, por ahora, en ingles.

El despliegue corre dentro de la cuenta del cliente, desplegado en su propia VPC, bajo sus roles de IAM y con la monitorizacion de CloudWatch que ya tiene montada para el resto de cargas. El argumento comercial es el de la residencia de datos: como la inferencia ocurre dentro de la cuenta, el audio y las transcripciones de las llamadas se quedan dentro de un perimetro que el cliente controla, lo cual facilita cumplir requisitos de auditoria y de localizacion de datos en los contactos que lo exigan.

El cliente conserva la orquestacion, la integracion con la telefonia y la logica de negocio, que es donde de verdad estan los limites de un agente de voz: la policy de escalado a un operador humano, el enrutado por IVR, los horarios o la gestion de las transferencias. Lo que se compra es el nucleo conversacional.

SageMaker JumpStart anade un detalle comodo con los perfiles de optimizacion nombrados, que sustituyen el ajuste manual de infraestructura. El perfil centrado en latencia minimiza el tiempo hasta el primer token, pensado para el uso interactivo; el centrado en rendimiento maximiza los tokens por segundo cuando el volumen de llamadas es alto; el centrado en coste minimiza el gasto de infraestructura por peticion; y el equilibrado sirve para uso general. Antes de arrancar, la consola muestra las metricas clave, latencia P50, tiempo hasta el primer token y throughput, para dimensionar la instancia ml.* adecuada al trafico sin tener que benchmarkear decenas de combinaciones a mano. Todo el flujo se puede hacer desde la consola o desde el SDK de Python de SageMaker, de forma que el despliegue cabe en una tuberia de integracion continua y entrega continua.

PolyAI include ademas un cuaderno de ejemplo que reproduce audio grabado de llamadas e imprime las decisiones de turno del modelo, sus respuestas y las transcripciones, de manera que se puede probar el comportamiento con los propios audios antes de meter nada en produccion.

Resumen

  • PolyAI Dialog-RSN-1 ya esta disponible en AWS Marketplace y en el catalogo de Amazon SageMaker JumpStart, y es el primer modelo de la compania que se ofrece a traves del marketplace.
  • El modelo razona directamente sobre el audio de la llamada en una sola pasada, sin paso separado de transcripcion ni relevos entre componentes, por lo que capta tono, vacilaciones y ritmo.
  • El endpoint habla el protocolo OpenAI Realtime: un cliente Realtime existente solo tiene que cambiar su URL base. Admite audio PCM mono de 16 bits a 16 o 24 kHz, conexiones de hasta 30 minutos y, por ahora, solo ingles.
  • El despliegue ocurre dentro de la VPC del cliente, con sus roles de IAM y la monitorizacion de CloudWatch, de modo que el audio y las transcripciones quedan bajo el control de residencia y auditoria del cliente.
  • JumpStart ofrece perfiles de optimizacion nombrados (latencia, rendimiento, coste y equilibrado) y muestra latencia P50, tiempo hasta el primer token y throughput antes de desplegar, para dimensionar la instancia ml.* sin benchmarking manual.
Opinión

El salto interesante aqui no es la marca del modelo, sino el protocolo. Que el endpoint exponga la interfaz OpenAI Realtime significa que el contrato entre la IA y la red telefonica se estandariza, y con el se estandariza tambien la parte que mas problemas da en los despliegues reales: como se comporta el audio cuando la llamada pasa por un SIP con compresion, cuando hay eco de la central o cuando la red introduce jitter. Un modelo que razona sobre el audio real es mucho mas sensible a esos defectos que uno que solo ve texto, de modo que la calidad de la red deja de ser un detalle de la infraestructura y pasa a ser parte del comportamiento del modelo.

Para quien opera centros de contacto, el cambio tambien es interesante por lo que no se ha movido: la orquestacion, la telefonia y la logica de negocio siguen siendo del cliente. El salto de razonamiento sobre audio en tiempo real es un hecho, no una garantia de que los agentes de voz esten listos para sustituir a los humanos en tareas que requieren criterio. Lo que si es real es que la frontera entre un sistema que entiende una llamada y uno que solo la transcribe se acaba de desplazar de forma notable, y eso va a empujar durante los proximos meses a los proveedores de telefonia a exponer sus flujos como endpoints compatibles con este tipo de protocolo.

Mi duda practica es la de siempre en estos anuncios: el rendimiento con audio de llamada real y el rendimiento con las grabaciones limpias de los cuadernos de ejemplo no suelen ser el mismo. Los perfiles de optimizacion de JumpStart y las metricas que muestra antes del despliegue ayudan, pero habra que medir con trafico de la propia central y con la propia compresion, no con los ejemplos del fabricante. Y el limite de 30 minutos por conexion, el idioma unico y la necesidad de transcodificar el audio son limites reales que habra que tener presentes al dimensionar. Aun asi, que un modelo de voz de produccion se despliegue con un clic, con VPC propia y con metricas visibles, es un salto de madurez de la infraestructura que va a facilitar mucho la vida a quien tenga que ponerlo en servicio.

Fuente original

Referencia y documentación original: Amazon Web Services.

https://aws.amazon.com/blogs/machine-learning/polyai-dialog-rsn-1-is-now-on-amazon-sagemaker-jumpstart/