Conteúdo6 secções
Como funcionaARTIGO
Para onde vai o segundo
Numa chamada real para a nossa demo o agente começou a falar 1,09 segundo depois de a pessoa parar: 0,48 s para decidir que ela tinha terminado, 0,54 s para a primeira frase do modelo, 0,07 s para o primeiro som. O que é cada parte e por que uma instalação local precisa medir tudo de novo.
Costa4 min de leitura
Resposta curta
A pausa antes de um agente de voz responder são três atrasos seguidos: decidir que a pessoa terminou, o modelo de linguagem produzir a primeira frase e o sintetizador produzir o primeiro som. Numa chamada para a nossa demo em 9 de outubro de 2026, com modelos na nuvem, foram 0,48 s, 0,54 s e 0,07 s, ou 1,09 s no total. No seu próprio hardware cada um desses números muda e precisa ser medido de novo sob carga.
Fatos principais
- Chamada para a demo, 9 de outubro de 2026, modelos na nuvem: detecção do fim de turno e rede 0,48 s, primeira frase do modelo 0,54 s, primeiro áudio sintetizado 0,07 s, 1,09 s no total.
- O critério de aceitação que propomos é escrito por cenário: por exemplo, resposta mediana não mais lenta que 1,5 segundo na linha real do cliente.
- O tempo de resposta é aceito como mediana e percentil 90 sob uma carga combinada, não como a melhor chamada.
Ao telefone, as pessoas esperam uma resposta depois de uma pausa de mais ou menos um segundo. Se demora bem mais, dizem "alô?", começam a se repetir ou falam por cima da resposta, e a chamada deixa de soar como conversa.
Então a pergunta útil sobre um agente de voz não é o quanto o modelo é inteligente. É em que esse segundo é gasto.
As três partes de uma pausa
Em 9 de outubro de 2026 pegamos uma chamada real para a nossa demo, que roda com modelos na nuvem, e dividimos o intervalo entre a última palavra de quem liga e o primeiro som do agente.
| Parte | Tempo |
|---|---|
| Decidir que a pessoa terminou, mais a rede | 0,48 s |
| A primeira frase do modelo de linguagem | 0,54 s |
| O primeiro som do sintetizador | 0,07 s |
| Do fim da frase até a voz | 1,09 s |
Uma chamada, um momento, modelos na nuvem. É uma decomposição, não um benchmark, e a página de entrega mostra o mesmo número com a mesma ressalva.
Saber que a pessoa terminou
Os primeiros 0,48 segundo vão em esperar que o silêncio signifique alguma coisa.
Quem para no meio de um endereço não terminou, e quem diz "sim" e para, terminou. O agente tem de distinguir um do outro só pelo som, sem o rosto e a respiração que um atendente humano lê. Espera curta demais, e o agente interrompe as pessoas no meio da frase. Longa demais, e toda resposta começa atrasada. O mesmo mecanismo decide quando o agente deve se calar porque foi interrompido, que é o tema de quem ligou e interrompeu, e quando um "uhum" só indica que a pessoa está ouvindo.
Isso é configuração, não hardware. Muda com os seus clientes e os seus cenários, e precisa ser ajustado em chamadas reais, não numa linha silenciosa de escritório.
A primeira frase do modelo
Os 0,54 segundo seguintes são do modelo de linguagem, e a palavra importante é "primeira". O agente não espera a resposta inteira. Ele precisa da primeira frase, entrega para a voz e continua escrevendo o resto enquanto quem liga já ouve o começo.
Por isso a velocidade do modelo até a primeira frase importa muito mais que a velocidade numa resposta longa, e uma primeira frase curta ("Entendi, apartamento de dois quartos.") é uma decisão de projeto e não um tique. É também a parte que mais muda quando você sai da nuvem: um modelo local nas suas placas pode ser mais rápido ou mais lento, e fica mais lento quando várias pessoas param de falar ao mesmo tempo. O que isso significa para o servidor está em em que roda um agente de voz.
O primeiro som
Os últimos 0,07 segundo são o sintetizador começando a falar. É a menor parte na nossa chamada porque a voz começa a tocar assim que as primeiras palavras existem, e não depois de gerar a frase inteira.
Um sintetizador local pode perder essa vantagem se precisar terminar a frase antes de tocá-la. É uma propriedade do modelo que você escolhe, e vale verificar antes de escolher.
O que acontece com os números nos seus servidores
Quando os modelos saem da nuvem, cada linha da tabela volta a ser uma pergunta.
A detecção do fim de turno fica mais ou menos onde está, porque é sobretudo configuração, mas a parte de rede muda com onde o servidor fica e como a chamada chega até ele. A primeira frase do modelo é definida pelo seu modelo nas suas placas e por quantas pessoas esperam resposta no mesmo momento. O primeiro som é definido pelo sintetizador escolhido. E a própria chamada telefônica acrescenta o seu atraso no caminho, parte do que medimos em dois trechos móveis.
Por isso não prometemos o 1,09 segundo da demo para uma instalação totalmente local. Prometemos medir: primeiro em hardware alugado, com os seus cenários e o seu pico real, antes de comprar o servidor.
Como escrever isso na aceitação
Uma chamada boa não prova nada sobre a centésima chamada de uma manhã cheia. O critério que propomos tem três partes: uma mediana e um percentil 90, do fim da frase de quem liga até a voz do agente, sob um número combinado de chamadas simultâneas, na sua linha real. Uma linha típica da especificação diz "resposta mediana não mais lenta que 1,5 segundo".
Escrito assim, "o agente é lento" deixa de ser uma impressão e vira um número que os dois lados mediram do mesmo jeito.
Perguntas que isto levanta
- Qual é um bom tempo de resposta para um agente de voz?
- As pessoas esperam uma resposta depois de uma pausa de mais ou menos um segundo. Na nossa demo o agente respondeu em 1,09 s numa chamada real. Para a aceitação propomos fixar uma mediana e um percentil 90, por exemplo mediana não mais lenta que 1,5 segundo, medidos na sua linha e no seu pico.
- Qual parte é a mais lenta?
- Na chamada medida, a primeira frase do modelo de linguagem, com 0,54 s, seguida de perto por decidir que a pessoa tinha terminado, com 0,48 s. A síntese foi a menor parte, 0,07 s. Com modelos locais as proporções podem ser completamente diferentes.
- Por que vocês não prometem a mesma latência nos nossos servidores?
- Porque o 1,09 s foi medido com modelos na nuvem e numa única chamada. Um modelo local nas suas placas, com várias chamadas ao mesmo tempo, tem o próprio tempo até a primeira frase, e o honesto é medi-lo em hardware alugado antes que alguém compre um servidor.