Luego del lanzamiento de un primer modelo de texto a voz (TTS), los investigadores han buscado formas de mejorar la forma en que estos sistemas generan el habla. El último modelo de Microsoft, VALL-E, supone un importante paso adelante en este aspecto.
Tan solo recordemos como hace unos días Microsoft ya anunció su idea de integrar ChatGPT dentro de sus principales soluciones como Bing, que se espera de cara a este primer trimestre de 2023. Además, todo apunta a que Microsoft también estaría desarrollando la forma para integrar ChatGPT con su paquete de programas para ofimática Office. Reseñó CH.
Microsoft denomina a esta herramienta como un «modelo de lenguaje de códec neural», y se basa en una tecnología llamada EnCodec, que Meta anunció en octubre de 2022. A diferencia de otros métodos de conversión de texto en voz que suelen sintetizar el habla manipulando las formas de onda, VALL-E genera códigos de códec de audio a partir de texto e indicaciones acústicas.
Este modelo, analiza cómo suena una persona, descompone esa información gracias a EnCodec, y utiliza datos de entrenamiento para hacer coincidir lo que ha aprendido sobre cómo sonaría esa voz si pronunciara otras frases fuera de la muestra dada.
Microsoft entrenó las capacidades de síntesis de voz de VALL-E con una biblioteca de audio, creada por Meta, llamada LibriLight. Contiene 60.000 horas de habla inglesa de más de 7.000 hablantes, en su mayoría extraídas de audiolibros de dominio público de LibriVox. ComputerHoy