Ferramentas › IA no dispositivo

Legendas automáticas e fala em texto

Transforme a fala de um vídeo ou gravação em legendas com o Whisper da OpenAI rodando no seu navegador. Corrija qualquer linha e baixe SRT, VTT ou TXT, ou embuta no vídeo.

O modelo de voz é baixado uma única vez no seu dispositivo; sua gravação nunca sai dele. Nada começa até você escolher um arquivo.

Modelo

Como funciona

  1. O som é decodificado neste dispositivo e convertido para 16 kHz mono, o formato que o Whisper escuta.
  2. Gravações longas são cortadas em partes de até 30 segundos nas pausas naturais, e cada parte é transcrita com marcações de tempo. As linhas aparecem assim que cada parte termina.
  3. O idioma é detectado pela primeira fala, ou você pode escolhê-lo. Traduzir para o inglês transforma a fala em qualquer um dos 99 idiomas do Whisper em legendas em inglês.
  4. Roda na sua placa de vídeo com WebGPU quando há uma; caso contrário, no processador com WebAssembly.

Perguntas

Meu vídeo é enviado?

Não. O modelo de voz é baixado uma vez do Hugging Face e fica guardado no seu dispositivo; o seu arquivo nunca sai desta aba.

Qual o tamanho do download?

Sem WebGPU, o Rápido tem cerca de 41 MB e o Preciso cerca de 77 MB. Com WebGPU, as versões para placa de vídeo têm cerca de 120 MB e 206 MB. Os dois ficam guardados para a próxima vez.

Quanto tempo leva?

Com WebGPU costuma ser bem mais rápido que a duração da gravação. No processador, o Rápido leva cerca de metade da duração e o Preciso a duração inteira, mais o download inicial.

Qual modelo é usado?

Whisper tiny (Rápido) e Whisper base (Preciso), da OpenAI, sob licença MIT, nas versões ONNX publicadas pelo Hugging Face. Você pode usar as legendas comercialmente.

Posso colocar as legendas no meu vídeo?

Sim. Embutir no vídeo abre a ferramenta de legendas com as suas linhas e o seu vídeo já carregados, prontos para estilizar e exportar.