Narzędzia › AI na urządzeniu
Automatyczne napisy i zamiana mowy na tekst
Zamień mowę z filmu lub nagrania na napisy dzięki Whisper od OpenAI, działającemu w przeglądarce. Popraw dowolny wiersz, a potem pobierz SRT, VTT lub TXT albo wtop napisy w film.
Model mowy pobiera się na urządzenie tylko raz; nagranie nigdy go nie opuszcza. Nic się nie zacznie, dopóki nie wybierzesz pliku.
Jak to działa
- Dźwięk jest dekodowany na tym urządzeniu i zamieniany na 16 kHz mono, czyli format, którego słucha Whisper.
- Długie nagrania są dzielone w naturalnych pauzach na części do 30 sekund, a każda część jest transkrybowana z czasami. Wiersze pojawiają się, gdy tylko część jest gotowa.
- Język jest wykrywany z pierwszej wypowiedzi albo możesz go wybrać. Przetłumacz na angielski zamienia mowę w dowolnym z 99 języków Whisper na angielskie napisy.
- Działa na karcie graficznej (GPU) przez WebGPU, jeśli jest dostępne, a w przeciwnym razie na procesorze przez WebAssembly.
Pytania
Czy mój film jest wysyłany?
Nie. Model mowy pobiera się raz z Hugging Face i zostaje na urządzeniu; plik nigdy nie opuszcza tej karty.
Ile zajmuje pobieranie?
Bez WebGPU model Szybki ma około 41 MB, a Dokładny około 77 MB. Z WebGPU wersje na GPU mają około 120 MB i 206 MB. Oba zostają zapisane na następny raz.
Ile to trwa?
Z WebGPU zwykle znacznie krócej niż samo nagranie. Na procesorze Szybki potrzebuje mniej więcej połowy długości nagrania, a Dokładny mniej więcej całej, plus pierwsze pobieranie.
Jaki model jest używany?
Whisper tiny (Szybki) i Whisper base (Dokładny) od OpenAI na licencji MIT, w wersjach ONNX opublikowanych przez Hugging Face. Napisów możesz używać komercyjnie.
Czy mogę dodać napisy do filmu?
Tak. Wtop w film otwiera narzędzie do wtapiania napisów z Twoimi wierszami i filmem, gotowymi do ostylowania i eksportu.