Polski dubbing -Jak by wyglądał? -filmik podglądowy

Obecnie pracuję nad modyfikacjami do Mafii na polski dubbing i na tekstury HD:

Bardzo fajnie, jak myślisz ile tworzenie tej modyfikacji zajmie ci czasu ?

No kilka miesięcy się z tym zejdzie. Mafia ma prawie 10 tysięcy plików dźwiękowych, to spolszczenie tego wszystkiego trochę zajmie, zanim wydam moda gotowego do pobrania i zagrania. Natomiast w między czasie będę publikował filmiki na YouTube z cutscenkami z gry z polskim dubbingiem. To jest bardzo powolna syzyfowa praca, bo trzeba przepisywać dialogi bohaterów po polsku fonetycznie. Tak to wygląda „od kuchni”:


Do tego potrzebna jest dość spora moc obliczeniowa z kart graficznych z najwyższej półki cenowej, żeby zrobić taki pojedynczy głos. Na szczęście Google udostępnia karty graficzne za darmo do celów edukacyjnych w usłudze Google Colab. Przykładowo waveglow dla Tommiego Angelo robił się z 3 tygodnie, pół miliona iteracji.


No to zapraszam do oglądania. Na razie wersja alfa, będę musiał popracować jeszcze nad emocjami w głosach:

Na szczęście mam już pomysł jak można je zrobić. Jeden użytkownik pracuje nad modelem 0 języka polskiego dla Flowtrona.

W mojej amatorskiej wersji dubbingu do Mafii głosy większości głównych bohaterów będą takie same jak w oryginale. Natomiast postacie poboczne i epizodyczne będą mieli inne głosy, ze względu na zbyt małą liczbę próbek. Z Luigim będzie problem, bo ma mega mało próbek tylko 1 minutę i 14 sekund, na dodatek aktor głosowy go grający nie miał również większych ról w innych grach, filmach czy serialach, więc będzie problem. Ten sam problem jest z Michelle. Z Sarah też nie ciekawie, bo tylko 2 minuty i 22 sekundy, ale babka ją grająca jest znaną aktorką grającą w filach i serialach, więc w razie czego jest z czego wycinać. Być może będę musiał niestety zastąpić ich jakimiś innymi głosami. Próbowałem robić Detektywa Normana, który ma tylko 2 minuty i 34 sekundy próbek w grze, ale nie jestem zadowolony z efektu końcowego, brzmi trochę jakby nie miał zębów. 2 i pół minuty to zdecydowanie za mało, żeby zrobić dobrej jakości głos. Detektyw Norman podkładał głos jako lektor w 2004 roku, ale to chyba nie będzie pasowało, bo jednak styl mówienia i ton głosu jest inny. Być może niektóre głosy zrobię z czeskiej wersji, ale będę się starał, żeby jednak jak najwięcej było oryginałów.

Mafia Polski Dubbing AI to projekt, w którym pierwszy raz w historii polskiego dubbingu w grach komputerowych, główni bohaterowie mają takie same głosy jak w oryginale. Ciężka praca w ciągu ostatnich miesięcy zaowocowała, że teraz mogłem spolszczyć cały pierwszy rozdział. W filmie jest prototypowa wersja emocji w głosach (od momentu 4:00). W finalnej wersji chciałbym nagrywać wszystkie kwestie i nanosić emocje i intonacje na oryginalny głos, ale na razie jest z tym problem techniczny. W stosunku do poprzedniego filmu z przed miesiąca, została trochę poprawiona jakość głosu Tommiego Angelo. Jeśli chodzi o Detektywa Normana, to tutaj jakość głosu jest trochę słaba, ze względu na ekstremalnie mały zbiór uczący (2:34), ale chyba od biedy ujdzie. W każdym bądź razie, to na razie jest wersja alfa polskiego dubbingu, w finalnej w wersji możliwe są pewne zmiany.


Zapraszam również do obejrzenia mojego pobocznego projektu, gdzie przerobiłem dwa popularne głosy japońskie z popularnego anime JoJo – Dio i Jotaro, aby gadały po polsku. Te głosy zrobione przeze mnie, zarówno Dio i Jotaro, jak i te z Mafii udostępniłem dla strony Mekatron, co może się przydać do robienia amatorskiego dubbingu dla modyfikacji.

Niech zrobią dubbing byłoby super

Postanowiłem wziąć do serca komentarz Michała, który napisał pod filmem, że jakość głosów nie jest zbyt dobra i zrobiłem od nowa waveglowy dla Tommiego Angelo i Dona Salieri. W stosunku do wersji sprzed kilku miesięcy, w tej wszystkie kwestie Tommiego zostały podmienione na te w lepszej jakości dźwięku. Próbowałem również trenować własny model flowtrona, aby dodać emocję do głosów. Niestety, ale pomimo 2 tygodni intensywnego treningu, mój model na razie radzi sobie tylko z bardzo krótkimi wypowiedziami i trzeba generować jedną kwestię po kilka lub kilkanaście razy, zanim wygeneruje się coś sensownego. W tym filmie udało mi się dodać emocję za pomocą flowtrona jedynie do kilku krótkich wypowiedzi. Na szczęście mam jeszcze osobne modele zwykłego tacotrona na emocję wykrzyknik dla Tommiego, Pauliego i Sama, więc jeśli chodzi o ten film, to nie jest najgorzej pod względem emocji w głosach.

Polski dubbing AI do drugiej misji Mafii „Uciekinier” z oryginalnymi głosami głównych bohaterów w poprawionej lepszej jakości dźwięku. Dubbing postaci epizodycznych został wykonany Mekatronem, w czerwcu jak jeszcze istniał. Dzięki temu, że osobiście zupgradowałem sobie komputer, znacznej poprawie uległ także obraz, który teraz jest w WQHD 2K i 60 FPS-ach:

Polski dubbing AI do Mafii z oryginalnymi angielskimi głosami. Jest to już trzecia wersja filmu, tym razem poprawiona przy użyciu najnowszej technologii Flowtron. Miałem co prawda zawiesić na jakiś czas ten projekt ze względu na mniej czasu, ale Herob niespodziewanie wytrenował mi nowy model, więc żal byłoby nie wypróbować chociaż na jednym filmie. Serdeczne podziękowania za poświęcony czas na trening Google Colab. Flowtron w przeciwieństwie do Tacotrona2 może zawierać w sobie nie jeden, a wiele nawet kilkaset głosów. Dzięki temu, że do modelu zostało dorzucone w ponad 90% polskie postacie, te angielskie mówią teraz zdecydowanie płynniej, z o wiele mniejszym akcentem, w większości kwestiach można by nawet uznać, że prawie jak prawdziwi Polacy. No można niezłe efekty uzyskać, ale niestety trzeba strasznie dużo razy próbek generować zanim się dobrą wylosuje. Od razu na 10 ustawiłem, żeby generowało. Większość próbek wychodzi zbugowana, postać albo brzmi jak pijana albo połyka zgłoski lub całe wyrazy. Dłuższe kwestie np. 6 sekund lepiej w miarę możliwości rozbić na dwie części i ręcznie sklejać w audacity. Jeśli chodzi o kwestie krzyczące, to zostawiłem je na razie w starej technologii Tacotron2, bo miałem problem wygenerować Flowtronem, postać albo mówiła zdanie twierdząco pomimo postawienia wykrzyknika, albo jak krzyczała to głos mało przypominał oryginał. W sumie ten wkurzony Paulie w wersji Tacotrona2 brzmi całkiem nieźle, trochę gorzej z Samem i Tommim, to rzeczywiście będę musiał poprawić kiedyś przy okazji, jeśli zdecyduję się na kontynuowanie tego projektu.

Poprawiona wersja polskiego dubbingu AI do drugiego rozdziału Mafii. Tym razem wersja w lepszej jakości dźwięku i bez angielskiego akcentu. Dzięki zastosowaniu modelu multispikerowego Flowtron, w którym było 33,7 godzin próbek polskich głosów (96%) i 91 minuty (4%) angielskich, to te angielskie mówią teraz w większości z polskim akcentem. Podziękowania za pomoc w trenowaniu modelu na Colabie dla Heroba. Muszę przyznać, że nowa wersja Dona Salieri brzmi całkiem nieźle.

Dubbing, nad którym pracowałem kilka dni. Tym razem połączyłem tradycyjny dubbing nagrywany mikrofonem z technologią AI. Najpierw nagrałem wszystkie kwestie profesjonalnym mikrofonem Blue Yeti, a następnie przerobiłem na docelowe głosy postaci dzięki sztucznej inteligencji. Wyjątkiem są postacie Żółtego Peta i Detektywa Normana, gdzie zastosowałem starszą technologie text to speech, ponieważ mój głos jest zbyt młody do tych postaci.

Prolog i pierwsza misja Mafii z polskim dubbingiem AI z oryginalnymi angielskimi głosami. To już czwarta wersja tego filmu, ale wreszcie jakość jest dobra, tak jak należy. Z perspektywy czasu, myślę że w 2021 roku trochę się pośpieszyłem z tym projektem, bo wymagało to mnóstwo czasu w spisywanie wszystkich dialogów w sposób fonetyczny, a i tak efekt był w najlepszym razie mocno średniawy. Dopiero niedawno technologia syntezy mowy poszła mocno do przodu i teraz zrobienie modeli głosu wymaga nieporównywalnie mniej czasu i na dodatek jest o wiele lepsza jakość dźwięku.

Poprawiam ten film już po raz czwarty, jednak teraz dzięki postępowi techniki w końcu brzmi to jak należy. Głosy mają o wiele lepszą jakość i są lepsze emocje. W przeciwieństwie do poprzednich wersji, jest też pewna nowość - misja Impreza koktajlowa jest teraz w całości i są nowe głosy po polsku Vincenza i Ralfa.