Whisper czyli nowe fajne do rozpoznawania mowy

Ja mam RTX 3090,TI ciekawe jak u mnie

@tomecki Musisz zainstalować Cudę.

Mam zainstalowaną. Co do cyferek to nie zauważyłem, że Whisper sam sobie różne pliki tworzy w tym taki z samym tekstem.

Pewnie nie potrafi tych wszystkich plików znaleźć, masz w zmiennej %path% czy jak ona tam isę nazywała te wszystkie odnośniki do katalogów, gdzie cuda jest zainstalowane?

Nie wydaje mi się. Path; C:\Users\napis\AppData\Local\Programs\Python\Python39\Scripts\;C:\Users\napis\AppData\Local\Programs\Python\Python39\;C:\Users\napis\AppData\Local\Microsoft\WindowsApps

Nie wiem co tam ma być w takim razie do Cuda.

Najłatwiej sprawdzić, odpalając pythona z konsoli (python lub python3) i wpisując dwie komendy:
import torch
torch.cuda.is_available()

Jak wyskoczy False, Torch nie widzi Cuda, jak True, problem jest gdzieś indziej.

No i jest True.

Dziwne, ja w ogóle nie mam ich zainstalowanych a pewne rzeczy mi działają.

Torch nie jest żadnym wyznacznikiem, bo u mnie też działa, a nie mam zainstalowanego cuda w ogóle.

A nie ma tam jakiegoś przełącznika, który by tym sterował? bo np. co zrobić jeśli mam taką średnią kartę i część modeli mogę ładować na gpu, ale część już nie?

Torch jest wyznacznikiem, bo Whisper na Torchu stoi.
A masz pewność, że to idzie po CPU? U mnie od razu ładnie wykryło 1650 TI, właśnie teraz sprawdziłem.

XPS 9500 to świetny komputer, ale nie powstał z myślą o AI i to widać. Na profilu base, czyli tym który poprzednio podrzucałem, osiągana prędkość transkrypcji to ok. 2,5x, na profilu small ok. 1x, na medium (już taki naprawdę dobry) ok. 0,4x i na large 0,2x. Testowane na Tyfloprzeglądzie.
Bije CPU na głowę, ale wciąż nie porywa.
Czekam z zainteresowaniem na wyniki z RTX-ów.

PS. Jak trzeba być nienormalnym, żeby napisać program do generowania syntezatorów z absolutnie wszystkiego, spinając w tandem Whispera i RHVoice do transkrypcji i ćwiczenia z dowolnego audio?
Polecam się na przyszłość! :D

No, CPU jest zajęte w 75%, a w ramie zajęte 4.5gb przy medium.
Też myślałem o spięciu Whispera i RH, ale często to chyba nawet zbyt dużo, przy najmniej jeśli chodzi o audiobooki, bo tam z reguły tekst już jest tylko trzeba wiedzieć, gdzie jesteśmy konkretnie w tym tekście i odpowiednio audio poszatkować.

A jak z GPU? Bo to wygląda, jakby było OK. Przy AI nie jest tak, że procesor nie będzie pracował. GPU wspomaga obliczenia, ale nie zastępuje procka.

Tak sobie radzi na profilu small. ;)

Już lepiej. Testowałem na swoim, bo u mnie było sporo tła no i sam się trochę plątałem.

Ustawiłem na wszelki wypadek model na small i GPU nie robi nic, przy najmniej tak pokazuje Armory Crate.

A dostajesz warning o przeskoku na FP32? Bo jeśli nie, to pracuje na pewno na GPU.

Dostaję.