Whisper czyli nowe fajne do rozpoznawania mowy

Jutro.

ok

Whisper jest w Pythonie, więc w ogóle można robić wszystko, jak się zna ten język. :)

Napotykam jeszcze jeden problem. Niby chce mi się to robić przy pomocyy Cuda, ale krzyczy cuś, że ma za mało pamięci. Musiał by kto zerknąć, bo sam niestety nie ogarniam.

Jak wyłączyłeś plik stronicowania i próbujesz robić na medium to nie zrobisz, włącz mu, jak wyłączyłęś, a jak na large to pewnie masz za mało vramu, mi large nie idzie na 6gb.

robię na Medium, a plik stronicowania mam włączony, i wirtualnej mam ponad 36 gb.

Ale tu nie chodzi o pamięć RAM, tylko VRAM (pamięć karty graficznej).

No to też powiedziałem, że wirtualną mam włączoną. Chyba, że grafa też ma plik stronicowania?

NIe zawsze.

U mnie meium nie dawał się odpalić, jak stronicowania był wyłączony, po prostu, bo sę ni dało i koniec.

dziwne, mi large działa z integrą i jedynie 16 gb ramu, pewnie będzie działać całą noc,ale pamięci nie brakuje. Jak rozumiem, jak używam integry, to integra korzysta z RAM. Z tego, co widzę sam proces bierze mi jakieś 7 gb, co oznacza, że taka karta z 8 gb RAM już powinna sobie radzić nawet z large.

a jak mu ustawić, żeby brał se grafę zintegrowaną?

chyba, że tak dzieje się jedynie w przypadku, gdy nie mamy dedykowanej.

Dodaj przełącznik --device cpu

Aaa to tak prubowałem nawet. Idzie to to, ale wolniutko. Jak robię z pomocą CUDA, to krzyczy że pamięć jest alokowana, czy jakoś tak. Przepraszam za upierdliwość, ale z konsolą miałem tyle wspulnego, ile niewidomy o kolorach, czyli coś tam gdzieś tam się wyobraża, ale realnie, hmmm...

Jeszcze jedno. Pluje mi się, że mam FP16 - co kolwiek to znaczy, a proponuje wykorzystanie FP32. Jak to przełączyć? Wie ktoś?

Komunikat niżej:

C:\Program Files\Python39\lib\site-packages\whisper\transcribe.py:78: UserWarning: FP16 is not supported on CPU; using FP32 instead

to tak ma być. Jak nie używasz grafiki.

no dobrze, ale ja chciałem właśnie na CPU zrobić z modelem Large. Teraz przekleję komunikat z Cuda i modelem Medium:

File "C:\Program Files\Python39\lib\site-packages\torch\nn\modules\module.py", line 925, in convert
return t.to(device, dtype if t.is_floating_point() or t.is_complex() else None, non_blocking)
RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0; 4.00 GiB total capacity; 3.48 GiB already allocated; 0 bytes free; 3.49 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

Przepuściłem to przez tłumacza, wyszło, że Cuda ma za mało pamięci. Mam 4 GB na grafice. Czy poza tym coś z powyższego komunikatu wynika?