Whisper czyli nowe fajne do rozpoznawania mowy
Wróć do Nowości, odkrycia, newsy#101 zywek
Jutro.
#102 Pitef
ok
#103 pajper
Whisper jest w Pythonie, więc w ogóle można robić wszystko, jak się zna ten język. :)
Shoot for the Moon. Even if you miss, you'll land among the stars.
#104 Pitef
Napotykam jeszcze jeden problem. Niby chce mi się to robić przy pomocyy Cuda, ale krzyczy cuś, że ma za mało pamięci. Musiał by kto zerknąć, bo sam niestety nie ogarniam.
#105 zywek
Jak wyłączyłeś plik stronicowania i próbujesz robić na medium to nie zrobisz, włącz mu, jak wyłączyłęś, a jak na large to pewnie masz za mało vramu, mi large nie idzie na 6gb.
#106 Pitef
robię na Medium, a plik stronicowania mam włączony, i wirtualnej mam ponad 36 gb.
#107 pajper
Ale tu nie chodzi o pamięć RAM, tylko VRAM (pamięć karty graficznej).
Shoot for the Moon. Even if you miss, you'll land among the stars.
#108 Pitef
No to też powiedziałem, że wirtualną mam włączoną. Chyba, że grafa też ma plik stronicowania?
#109 zywek
NIe zawsze.
#110 zywek
U mnie meium nie dawał się odpalić, jak stronicowania był wyłączony, po prostu, bo sę ni dało i koniec.
#111 papierek
dziwne, mi large działa z integrą i jedynie 16 gb ramu, pewnie będzie działać całą noc,ale pamięci nie brakuje. Jak rozumiem, jak używam integry, to integra korzysta z RAM. Z tego, co widzę sam proces bierze mi jakieś 7 gb, co oznacza, że taka karta z 8 gb RAM już powinna sobie radzić nawet z large.
#112 Pitef
a jak mu ustawić, żeby brał se grafę zintegrowaną?
#113 Pitef
chyba, że tak dzieje się jedynie w przypadku, gdy nie mamy dedykowanej.
#114 pajper
Dodaj przełącznik --device cpu
Shoot for the Moon. Even if you miss, you'll land among the stars.
#115 Pitef
Aaa to tak prubowałem nawet. Idzie to to, ale wolniutko. Jak robię z pomocą CUDA, to krzyczy że pamięć jest alokowana, czy jakoś tak. Przepraszam za upierdliwość, ale z konsolą miałem tyle wspulnego, ile niewidomy o kolorach, czyli coś tam gdzieś tam się wyobraża, ale realnie, hmmm...
#116 Pitef
Jeszcze jedno. Pluje mi się, że mam FP16 - co kolwiek to znaczy, a proponuje wykorzystanie FP32. Jak to przełączyć? Wie ktoś?
#117 Pitef
Komunikat niżej:
C:\Program Files\Python39\lib\site-packages\whisper\transcribe.py:78: UserWarning: FP16 is not supported on CPU; using FP32 instead
#118 papierek
to tak ma być. Jak nie używasz grafiki.
#119 Pitef
no dobrze, ale ja chciałem właśnie na CPU zrobić z modelem Large. Teraz przekleję komunikat z Cuda i modelem Medium:
File "C:\Program Files\Python39\lib\site-packages\torch\nn\modules\module.py", line 925, in convert
return t.to(device, dtype if t.is_floating_point() or t.is_complex() else None, non_blocking)
RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0; 4.00 GiB total capacity; 3.48 GiB already allocated; 0 bytes free; 3.49 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF
#120 Pitef
Przepuściłem to przez tłumacza, wyszło, że Cuda ma za mało pamięci. Mam 4 GB na grafice. Czy poza tym coś z powyższego komunikatu wynika?