Whisper czyli nowe fajne do rozpoznawania mowy

Wtedy pluje się, że 'whisper' is not recognized as an internal or external command,

A co zwróciła Ci ostatnia komenda?
pip install git+https://github.com/openai/whisper.git

Collecting git+https://github.com/openai/whisper.git
Cloning https://github.com/openai/whisper.git to c:\users\napis\appdata\local\temp\pip-req-build-pa1esemj
Running command git clone --filter=blob:none --quiet https://github.com/openai/whisper.git 'C:\Users\napis\AppData\Local\Temp\pip-req-build-pa1esemj'
Resolved https://github.com/openai/whisper.git to commit 0b1ba3d46ebf7fe6f953acfd8cad62a4f851b49f
Preparing metadata (setup.py) ... done
Requirement already satisfied: numpy in g:\venv\whisper\lib\site-packages (from whisper==1.0) (1.23.3)
Requirement already satisfied: torch in g:\venv\whisper\lib\site-packages (from whisper==1.0) (1.12.1)
Requirement already satisfied: tqdm in g:\venv\whisper\lib\site-packages (from whisper==1.0) (4.64.1)
Requirement already satisfied: more-itertools in g:\venv\whisper\lib\site-packages (from whisper==1.0) (8.14.0)
Requirement already satisfied: transformers>=4.19.0 in g:\venv\whisper\lib\site-packages (from whisper==1.0) (4.22.2)
Requirement already satisfied: ffmpeg-python==0.2.0 in g:\venv\whisper\lib\site-packages (from whisper==1.0) (0.2.0)
Requirement already satisfied: future in g:\venv\whisper\lib\site-packages (from ffmpeg-python==0.2.0->whisper==1.0) (0.18.2)
Requirement already satisfied: packaging>=20.0 in g:\venv\whisper\lib\site-packages (from transformers>=4.19.0->whisper==1.0) (21.3)
Requirement already satisfied: huggingface-hub<1.0,>=0.9.0 in g:\venv\whisper\lib\site-packages (from transformers>=4.19.0->whisper==1.0) (0.10.0)
Requirement already satisfied: filelock in g:\venv\whisper\lib\site-packages (from transformers>=4.19.0->whisper==1.0) (3.8.0)
Requirement already satisfied: requests in g:\venv\whisper\lib\site-packages (from transformers>=4.19.0->whisper==1.0) (2.28.1)
Requirement already satisfied: regex!=2019.12.17 in g:\venv\whisper\lib\site-packages (from transformers>=4.19.0->whisper==1.0) (2022.9.13)
Requirement already satisfied: pyyaml>=5.1 in g:\venv\whisper\lib\site-packages (from transformers>=4.19.0->whisper==1.0) (6.0)
Requirement already satisfied: tokenizers!=0.11.3,<0.13,>=0.11.1 in g:\venv\whisper\lib\site-packages (from transformers>=4.19.0->whisper==1.0) (0.12.1)
Requirement already satisfied: colorama in g:\venv\whisper\lib\site-packages (from tqdm->whisper==1.0) (0.4.5)
Requirement already satisfied: typing-extensions in g:\venv\whisper\lib\site-packages (from torch->whisper==1.0) (4.3.0)
Requirement already satisfied: pyparsing!=3.0.5,>=2.0.2 in g:\venv\whisper\lib\site-packages (from packaging>=20.0->transformers>=4.19.0->whisper==1.0) (3.0.9)
Requirement already satisfied: certifi>=2017.4.17 in g:\venv\whisper\lib\site-packages (from requests->transformers>=4.19.0->whisper==1.0) (2022.9.24)
Requirement already satisfied: urllib3<1.27,>=1.21.1 in g:\venv\whisper\lib\site-packages (from requests->transformers>=4.19.0->whisper==1.0) (1.26.12)
Requirement already satisfied: charset-normalizer<3,>=2 in g:\venv\whisper\lib\site-packages (from requests->transformers>=4.19.0->whisper==1.0) (2.1.1)
Requirement already satisfied: idna<4,>=2.5 in g:\venv\whisper\lib\site-packages (from requests->transformers>=4.19.0->whisper==1.0) (3.4)
WARNING: You are using pip version 22.0.4; however, version 22.2.2 is available.
You should consider upgrading via the 'g:\venv\whisper\Scripts\python.exe -m pip install --upgrade pip' command.

(whisper) G:\venv\whisper\Scripts>

Jeśli uruchamiam go jako python whisper-script.py to działa, ale tylko na cpu.

Czekaj, ale ty jesteś w jakimś katalogu z wirtualnym środowiskiem, to może mieszać. Spróbuj wg mojej instrukcji, ale w jakimś innym folderze, czymkolwiek, nawet domyślnym %userprofile%.
cd %userprofile%

I w ogóle to najlepiej zamknij linię poleceń, bo nie wiadomo, co tam do środowiskowych powskakiwało, i odpal cmd od początku.

Niby tak, ale mam jeszcze kilka rzeczy np. Ultimate Vocal Remover i nie wiem, czy się nie pogryzą bibliotekami. Swoją drogą tamten działa na GPU mimo, że też jest w venv, a ten test z wykrywaniem cuda robiłem właśnie w tym wirtualnym środowisku.

To by wymagało głębszego zbadania tematu po prostu. Trzeba by prześledzić, co tam jakie zależności ładuje. Bo jeśli masz jakiegoś whispera w exe, to on sam w sobie ma kolejne środowisko wirtualne i dlatego nie działa GPU.

No to interesujące jest. Po co komu pakować środowisko w exe, do narzędzia, do któreo najlepiej używać z GPU bez niezbędnych do działania na GPU bibliotek?

Ok, ale ładując via Python również używany jest CPU.

Trzeba by zasymulować, co tam u Ciebie się dzieje. Bo odpalasz to z wirtualnego środowiska. Trzeba zbadać, jakie zależności są w tym wirtualnym, jakie w normalnym i co z czego jest inicjowane.
Ja bym zalecał uruchomienie whispera z normalnego środowiska i sprawdzenie, czy tam działa, tak jak podawałem.

@tomecki cudnn masz?

a czy to nie jest tak, że mając biblioteki do UVRa nie wykorzystamy ich do Whispera?

Nie wiem, u mnie jest RuntimeError: Unable to find a valid cuDNN algorithm to run convolution
Także i tak nei działa, gtx1660ti stacjonarna tym razem.

ja jestem ciekawy czy to u mnie co kolwiek ruszy, mam karte geforce, ale ona napewno nie wspiera tego cuda czy jak mu tam jest, no i to ta karta z serii mx więc ciekawe na ile to będzie gorzej rozpoznane jakościowo, kiedy gpu małe a cpu no cuż też nie najwyższych lotów, może komputer mi nie wybuchnie jak potestuje.

Jak to sprawdzić?

A o co pytasz? Domyślnie nie masz, musisz ściągnńąć, albo mogę Ci wysłać cudnn 9.5 dla cuda 11.

No właśnie o to Cudn. Swoją drogą u mnie żadnych errorów nie było więc nie wiem jak to z tym Cudnem jest, a przy najmniej nic program nie pokazał prócz tego ostrzeżenia na temat fp16.

Mi nigdy tego fp16 nie pokazywał. Dobra, wystawię, daj chwilę.

Ostrzeżenie o FP16 pojawia się tylko wtedy, jak uruchamiamy Whispera na CPU.