Transkrypcja nagrań na tekst w 3 minuty, na GPU z modelem Whisper

Model Whisper ma znaną słabość: gdy w nagraniu jest cisza, muzyka albo szum, potrafi wstawić w to miejsce zdanie, które brzmi naturalnie i nigdy nie padło. W badaniach na setkach tysięcy nagrań bez mowy działo się to w czterech przypadkach na dziesięć. Dla notatki ze spotkania to irytujące. Dla protokołu rozmowy z klientem albo konsultacji lekarskiej to problem, który trudno potem odkręcić.

Dlatego nagranie najpierw przechodzi przez detekcję mowy, a do modelu trafiają tylko fragmenty, w których ktoś naprawdę mówi. Powtarzające się pętle usuwamy, a zdania z listy typowych zmyśleń wycinamy automatycznie. W raporcie z każdej transkrypcji widzisz, ile sekund ciszy i hałasu odfiltrowaliśmy, więc masz pewność, że tekst odpowiada temu, co było w nagraniu.

Na publicznych zbiorach testowych Whisper czyta polski z błędem rzędu kilku procent. Na prawdziwych nagraniach z gabinetu lekarskiego ten sam model w badaniu z AGH mylił się w co drugim słowie. Różnica bierze się z tego, że benchmarki to czytane, wyraźne zdania, a prawdziwe rozmowy mają skróty, nazwy własne, liczby i dwie osoby mówiące naraz.

Dlatego przed wdrożeniem prosimy o godzinę typowych nagrań z Twojej firmy. Transkrybujemy je, porównujemy z ręcznym zapisem i oddajemy raport z dokładnością dla każdego rodzaju nagrania: rozmowy telefoniczne, spotkania, dyktowanie. Na tej podstawie dobieramy silnik i ustawienia, a Ty wiesz, czego się spodziewać, zanim zapłacisz pierwszą fakturę.

Ogólny model nie zna nazw leków, numerów artykułów z Twojego katalogu ani skrótów, którymi posługuje się Twój zespół. Zwykle naprawia się to dostrajaniem na nagraniach, co wymaga zebrania i spisania wielu godzin audio. Jest prostsza droga. Model da się nauczyć słownictwa na samym tekście: na dokumentacji, słownikach, protokołach i wcześniejszych transkrypcjach, które już masz.

Trening prowadzimy na naszych kartach GPU w Polsce, a dostrojony model pracuje wyłącznie dla Ciebie. Zakres i koszt ustalamy po obejrzeniu materiałów, bo zależą od tego, ile specjalistycznego słownictwa trzeba modelowi pokazać.