Ulepszona ekstrakcja parametrów funkcji z sygnałów mowy przy użyciu algorytmu uczenia maszynowego(1)

Abstrakcyjny: Rozpoznawanie mowy odnosi się do możliwości oprogramowania lub sprzętu do odbierania sygnału mowy, identyfikowania cech mówcy w sygnale mowy, a następnie rozpoznawania mówcy. Ogólnie rzecz biorąc, proces rozpoznawania mowy obejmuje trzy główne etapy: przetwarzanie akustyczne, ekstrakcję cech oraz klasyfikację/rozpoznawanie. Celem wyodrębniania cech jest zilustrowanie sygnału mowy przy użyciu z góry określonej liczby składowych sygnału. Dzieje się tak, ponieważ wszystkie informacje zawarte w sygnale akustycznym są nadmiernie kłopotliwe w obsłudze, a niektóre informacje są nieistotne w zadaniu identyfikacji. W tym badaniu zaproponowano podejście oparte na uczeniu maszynowym, które przeprowadza ekstrakcję parametrów cech z sygnałów mowy w celu poprawy wydajności aplikacji do rozpoznawania mowy w inteligentnych środowiskach miejskich w czasie rzeczywistym. Co więcej, zasada mapowania bloku pamięci głównej do pamięci podręcznej jest efektywnie wykorzystywana w celu skrócenia czasu obliczeń. Rozmiar bloku pamięci podręcznej jest parametrem silnie wpływającym na wydajność pamięci podręcznej. W szczególności implementacja takich procesów w systemach czasu rzeczywistego wymaga dużej szybkości obliczeniowej. Szybkość przetwarzania odgrywa ważną rolę w rozpoznawaniu mowy w systemach czasu rzeczywistego. Wymaga to zastosowania nowoczesnych technologii i szybkich algorytmów zwiększających przyspieszenie wydobywania parametrów cech z sygnałów mowy. Problemy z przetaktowywaniem podczas cyfrowego przetwarzania sygnałów mowy nie zostały jeszcze całkowicie rozwiązane. Wyniki eksperymentów pokazują, że proponowana metoda z powodzeniem wyodrębnia cechy sygnału i zapewnia bezproblemową klasyfikację w porównaniu z innymi konwencjonalnymi algorytmami rozpoznawania mowy.

Cistanche deserticola

Słowa kluczowe: rozpoznawanie mowy; Równoległe obliczenia; przetwarzanie rozproszone; procesor wielordzeniowy; ekstrakcja cech; Analiza spektralna

1. Wstęp

Ustanowienie podejścia do komunikacji między ludźmi a technologią komputerową jest krytycznym zadaniem współczesnej sztucznej inteligencji. Jedną z najłatwiejszych metod wprowadzania informacji przez użytkowników są sygnały mowy. Dlatego technologia przetwarzania sygnałów mowy i jej narzędzia stały się nieodzowną częścią społeczeństwa informacyjnego. Rozpoznawanie mowy jest podstawowym aspektem badawczym przetwarzania sygnału mowy i istotną techniką interakcji człowiek-komputer. Sygnały mowy zawierają informacje semantyczne, osobiste i środowiskowe [1]. Ogólnym podejściem do przetwarzania sygnałów mowy jest stosowanie analizy krótkookresowej, w której sygnał jest dzielony na okna czasowe o ustalonej wielkości, przy założeniu niezmienności parametrów sygnału. Pomiędzy oknami umieszcza się zakładkę, aby uzyskać dokładniejszą reprezentację sygnału. Algorytmy ekstrakcji cech, takie jak analiza widmowa i predykcja liniowa, są stosowane w każdym oknie. Jednak procesy te powinny również uwzględniać szybkość i czas.

Żeń-szeń pustynny

Czas jest istotnym problemem w kilku obszarach przetwarzania sygnałów w czasie rzeczywistym. Współczynnik szybkości przetwarzania można zwiększyć, wydajnie wykorzystując zasoby procesora i opracowując nowe i szybkie algorytmy w celu skrócenia czasu przetwarzania cyfrowego. Jednak problemy obliczeń o dużej wydajności nie zostały jeszcze całkowicie rozwiązane [2]. Ponadto poczyniono znaczne postępy w zakresie automatycznego rozpoznawania mowy wraz z rozwojem sprzętu i oprogramowania do cyfrowego przetwarzania sygnałów. Jednak pomimo tych postępów maszyny nie mogą dorównać wydajnością swoim ludzkim odpowiednikom pod względem dokładności i szybkości rozpoznawania, szczególnie w przypadku rozpoznawania mowy niezależnego od mówcy. Z tego powodu duża liczba badań przeprowadzonych nad rozpoznawaniem mowy koncentrowała się na problemach rozpoznawania mowy niezależnych od mówcy, ze względu na szeroki zakres zastosowań i ograniczenia dostępnych technik rozpoznawania mowy [3].

Podsumowując, główne wyniki badania są następujące:

Herbata Cistanche

Kliknij tutaj, aby zobaczyć produkty herbaciane Cistanche deserticola

【Zapytaj o więcej】 E-mail: cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692

Proces identyfikacji osoby za pomocą sygnałów mowy składa się z kilku etapów. Wśród nich niektóre kroki wymagają więcej czasu na obliczenia. To jest analiza spektralna. Jednym z parametrów szczególnie ważnych w algorytmach uczenia maszynowego jest czas uczenia. W tej pracy odkryliśmy, że proces wyodrębniania cech jest ważny dla identyfikacji sygnałów mowy. Ponadto uczenie maszynowe zajmuje dużo czasu. Ustalono, że proces analizy spektralnej składa się z niezależnych operacji i możliwa jest równoległość.

Eksperymenty wykazały, że transformacje widmowe FFT i DCT dają dobre wyniki w analizie widmowej. Proces analizy widmowej jest ważny dla każdego segmentu sygnału mowy. Pozwala to na wyraźne odróżnienie tych cech od sygnału mowy. Przy pomocy narzędzi OpenMP i TBB opracowano algorytm obliczeń równoległych, który umożliwił przyspieszenie obliczeń.

Rozmiar segmentu jest ważny przy dzieleniu sygnału mowy na segmenty. Podczas eksperymentów stwierdzono, że wielkość segmentu sygnału mowy zależy od pamięci podręcznej procesora centralnego. W szczególności stwierdzono, że dopasowanie segmentu do rozmiaru pamięci podręcznej w procesorach wielordzeniowych ma pozytywny wpływ na szybkość obliczeniową w uczeniu maszynowym.

Zaproponowano nową metodę równoległej implementacji transformacji widmowych sygnałów do ekstrakcji parametrów cech z sygnałów mowy z wykorzystaniem algorytmu uczenia maszynowego na procesorach wielordzeniowych z wykorzystaniem TBB i OpenMP.

Stwierdzono również, że efektywne wykorzystanie zasady mapowania bloku pamięci głównej do pamięci podręcznej oraz rozmiaru bloku pamięci podręcznej może zwiększyć szybkość przetwarzania.

Suplement Cistanche w pobliżu-Poprawa pamięci

Pozostała część tego artykułu jest zorganizowana w następujący sposób. Sekcja 2 zawiera przegląd istniejących badań dotyczących wyodrębniania określonych właściwości sygnału mowy. W sekcji 3 opisano etapy wyodrębniania cech za pomocą eksperymentów. W rozdziale 4 szczegółowo przedstawiono proponowany wysokowydajny algorytm obliczeniowy służący do wyodrębniania parametrów cech z sygnałów mowy. Wyniki eksperymentalne oparte na naszej implementacji omówiono w rozdziale 5. W rozdziale 6 podkreślono ograniczenia proponowanej metody. Wreszcie, rozdział 7 kończy badanie podsumowaniem wyników i odnotowaniem przyszłych kierunków badań.

2. Prace powiązane

Obecnie opracowywane i udoskonalane są nowe metody, algorytmy i coraz nowocześniejsze aplikacje do segmentacji sygnałów mowy i obliczania wskaźników parametrycznych wybranych fragmentów, tworząc w ten sposób spektrogram sygnałów mowy z wykorzystaniem analizy spektralnej [4–7]. Identyfikacja mówcy za pomocą zróżnicowanych klipów głosowych na całym świecie jest kluczowym i trudnym zadaniem, zwłaszcza w wydobywaniu cech energicznych i dyskryminujących [8]. Korkmaz i in. [9]. Zamiast stosować górnoprzepustowy filtr preemfazujący, zastosowali filtr dolnoprzepustowy. Zaimplementowali filtr pasmowo-przepustowy z filtrem górnoprzepustowym, ponieważ wstępne podkreślanie jest potrzebne do wzmocnienia energii sygnału w wysokich częstotliwościach. W naszej poprzedniej pracy [10] przedstawiliśmy nowatorską metodę identyfikacji mówcy opartą na MFCC. Zamiast używać konwencjonalnych MFCC, jako nasz zestaw funkcji wykorzystujemy piksele ze spektrogramu Mel. Spektrogram został przekształcony w tablicę 2-D w celu utworzenia nowego zestawu danych. Aby zidentyfikować mówcę, zastosowano w praktyce kilka algorytmów uczenia się z techniką 10-krotnej walidacji krzyżowej. Przy pomocy perceptronu wielowarstwowego (MLP) z funkcją aktywacji tanh osiągnięto najlepszą dokładność na poziomie 90,2 procent.

Ekstrakcja cech odbywa się poprzez zmianę kształtu fali mowy na formę reprezentacji parametrycznej przy stosunkowo mniejszej szybkości transmisji danych w celu późniejszego przetwarzania i analizy [11–14]. Podejścia do ekstrakcji cech zwykle dają wielowymiarowy wektor cech dla każdego sygnału mowy. Ekstrakcja cech jest najbardziej istotną częścią rozpoznawania mówcy. Cechy mowy odgrywają istotną rolę w oddzieleniu mówcy od innych. Ekstrakcja cech zmniejsza wielkość sygnału mowy, nie powodując żadnych uszkodzeń mocy sygnału mowy [15–17]. W [18] autorzy wprowadzili nowe podejście, które wykorzystuje precyzyjne dostrojenie rozmiaru i parametrów przesunięcia okna analizy widmowej używanego do obliczenia początkowej krótkotrwałej transformaty Fouriera w celu poprawy wydajności automatycznego rozpoznawania mowy zależnego od mówcy (ASR). W przypadku braku lekarzy laicy mogą korzystać z systemów wspomagania decyzji, które zostały stworzone przy użyciu metod sztucznej inteligencji. Wczesne i nieinwazyjne wykrywanie stanu serca można osiągnąć za pomocą sygnałów fonokardiogramu (PCG) [19–21].

Wykazano, że konwolucyjne sieci neuronowe (CNN) z powodzeniem symulują lokalność strukturalną w przestrzeni cech, a także wykorzystują łączenie w obrębie obciążonego obszaru częstotliwości w celu zmniejszenia zmienności translacji i dostosowania do zakłóceń i niewielkich zmian w przestrzeni cech [22]. Muchamadijew i in. zaproponował kompleksowy model rozpoznawania mowy w modelu Markowa ukryty w głębokiej sieci neuronowej oraz hybrydową sieć koneksjonistyczną klasyfikacji czasowej (CTC) dla języka uzbeckiego i jego dialektów. Zaproponowane podejście skraca czas szkolenia i poprawia dokładność rozpoznawania mowy poprzez efektywne wykorzystanie funkcji celu CTC w treningu modelu uwagi [23]. W [24] zaproponowano ekstrakcję i klasyfikację cech za pomocą jednowymiarowego modelu konwolucyjnej sieci neuronowej (CNN), który dzieli sygnały dźwiękowe serca na prawidłowe i nieprawidłowe, bezpośrednio niezależnie od elektrokardiogramu (EKG). Twierdzą, że dokładność klasyfikacji jest wyższa w 1D CNN niż w 2D CNN dla sygnałów dźwiękowych serca użytych w tym badaniu, gdy jądro splotu jest mniejsze niż 52, ponieważ duże jądro splotu może prowadzić do złożoności obliczeniowej i jest coraz bardziej czasochłonne . W pracy [25] głęboką sieć neuronową trenowano w celu maksymalizacji późniejszej dokładności sekwencji stanów modeli akustycznych dotyczących sekwencji cech mowy przy użyciu bazy danych TIMIT (TIMIT Acoustic-Phonetic Continuous Speech Corpus).

3. Przetwarzanie wstępne: przegląd materiałów

Suplement Cistanche w pobliżu-Poprawa pamięci

W tym celu niezbędne jest opracowanie szybkich algorytmów ekstrakcji parametrów cech z sygnałów mowy i reprezentacji parametrycznych, ekstrakcji pomocnych i informacyjnych próbek do przetwarzania oraz opracowanie programów do implementacji spektrogramów wybranych segmentów akustycznych.

Systemy rozpoznawania mowy składają się z dwóch głównych podsystemów:

Podstawowe przetwarzanie sygnałów mowy (fonogram);

Klasyfikacja symboli akustycznych za pomocą inteligentnego algorytmu (spektrogramu).

Pierwszy podsystem generuje symbole akustyczne jako zbiór informacyjnych właściwości akustycznych sygnałów i charakterystyk sygnałów. Drugi podsystem przetwarza sygnał mowy na postać parametryczną na podstawie uzyskanych charakterystyk akustycznych. Przetwarzanie sygnału mowy składa się z następujących etapów:

Rozdzielenie granic sygnału mowy;

Filtrowanie cyfrowe;

Segmentacja;

Zastosowanie okna wygładzającego;

Transformacja widmowa i normalizacja częstotliwości widmowych.

Kroki te są szeroko stosowane do wyodrębniania parametrów cech z sygnałów mowy, a ich główne cechy są omówione poniżej.

3.1. Separacja granic

Wyodrębnienie tylko części mowy z przychodzącego sygnału lub określenie momentu rozpoczęcia i zakończenia zdania w hałaśliwym otoczeniu to podstawowe zadanie w przetwarzaniu mowy. Do rozwiązania tego problemu wykorzystuje się następujące właściwości sygnału mowy: krótkoterminową energię sygnału mowy, liczbę punktów przecinających się w punkcie zerowym, gęstość rozkładu wartości pola ciszy w sygnale oraz entropia widmowa. Tradycyjne systemy rozpoznawania mowy wykorzystują techniki oparte na przejściowych i widmowych energiach sygnału (np. wykrywanie aktywności głosu) w celu określenia granic mowy na podstawie przychodzących sygnałów mowy [26–28].

Głównymi parametrami sygnału mowy są krótkoterminowa energia sygnału mowy oraz liczba punktów przechodzących przez zero. Z reguły parametry sygnału mowy zmieniają się szybko w czasie; dlatego zwyczajowo przetwarza się sygnał mowy na fragmenty o długości od 10 do 30 ms, które się nie nakładają. Sygnał mowy jest nieruchomy w tym zakresie, a obszary ciszy w sygnale mowy są usuwane przez obliczenie energii przejściowej. Algorytm rozwiązania tego problemu jest podzielony na N sekwencji 256 krótkookresowych wartości energii następnego sygnału mowy.

Obliczenie energii każdego fragmentu przez podzielenie sygnału mowy jest odpowiednie dla obliczeń równoległych i rozproszonych. Każdy fragment jest przetwarzany niezależnie. Jeśli przetwarzanie zostanie zastosowane w multiprocesorze n-rdzeniowym, możliwe będzie jednoczesne obliczanie energii n fragmentów. Dlatego możliwe jest zwiększenie wydajności przetwarzania równoległego na tym etapie [29–32].

3.2. Liczba przejść przez zero

Przejście przez zero to punkt, w którym zmienia się znak funkcji matematycznej (np. z dodatniego na ujemny), co jest reprezentowane przez punkt przecięcia osi (wartość zerowa) na wykresie funkcji [33]. Częstotliwość przejścia przez zero w sygnale może być najprostszym wskaźnikiem jego właściwości widmowych. Na przykład liczbę punktów przechodzących przez zero w sygnale mowy można określić za pomocą następującego równania:

Rysunek 1. Metoda separacji mowy oparta na analizie entropii widmowej.

3.3. Filtrowanie cyfrowe

Oprócz typowego, użytecznego sygnału obecne są różnego rodzaju szumy. Ponieważ hałas negatywnie wpływa na jakość systemów rozpoznawania mowy, radzenie sobie z hałasem jest palącym problemem. Do redukcji poziomu szumów w systemie stosowane są dwa rodzaje filtrów cyfrowych: filtr liniowy i filtr początkowy. Filtr liniowy można uznać za połączenie filtrów o niskiej i wysokiej częstotliwości, ponieważ przechwytuje wszystkie niskie i wysokie częstotliwości. Filtrowanie wstępne stosuje się w celu zminimalizowania wpływu lokalnych zakłóceń na charakterystyczne oznaczenia, które są wykorzystywane do późniejszej identyfikacji. Sygnał mowy musi przejść przez filtr dolnoprzepustowy w celu wyrównania widmowego [35].

3.4. Segmentacja

Segmentacja to proces dzielenia sygnału mowy na odrębne, nienakładające się na siebie fragmenty. Sygnał jest zwykle dzielony na jednostki mowy, takie jak zdania, słowa, sylaby, fonemy, a nawet mniejsze jednostki fonetyczne. Segmentacja nagrań zawierających wypowiedzi wielu mówców może polegać na przypisaniu fragmentów wypowiedzi poszczególnym mówcom. Określenie „stacje segmentowe” jest czasami używane w odniesieniu do podziału sygnału mowy na ramki przed jego parametryzacją [36,37].

3.5. Widmowa Transformacja

Konieczne jest rozróżnienie głównych cech sygnałów mowy, które są wykorzystywane w późniejszych etapach procesu rozpoznawania mowy. Początkowe cechy są określane poprzez analizę właściwości widmowych sygnałów mowy. Algorytm szybkiej transformaty Fouriera jest powszechnie stosowany do uzyskiwania częstotliwości widmowej sygnału mowy [38,39].

3.6. Normalizacja częstotliwości widmowych

Cały proces obliczeniowy w inteligentnych algorytmach opiera się na ruchomych liczbach dziesiętnych. Dlatego parametry obiektów, które są klasyfikowane za pomocą sieci neuronowych, są ograniczone do zakresu [{{0}}.0, 1.{4}}]. Otrzymane widmo jest normalizowane w zakresie od 0 do 1 w celu zastosowania przetwarzania widmowego przy użyciu sieci neuronowej. Aby to osiągnąć, każdy składnik wektora jest dzielony na jego maksymalne składowe.

Metody przetwarzania widmowego umożliwiają wykorzystanie wszystkich próbek danych, które są uzyskiwane z sygnału mowy. Wiele sygnałów mowy ma specyficzną strukturę częstotliwościową i właściwości widmowe. Metody spektralne zapewniają bardzo precyzyjne przetwarzanie sygnałów mowy. Wady przetwarzania widmowego obejmują małą elastyczność lokalnych charakterystyk sygnałów, brak wymiarów widmowych i stosunkowo wysokie koszty obliczeniowe.

Transformacja Fouriera, analiza falkowa i wiele innych algorytmów jest szeroko stosowanych w widmowym przetwarzaniu sygnałów mowy. Transformacja Fouriera jest wykorzystywana w wielu dziedzinach nauki, w tym w przetwarzaniu mowy. W przetwarzaniu sygnału mowy transformacja Fouriera przekształca sygnał z pola czasowego na pole widmowe jako składową częstotliwościową [40].

W poprzednich badaniach do analizy spektralnej stosowano dyskretną transformatę Fouriera (DFT), dyskretną transformatę kosinusową (DCT), krótkoterminową transformatę Fouriera i transformatę falkową. Metody te wykorzystano do przekształcenia fragmentów sygnału mowy w dziedzinę częstotliwości i obliczenia widma. Pakiety TBB i OpenMP wykorzystano do stworzenia równoległych algorytmów transformacji widmowych. W tych metodach polecenie dzieli sygnał na ramki; na przykład N=16, 32, … lub 4096 dla każdej klatki [4]. Rozmiar każdej utworzonej ramki jest równy rozmiarowi bloku pamięci podręcznej, ponieważ pamięć podręczna jest czynnikiem wpływającym na wydajność przetwarzania równoległego. Wyniki przyspieszenia przedstawiono na rysunku 2.

Rysunek 2. Wyniki przyspieszenia dla (a) cztero- i (b) ośmiordzeniowych procesorów.

W celu implementacji programowej algorytmów przetwarzania równoległego przeprowadzono przetwarzanie szeregowe i równoległe na procesorach cztero- i ośmiordzeniowych, które zastosowano przy użyciu komputerów osobistych i serwerów, jak pokazano w tabeli 1.

Tabela 1. Charakterystyka procesorów Intel.

Główną cechą algorytmu DCT jest okresowość. Zaletą DCT jest to, że ma tendencję do skupiania większości energii sygnału na niewielkiej liczbie czynników. Następujące równania dostarczają elementów macierzy współczynników:

gdzie L(k) to wartość DCT, k to indeks współczynników, x(n) reprezentuje pozycje danych, a N to rozmiar ramki.

Parametry analizy Fouriera są podstawą metod wykorzystywanych do generowania wektorów cech w większości systemów rozpoznawania mowy w cyfrowym przetwarzaniu sygnałów mowy w domenie widmowej. Współczynniki cepstralne częstotliwości Mel (MFCC) [41] i techniki liniowego kodowania predykcyjnego (LPC) [42,43] są wykorzystywane w analizie Fouriera do generowania obrazów spektrogramów z sygnałów mowy. Widma uzyskane za pomocą analizy Fouriera dostarczają zwięzłych i precyzyjnych informacji dotyczących sygnału mowy, jak pokazano na rysunku 3.

Rysunek 3. DFT: (a) zmiana zakresu częstotliwości w dziedzinie czasu oraz (b) spektrogram.

Do analizy spektralnej w eksperymentach wykorzystano sygnały dwuwymiarowe (2D). Charakterystyki analizy widmowej 2D, które są wykorzystywane w algorytmach równoległego przetwarzania obrazu, są odpowiednie do przetwarzania równoległego w procesorach wielordzeniowych [38]. W szczególności wektory i macierze transformacji do przodu i do tyłu mają wymiary binarne, a kompatybilność tej wielordzeniowej architektury procesora może skutecznie zwiększyć szybkość obliczeniową. Dlatego zastosowaliśmy przetwarzanie sekwencyjne i równoległe na komputerze o różnej charakterystyce procesora do sprzętowej implementacji algorytmów, które zostały użyte do przetwarzania sygnałów 2D (tabela 2)

Tabela 2. Charakterystyka zastosowania procesorów Intel.

Cały sygnał 2D został podzielony na identyczne fragmenty o różnej wielkości na każdym etapie [44]. Wartości wybranych fragmentów mieściły się w zakresie rozdzielczości pikseli od 16 × 16 do 1024 × 1024. Szybkość równoległego algorytmu DCT z wykorzystaniem pakietu OpenMP w porównaniu z algorytmem sekwencyjnym przedstawiono na rycinie 4. Zastosowanie równoległej analizy widmowej 2D algorytm na procesorach wielordzeniowych daje wynik przetaktowywania zbliżony do liczby rdzeni.

Rysunek 4. Wyniki przyspieszenia dla równoległej analizy widmowej 2D.