Нелинейный метод временной нормализации

Реализация слова, в отличие от реализации фразы, не содержит кадров с паузами. Пусть даны две реализации слова:

X⁽⁰⁾,...,X⁽ⁱ⁾,...,X^(m) и

Y⁽⁰⁾,...,Y^(j),...,Y⁽ⁿ⁾ .

Первая реализация слова считается эталонной, вторая - новой.

Прежде чем сравнивать их между собой необходимо провести временную нормализацию, т.е. привести реализации слов к одинаковой длине. Линейное сжатие или растяжение одной реализации слова до величины другой не решает вопрос вследствие одного важного свойства речевого сигнала - неравномерности его протекания во времени. Это свойство речи выражается в трудно контролируемой зависимости времени образования и звучания ее элементов от контекста, темпа, диалектных и индивидуальных особенностей диктора. Поэтому сравнение должно опираться на нелинейную временную нормализацию.

Для этого находится деформирующая функция, применение которой минимизирует расхождение между эталонной и новой реализациями слов. Точнее находятся две функции:

ω_X : {1,...,l} → {1,...,m}

ω_Y : {1,...,l} → {1,...,n}

( max{m,n}≤l<m+n )

такие, что

ω_X(1)=1, ω_Y(1)=1, ω_X(l)=m, ω_Y(l)=n,

ω_X(i+1)=ω_X(i) или ω_X(i)+1 i=1,...,m-1

ω_Y(j+1)=ω_Y(j) или ω_Y(j)+1 j=1,...,n-1

и, кроме того, минимальна.

Сегментирующая функция должна характеризовать суммарное изменение используемых ею параметров речевого сигнала и зависит от двух кадров: текущего и предыдущего. В качестве параметров речевого сигнала мы будем использовать распределение энергии сигнала по частотным группам. Опишем процедуру нахождения контура сегментирующей функции S_X(1),...,S_X(i),...,S_X(m) для эталонной реализации слова.

1. На каждом кадре X⁽ⁱ⁾ находится распределение энергии сигнала по частотным группам: p₁⁽ⁱ⁾,...,p₂₀⁽ⁱ⁾; i = 0,1,...,m;
2. Вычисляются модули конечных разностей:

Δ_k⁽ⁱ⁾=| p_kⁱ-p_k^i-1 | ; i =1,...,m; k =1,...,20;

3. Вычисляются средние разности:

; k =1,...,20;

4. Вычисляются средневзвешенные разности:

; i =1,...,m; k =1,...,20;

5. Контур сегментирующей функции S_X :

; i =1,...,m.

Аналогично находится контур сегментирующей функции S_Y(1),...,S_Y(j),...,S_Y(n) для новой реализации слова.

Процедура нахождения деформирующих функций ω_X, ω_Y реализуется методом динамического программирования и дает возможность произвести внутреннее нелинейное выравнивание реализаций слов по времени.

Сначала строится матрица расстояний R = { ρ_i,j } размера (m×n). По ней затем вычисляется матрица D = { d_i,j } такого же размера (m×n):

1. d_m,n = ρ_m,n;
2. d_i,n = ρ_i,n + d_i+1,n , i = m-1,...,1;
3. d_m,j = ρ_m,j + d_m,j+1 , j = n-1,...,1;
4. d_i,j = ρ_i,j + min{ d_i+1,j+1 , d_i+1,j , d_i,j+1 } , i = m-1,...,1; j = n-1,...,1;

Матрица D в свою очередь используется для нахождения функций ω_X, ω_Y. Cначала присваивают: ω_X(1)=1, ω_Y(1)=1. Далее на k-ом шаге находят ω_X(k+1) и ω_Y(k+1). Возможны четыре случая:

1. Если ω_X(k)=m и ω_Y(k)=n, то деформирующие функции найдены;
2. Если ω_X(k)=m, а ω_Y(k)<n, то присваивают: ω_X(k+1)=m, ω_Y(k+1)=ω_Y(k)+1;
3. Если ω_X(k)<m, но ω_Y(k)=n, то присваивают: ω_X(k+1)=ω_X(k)+1, ω_Y(k+1)=n;
4. Если ω_X(k)<m и ω_Y(k)<n, то сравниваются d_{i1, j1} , d_{i2, j2} , d_{i3, j3} для нахождения среди них минимального и соответствующих i_min , j_min. Здесь i₁=i₂=ω_X(k)+1, i₁=ω_X(k), j₁=j₃=ω_Y(k)+1, j₂=ω_Y(k). Затем присваивают: ω_X(k+1)=i_min, ω_Y(k+1)=j_min.

Зная деформирующие функции ω_X , ω_Y мы можем для любого участка эталонной реализации слова найти соответствующий ему участок новой реализации. Применим это для разделения новой реализации слова на звуковые диады. Звуковая диада - переходный процесс от фонемы к фонеме, отображающий перестройку артикуляционного аппарата. В отличие от реализаций фонемы, реализации звуковой диады значительно меньше подвержены влиянию контекста и отражают взаимосвязь соседних фонем речевого потока. Границами диад являются центры квазистационарных участков фонем. Таким образом, диада состоит из второй половины первой фонемы и первой половины второй фонемы.

Эталонная реализация слова делится на звуковые диады вручную: отмечаются номера a₀,...,a_L кадров, являющихся центрами квазистационарных участков фонем. Затем выбираются точки n_l , l = 0,...,L такие, что ω_X(n_l)=a_l. Теперь с помощью функции ω_Y можно определить номера b₀,...,b_L кадров, являющихся центрами квазистационарных участков фонем в новой реализации слова: b_l=ω_Y(n_l), l = 0,...,L. Приведенный алгоритм позволяет перейти от сравнения реализаций слов к сравнению реализаций звуковых диад.