Một số đánh giá về hiệu quả nhận dạng tiếng nói dùng kỹ thuật phân tích băng con - Phùng Trung Nghĩa

52(4): 47 - 51 Tạp chí KHOA HỌC & CÔNG NGHỆ 4 - 2009 1 MỘT SỐ ĐÁNH GIÁ VỀ HIỆU QUẢ NHẬN DẠNG TIẾNG NÓI DÙNG KỸ THUẬT PHÂN TÍCH BĂNG CON Phùng Trung Nghĩa (Khoa Công nghệ thông tin - ĐH Thái Nguyên) Tóm tắt Trong báo cáo này, chúng tôi sử dụng phân tích wavelet rời rạc DWT để phân tích tiếng nói thành các băng con và thực hiện nhận dạng tiếng nói đã phân tích. Các kết quả nhận dạng cho thấy các băng con có ảnh hưởng khác nhau tới hiệu quả nhận dạng tiếng nói sạch và tiếng nói có nhiễu. Đặc biệt, một số băng con cho hiệu quả nhận dạng cao hơn tiếng nói gốc không phân tích băng con. Cụ thể với phân tích DWT, băng A1 là ảnh hưởng nhiều nhất đối với tiếng nói sạch còn băng A2 ảnh hưởng nhiều nhất đối với tiếng nói có nhiễu. Các kết quả này cho thấy việc sử dụng phân tích băng con để phân tách ra một số băng tần chọn lọc sẽ cho hiệu quả cao hơn nhận dạng với tiếng nói gốc. Các băng con khác nhau ảnh hưởng khác nhau tới hiệu quả nhận dạng cho thấy trong kỹ thuật nhận dạng tiếng nói dùng phân tích băng con, khi kết hợp kết quả nhận dạng trong các băng con để cho ra kết luận nhận dạng cuối cùng thì các băng con cần phải gán các trọng số khác nhau tương ứng với độ ảnh hưởng lên kết quả nhận dạng. Ở một khía cạnh khác, các kết quả thực nghiệm ở đây cũng cho thấy việc cắt bỏ các thông tin tần số cao ở một mức độ thích hợp sẽ làm tăng hiệu quả nhận dạng tiếng nói. Đây là cơ sở cần thiết để khẳng định việc sử dụng các bộ triệt nhiễu tiếng nói trong khối tiền xử lý của các hệ thống nhận dạng tương ứng với việc cắt bỏ bớt thông tin tần số cao ở một mức độ thích hợp dù loại bỏ một số thông tin quan trọng nhưng vẫn làm tăng kết quả nhận dạng. I. Đặt vấn đề Nhiều nghiên cứu gần đây về nhận dạng tiếng nói quan tâm đến các phương pháp nâng cao tỉ lệ nhận dạng trong môi trường có nhiễu (noise robust speech recognition). Đã có rất nhiều phương pháp được đưa ra, trong đó phương pháp sử dụng biến đổi wavelet theo hai cách tiếp cận là xây dựng bộ triệt nhiễu wavelet trong khối tiền xử lý [6, 14, 15] hoặc sử dụng các đặc trưng wavelet ít nhạy cảm với nhiễu trong khối trích đặc trưng [5, 8, 9, 10, 11, 12] là các phương pháp có nhiều triển vọng. Đối với cách tiếp cận dùng khối triệt nhiễu tiền xử lý, do ý tưởng cơ bản của triệt nhiễu dùng wavelet là loại bỏ các hệ số tần số cao (hệ số chi tiết) có mức năng lượng dưới ngưỡng, nên triệt nhiễu dùng wavelet cũng đồng nghĩa với việc cắt bỏ bớt thông tin tần số cao. Đối với cách tiếp cận thứ hai dùng các đặc trưng ít nhạy cảm với nhiễu, đặc trưng wavelet liên tục CWT và wavelet gói WPT được sử dụng phổ biến. Nhược điểm cơ bản của CWT là vấn đề tốc độ thực thi do khối lượng tính toán lớn. Do vậy trong hầu hết các hệ thống nhận dạng sử dụng wavelet với tiếng nói được lấy mẫu với tần số lấy mẫu lớn người ta thường phải giảm tốc độ lấy mẫu tiếng nói xuống 8 KHz để đảm bảo tốc độ thực thi. Tuy nhiên, khi giảm tốc độ lấy mẫu cũng có nghĩa là cắt bỏ bớt các thông tin tần số cao (giảm tốc độ lấy mẫu từ 16 KHz xuống 8 KHz tương ứng với cắt phổ tần tiếng nói từ 8 KHz xuống 4 KHz). Do đó, trong cả hai cách tiếp cận, tiếng nói gốc đều phải cắt bỏ các thông tin tần số cao trong khối tiền xử lý và trích đặc trưng. Theo suy luận logic thông thường, việc cắt bỏ các thông tin tần số cao này cũng có thể làm mất các đặc trưng của tiếng nói và ảnh hưởng tới kết quả nhận dạng. Cũng trong thời gian gần đây, trên thế giới đã có một số tác giả đề xuất các phương pháp nhận dạng tiếng nói dùng phân tích băng con trong đó nhận dạng tiếng nói trong từng băng và kết hợp các kết quả lại để cho ra kết quả nhận dạng cuối cùng. Các nghiên cứu hiện tại thường sử dụng kỹ thuật đặt trọng số cân bằng (equal weighting) cho các băng con [7]. Mặc dù các kết quả thực nghiệm cho thấy các kỹ thuật này nâng cao được hiệu quả nhận dạng đặc biệt với tiếng nói có nhiễu, kỹ thuật đặt trọng số cân bằng không phản ánh được thực tế các băng con khác nhau ảnh hưởng khác nhau tới hiệu quả nhận dạng. Vì vậy đánh giá hiệu quả nhận dạng của từng băng con độc lập sẽ là cơ sở để xây dựng một phương pháp đặt trọng số phù hợp cho các băng con. 52(4): 47 - 51 Tạp chí KHOA HỌC & CÔNG NGHỆ 4 - 2009 2 Trong báo cáo này, chúng tôi sử dụng phân tích đa phân giải DWT phân tích tiếng nói thành 5 mức và sau đó tái tạo thành 5 băng tần thấp khác nhau. Để đánh giá ảnh hưởng của từng băng tần tới kết quả nhận dạng, các mô hình âm thanh cho mỗi băng tần được lần lượt nhận dạng thử nghiệm sau khi đã huấn luyện với tiếng nói gốc. Các kết quả nhận dạng thực nghiệm thu được cho thấy tỉ lệ nhận dạng ứng với mô hình âm thanh băng 1 là lớn nhất với tiếng nói sạch, tỉ lệ nhận dạng ứng với mô hình âm thanh băng 2 là lớn nhất với tiếng nói có nhiễu. Điều đó chứng tỏ rằng với phân tích DWT, băng A1 là ảnh hưởng nhiều nhất đối với tiếng nói sạch còn băng A2 ảnh hưởng nhiều nhất đối với tiếng nói có nhiễu. Các kết quả nghiên cứu của chúng tôi đã chứng minh thay vì sử dụng toàn bộ băng tần A0 của tiếng nói, việc loại bỏ các thông tin tần số cao (xảy ra khi triệt nhiễu hay giảm tốc độ lấy mẫu) ở một mức nào đó không những sẽ không làm giảm tỉ lệ nhận dạng mà còn nâng cao hiệu quả nhận dạng. Các kết quả thực nghiệm này cũng sẽ làm cơ sở để chúng tôi xây dựng một kỹ thuật đặt trọng số phù hợp trong phương pháp nhận dạng tiếng nói dùng phân tích băng con sẽ được chúng tôi nghiên cứu tiếp theo. II. Cơ sở về wavelet Trong miền thời gian liên tục, biến đổi wavelet liên tuc CWT của một tín hiệu x(t) được định nghĩa là một tập các hàm wavelet cơ sở ( )ab t , trong đó a là tham số tỉ lệ, b là tham số dịch. ( ) ( )ab t b t a     (1) *1( , ) ( ) ( ) t b W x a b x t dt aa        (2) CWT được tính toán bằng các hệ số tại các tỉ lệ khác nhau ở các đoạn khác nhau của tín hiệu. Tính toán các hệ số wavelet ở mọi tỷ lệ dẫn tới một khối lượng tính toán rất lớn. Ta có thể chọn một tập con các tỉ lệ và vị trí để giảm sự phức tạp tính toán bằng cách dùng phép biến đổi wavelet SCWT (Sampled CWT), DWT (Discrete Wavelet Transform) hay WPT (Wavelet Packet Transform). Trong SCWT, wavelet mẹ được cắt từ vùng thời gian liên tục từ -  đến  . Wavelet được lấy mẫu với khoảng cách mẫu bằng: 0 2 T N     (3) Trong đó N0 là số lượng mẫu có độ phân giải đủ lớn đối với tỉ lệ nhỏ nhất (tần số lớn nhất). Tỉ lệ của wavelet mẹ được lấy mẫu được tính bằng cách thay đổi khoảng cách mẫu /aT T a  . Hệ số tỉ lệ a 1 (trường hợp Dyadic SCWT a =2m), tham số dịch là cố định bằng một hằng số b0 để tránh việc lấy mẫu không đều. SCWT khi đó được định nghĩa như sau: 0 0 [ /T ] + nb * f a 0 k= - [ /T ] + nb SCWT (a,n)= f(k) ( )k nb         (4) với 1 2( ) | | ( ),a ak a kT k T T                (5) và đáp ứng tần số là 1 2ˆ ˆ( ) | | ( )a a a T     (6) Biến đổi wavelet rời rạc DWT và wavelet gói WPT được thực hiện dựa trên cấu trúc phân rã các băng lọc thỏa mãn một số ràng buộc. Ví dụ như với DWT, mỗi mức phân rã sẽ cho ra hai nhánh lọc thông cao và thông thấp theo sau bởi các bộ giảm mẫu 2 lần. DWT sẽ thực hiện việc đa phân rã lặp lại trên nhánh thông thấp, trong khi đó cây phân rã trong WPT có thể lặp lại việc phân rã trong bất kì nhánh nào (thông cao hoặc thông thấp). Kết quả của phân tích WPT sẽ chia vùng tần số biểu diễn tín hiệu thành nhiều băng con và cho phép khôi phục lại tín hiệu ban đầu từ các hệ số wavelet trong các băng con này. Hình 1. Lọc một tầng DWT cho xấp xỉ và chi tiết 52(4): 47 - 51 Tạp chí KHOA HỌC & CÔNG NGHỆ 4 - 2009 3 Hình 2. Phân tích wavelet gói III. Phân rã DWT và tái tạo các băng tần thấp Hình 3. biểu diễn phân tích wavelet 5 mức của tín hiệu tiếng nói S. Trong đó, Di là thành phần chi tiết mức i, Ai là thành phần xấp xỉ mức i của tiếng nói gốc S. Trong nghiên cứu này, chúng tôi thực nghiệm với tiếng nói có tần số lấy mẫu 16 KHz (có độ rộng phổ tần là 8 KHz), do đó các băng tần thấp được tái tạo tương ứng là A0 : 0 – 8000 Hz (băng tần gốc không phân rã), A1 : 0 – 4000 Hz (băng tần thấp tái tạo từ phân rã mức 1), .. , A5 : 0 – 250 Hz (băng tần thấp tái tạo từ phân rã mức 5). Bảng 1 hiển thị các băng tần thấp được tái tạo của tiếng nói. Hình 3. Cây phân rã 5 mức Tần thấp Tần cao A1 0 – 4000 Hz D1 4000 – 8000 Hz A2 0 – 2000 Hz D2 2000 – 4000 Hz A3 0 – 1000 Hz D3 1000 – 2000 Hz A4 0 – 500 Hz D4 500 – 1000 Hz A5 0 – 250 Hz D5 250 – 500 Hz Bảng 1. Các băng tần thấp Ai được tái tạo ứng với các mức phân rã Chúng tôi sử dụng wavelet Daubechies 8 để phân rã tiếng nói và lần lượt thực hiện huấn luyện và nhận dạng với tiếng nói gốc (A0) và các tiếng nói tần thấp được tái tạo (A1 – A5). IV. Nhận dạng các băng tần tiếng nói liên tục DWT được tái tạo trong hệ thống quay số tự động bằng tiếng nói tiếng Việt 1. Chuẩn bị dữ liệu Dữ liệu tiếng nói được thu từ 5 nam và 5 nữ nói đủ số cụm từ trong bộ dữ liệu, mỗi người thu 1 lần ở tần số lấy mẫu 16 KHz, 16 bit / 1 mẫu . Tất cả các giọng nói đều là giọng miền Bắc từ một số tỉnh, thành như: Thái Nguyên, Thái Bình, Thanh Hóa, Nghệ An, ... Tiếng nói được thu trong phòng đóng kín cửa có chất lượng cách âm khá tốt. Tổng số có 99 cụm từ các số điện thoại nội bộ trong khoảng 101 đến 199, 10 cụm từ các tên riêng, như vậy có tổng cộng có 10x109 = 1090 cụm từ trong bộ dữ liệu dùng để huấn luyện. Đánh giá kết quả nhận dạng với tiếng nói sạch và tiếng nói có nhiễu Gauss trắng nhân tạo. Trong đó 2 nam, 2 nữ (không tham gia quá trình huấn luyện) mỗi người nói đủ 109 cụm từ. Tổng cộng số lần nhận dạng thử là 2x109 = 218 lần. 2. Môi trường xây dựng hệ thống Chúng tôi xây dựng hệ thống nhận dạng trên MATLAB 7.01. Trong MATLAB 7.01, các Toolbox Signal Processing, Wavelet, Statistic HMM hỗ trợ hầu hết các hàm cần thiết cho quá trình tiền xử lý và trích đặc trưng, huấn luyện và nhận dạng. 3. Tiền xử lý và phân khung tiếng nói Tiếng nói trước khi tham số hoá được làm rõ bằng bộ lọc với phương trình sai phân: ( ) ( ) ( 1)s n s n as n   với a = 0.97 (7) Sau đó, tiếng nói tại mỗi băng tần được phân thành các khung 20 ms, 10 ms chồng lấp, sử dụng cửa sổ Hamming 32 ms cho mỗi khung. 4. Trích đặc trưng Chúng tôi sử dụng phương pháp trích đặc trưng MFCC. Số hệ số MFCC là 12 cho mỗi khung, chung tôi bổ sung thêm đặc trưng log năng lượng và F0 (xác định theo phương pháp AMDF), các hệ số đạo hàm bậc nhất, bậc hai tạo thành một tập vector đặc trưng 42 đặc tính và được dùng làm đầu vào cho mô hình HMM của hệ thống nhận dạng. 5. Mô hình HMM 52(4): 47 - 51 Tạp chí KHOA HỌC & CÔNG NGHỆ 4 - 2009 4 Hệ thống nhận dạng sử dụng mô hình HMM trái phải 5 trạng thái, để phục vụ nhận dạng liên tục, trạng thái sil cho lối vào, ra được sử dụng để kết hợp các mô hình HMM với nhau. Hàm phân bố xác suất quan sát được mô hình bằng 3 pha trộn Gaussian. V. Kết quả nhận dạng đối với từng băng con Kết quả nhận dạng với toàn băng và từng băng con được cho trong bảng 2. Chúng ta thấy trong cả hai trường hợp tiếng nói sạch và có nhiễu Gauss trắng SNR = 10 dB các băng con A1, A2 đều cho kết quả nhận dạng tốt hơn toàn băng A0 (với tiếng nói có nhiễu thậm chí băng A3 cũng cho kết quả nhận dạng tốt hơn toàn băng A0). Các băng tần A4 và A5 cho kết quả nhận dạng rất thấp. Với tiếng nói sạch kết quả nhận dạng trên băng con A1 (0 – 4000 Hz) là cao nhất, với tiếng nói có nhiễu, kết quả nhận dạng trên băng con A2 (0 – 2000 Hz) cho kết quả cao nhất. Băng con Clean Speech Noisy Speech SNR=10dB A0 78.44 (171/218) 38.07 (83/218) A1 82.56 (180/218) 40.36 (88/218) A2 80.27 (175/218) 50.00 (109/218) A3 59.63 (130/218) 44.49 (97/218) A4 30.73 (67/218) 27.52 (60/218) A5 22.93 (50/218) 18.34 (40/218) Bảng 2. Kết quả nhận dạng tiếng nói toàn băng và các băng con VI. Kết luận Qua các kết quả thực nghiệm chứng tỏ việc loại bỏ bớt các thành phần tần số cao (thông qua các thao tác lọc, triệt nhiễu hay giảm tốc độ lấy mẫu,...) không những không làm giảm kết quả nhận dạng mà ở một mức độ nào đó còn làm tăng kết quả nhận dạng so với tiếng nói gốc. Đặc biệt với tiếng nói có nhiễu, nhận dạng trực tiếp với tiếng nói gốc cho kết quả rất thấp so với các tín hiệu băng con đã lọc bỏ phần cao tần. Các kết quả thực nghiệm cũng cho thấy khi sử dụng kỹ thuật nhận dạng dùng phân tích băng con, các băng con khác nhau cần phải được gán các trọng số khác nhau do chúng ảnh hưởng khác nhau tới hiệu quả nhận dạng. Trong nghiên cứu này, chúng tôi chưa tập trung xây dựng một hệ thống nhận dạng hoàn chỉnh trong môi trường có nhiễu. Trong các nghiên cứu tiếp theo, chúng tôi sẽ hoàn thiện về mặt phương pháp và xây dựng thực nghiệm hệ thống nhận dạng tiếng Việt liên tục trong môi trường có nhiễu. Tài liệu tham khảo [1] Lê Tiến Thường, Hoàng Đình Chiến, Vietnamese Speech Recognition Applied to Robot Communications, Au Journal of Technology, Published by Assumption University (ABAC) Hua Mak, Bangkok, Thailand, 2004. [2] Phùng Trung Nghĩa, Nhận dạng tiếng Việt sử dụng biến đổi Wavelet và mô hình Markov ẩn, Luận văn thạc sỹ, Đại học Quốc Gia Hà Nội, 2006. [3] Q.C.Nguyen, Eric Castelli, Ngoc-Yen Pham , Tone Recognition for Vietnamese, Euro-Speech 2003, Geneva. [4] Thang Tat Vu, Dung Tien Nguyen, Mai Chi Luong, John-Paul Hosom, Vietnamese Large Vocabulary Continuous Speech Recognition, EuroSpeech05 International Conference, 2005. [5] Beng T. TAN, Minyue Fu, Andrew Spray, Phillip Dermody, The use of wavelet transforms in phoneme recognition, 1994. [6] Donoho, D. L, “Denoising via soft thresholding'', IEEE Trans. Information Theory, 1995. [7] Long Yan, Gang Liu, and Jun Guo, A Study on Robustness of Large Vocabulary Mandarin Chinese Continuous Speech Recognition System Based on Wavelet Analysis, ICAPR 2005, NCS 3686, pp. 497 – 504, 2005. [8] M. Krishnan, C. Neophytou, and G. Prescott, Wavelet transform speech recognition using vector quantization, dynamic time wraping and articicial neural networks, 1994. [9] O. Farooq, S. Datta, Phoneme recognition using wavelet based features, Information Sciences 150 5– 15, 2003. 52(4): 47 - 51 Tạp chí KHOA HỌC & CÔNG NGHỆ 4 - 2009 5 [10] R. Favero and R. King, “Wavelet Parameterization for Speech Recognition” Int. Conf. Signal Processing Applications and Technology, Santa Clara, Vo12 pp. 1444-1449, 1993. [11] R. Favero and R. King, Wavelet Parameterization for Speech Recognition,Variations in Translation and Scale Parameters International Symposium on Speech, Image Processing and Neural Networks, Hong Kong, 13-16 April 1994. [12] Robert Modic, Borge Lindberg, Bojan Petek, Comparative Wavelet and MFCC Speech Recognition Experiments on the Slovenian and English SpeechDat2, NOLISP-2003. [13] Steve Young, HTK Speech Recognition Toolkit, Cambridge University Engineering Department, [14] S.F. Boll, “Suppression of Acoustic Noise in Speech Using Spectral Subtraction”, IEEE Transactions on Acoustics, Speech, and Signal Processing, vol. 27, April 1979, pp. 113-120. [15] Y. Ephraim and D. Malah, “Speech enhancement using a minimum mean square error log-spectral amplitude estimator” IEEE Trans. on ASSP, 1985, pp. 443-445. 52(4): 3 - 12 Tạp chí KHOA HỌC & CÔNG NGHỆ 4 - 2009 6 Summary SOME EVALUATIONS OF SPEECH RECOGNITION PERFORMANCE USING SUBBAND CODING In this paper, we use the Discrete Wavelet Transform to analyze input speech into subbands and recognize the analized speech. The recognition results show that each subband influence differently to the clean and noisy speech recognition performance. Esspecially, some subbands used as input for recognition giving the higher performance than using original speech as the input of recognition system. The A1 band influences much to clean speech recognition and the A2 influences much to noisy speech recognition. The experimental results therefore show that using subband coding is a good speech recognition technique. Moreover, the influence of each subband is different making a disicion that we must build a weighting technique for subband speech recognition. In addition, the experimental results show that removing the high frequency of original speech with suitable level will get the better recognition performance. This is an importance scientific base of speech denoise methods which removes the higher frequency in noisy input speech. Keyword: Speech Recognition, Sub-band Speech Recognition, Wavelet, DWT