Bài giảng Truyền thông đa phương tiện - Chương 1: Tổng quan - Trần Bá Nhiệm

Truyền thông đa phương tiện ThS. Trần Bá Nhiệm Mail: tranbanhiem@gmail.com Website: sites.google.com/site/tranbanhiem CHƯƠNG 1: TỔNG QUAN Nội dung • Tổng quan về đa phương tiện • Khái niệm chung về audio và video • Hệ thống audio và video • Một số vấn đề về tín hiệu Trần Bá Nhiệm Truyền thông đa phương tiện 3 Lịch sử phát triển của hệ thống đa môi trường • Báo, tạp chí: môi trường văn bản, đồ họa và hình ảnh • Cáp đồng: môi trường truyền tải tín hiệu điện • 1895, Marconi phát minh ra máy radio là môi trường truyền tải tín hiệu radio quảng bá hiện nay • Truyền hình: môi trường truyền thông của thế kỷ 20, truyền hình ảnh và âm thanh đến mọi nơi Trần Bá Nhiệm Truyền thông đa phương tiện 4 Lịch sử phát triển của hệ thống đa môi trường • Các hệ thống máy tích hợp nhiều dạng môi trường số khác nhau, khả năng biểu diễn, tương tác; có tiềm năng lớn phục vụ nhu cầu trao đổi thông tin chất lượng cao • Các hệ thống đa môi trường trở nên phong phú, kết hợp các công nghệ khác nhau với khả năng di động, liên lạc từ xa dưới nhiều hình thức Trần Bá Nhiệm Truyền thông đa phương tiện 5 Lịch sử phát triển của hệ thống đa môi trường Hình 1: Hypertext và Hypermedia Trần Bá Nhiệm Truyền thông đa phương tiện 6 Siêu môi trường (hypermedia) và đa môi trường (multimedia) • Hypertext: “Siêu văn bản là một tài liệu không tuyến tính, bằng việc click vào điểm nóng nào đó, có thể chuyển đến một tài liệu hoặc văn bản khác, và có thể quay về, tạo thuận tiện cho người đọc trong việc duyệt văn bản hoặc tổng quan văn bản từ mục lục” (Ted Nelson, 1965) • Hypermedia: bao gồm nhiều môi trường truyền thông khác nhau như đồ thị, hình ảnh, âm thanh, hoạt hình và ảnh động (Ted Nelson) Trần Bá Nhiệm Truyền thông đa phương tiện 7 Siêu môi trường (hypermedia) và đa môi trường (multimedia) – Multimedia: thông tin máy tính có thể được mô tả bằng audio, video hay hoạt hình ngoài những môi trường truyền thống kể trên • Ví dụ một số ứng dụng multimedia:  Hệ thống xây dựng và soạn  Truyền hình tương tác iTV thảo video số  Truyền hình hội nghị  Tạp chí điện tử  Truyền hình theo yêu cầu  Trò chơi  Thực tế ảo  Thương mại điện tử  .v.v. Trần Bá Nhiệm Truyền thông đa phương tiện 8 Các dạng môi trường và tín hiệu Trần Bá Nhiệm Truyền thông đa phương tiện 9 Các dạng môi trường và tín hiệu Trần Bá Nhiệm Truyền thông đa phương tiện 10 Nội dung • Tổng quan về đa phương tiện • Khái niệm chung về audio và video • Hệ thống audio và video • Một số vấn đề về tín hiệu Trần Bá Nhiệm Truyền thông đa phương tiện 11 Audio - Âm thanh • Âm thanh: Là dao động sóng âm gây ra áp lực làm dịch chuyển các hạt vật chất trong môi trường đàn hồi để tai người có thể nhận được các dao động này, tần số nghe được trong khoảng 20Hz đến 20kHz • Âm thanh tự nhiên: là sự kết hợp phức giữa các sóng âm có tần số và dạng sóng khác nhau • Dải động của tai: Giới hạn bởi ngưỡng nghe thấy (0dB) đến ngưỡng đau (120dB) tai người Trần Bá Nhiệm Truyền thông đa phương tiện 12 Audio • Ngưỡng nghe tối thiểu: mức thấp nhất của biên độ mà tai người có thể cảm nhận được âm thanh tùy vào từng người; liên quan đến mức áp lực và tần số của âm thanh • Hiệu ứng che khuất: hiện tượng âm thanh mà tại đó ngưỡng nghe của một âm tăng lên trong khi có mặt của âm khác (khó nghe hơn); được dùng trong kỹ thuật nén Trần Bá Nhiệm Truyền thông đa phương tiện 13 Audio • Vang và trễ: vang là hiện tượng kéo dài âm thanh sau khi nguồn âm đã tắt. Trễ là thời gian  âm thanh phản xạ đến đích so với âm thanh trực tiếp. Nếu  > 50ms thì trễ đó gọi là tiếng vọng. Biên độ của âm thanh cứ sau 1 lần phản xạ thì bị suy giảm • Âm nhạc: là âm thanh có chu kỳ ở những tần số mà tai người cảm nhận một cách dễ chịu, êm ái, được kết hợp một cách phù hợp. Âm nhạc gồm cao độ, âm sắc và nhịp điệu Trần Bá Nhiệm Truyền thông đa phương tiện 14 Video • Tín hiệu video: là sự tái tạo ảnh tự nhiên với những khoảng cách về không gian, thời gian hoặc cả hai • Ảnh tự nhiên: được tạo nên từ các nguồn sáng mặt trời hay ánh sáng nhân tạo phản xạ lên các vật thể mà ta có thể nhìn thấy được • Ảnh: là một ma trận các điểm mang thông tin về độ chói và màu sắc Trần Bá Nhiệm Truyền thông đa phương tiện 15 Video • Sự lưu ảnh: Khả năng lưu hình của mắt trong 1s. Mắt có thể lưu được 24 hình/s. Chọn số hình trong 1s cho ảnh động phải phù hợp tốc độ này • Độ chói: là biên độ của thành phần trong ảnh (pixel) – Công thức xác định độ chói dựa trên RGB Trần Bá Nhiệm Truyền thông đa phương tiện 16 Video – Thông tin màu được xác định • Độ tương phản: tỷ số của độ chói thành phần sáng nhất so với độ chói của thành phần tối nhất Trần Bá Nhiệm Truyền thông đa phương tiện 17 Nội dung • Tổng quan về đa phương tiện • Khái niệm chung về audio và video • Hệ thống audio và video • Một số vấn đề về tín hiệu Trần Bá Nhiệm Truyền thông đa phương tiện 18 Hệ thống audio tương tự Trần Bá Nhiệm Truyền thông đa phương tiện 19 Hệ thống video tương tự Trần Bá Nhiệm Truyền thông đa phương tiện 20 Hệ thống audio-video số Trần Bá Nhiệm Truyền thông đa phương tiện 21 Các thành phần của hệ thống • Bộ phận thu: micro và camera thu và chuyển tín hiệu (âm thanh hoặc ảnh) sang tín hiệu điện tương tự. Đối với các hệ thống số phải thực hiện việc chuyển đổi tương tự sang số • Lưu trữ: thiết bị lưu trữ là băng từ hoặc đĩa từ. Có thể là các thiết bị riêng biệt dùng với mục đích thuận tiện và yêu cầu đạt một chất lượng nào đó • Xử lý tín hiệu: điều chỉnh đặc tính tần số, màu sắc, tạo hiệu ứng, • Truyền dẫn: truyền tín hiệu từ vị trí này sang vị trí khác với một khoảng cách không gian thông qua môi trường truyền Trần Bá Nhiệm Truyền thông đa phương tiện 22 Phân loại hệ thống audio-video Trần Bá Nhiệm Truyền thông đa phương tiện 23 Hệ thống audio-video dân dụng • Xây dựng hoặc tạo lại một số chương trình nhất định • Ghi, lưu trữ những sự kiện cá nhân • Hầu hết các chương trình được thu và tạo tại chỗ • Hệ thống đáp ứng nhu cầu giá thành thấp, dễ dùng để phổ biến rộng rãi • Dùng phương pháp sản xuất hậu kỳ với chất lượng giới hạn nhất định Trần Bá Nhiệm Truyền thông đa phương tiện 24 Hệ thống audio-video dân dụng • Đa hệ và tương thích với mọi tiêu chuẩn • Mối quan tâm của các nhà sản xuất Trần Bá Nhiệm Truyền thông đa phương tiện 25 Hệ thống audio-video bán chuyên dụng Trần Bá Nhiệm Truyền thông đa phương tiện 26 Hệ thống phân phối • Tập hợp chương trình thành một dòng dữ liệu để phát quảng bá, truyền hình cáp hay vệ tinh • Khả năng chuyển tải đến người xem thông qua máy phát, mạng hay một phương thức nào đó • Máy chủ phải đáp ứng khả năng lưu trữ đối với tín hiệu nhằm tạo đường truyền thông suốt giữa các chương trình • Yêu cầu tự động cao Trần Bá Nhiệm Truyền thông đa phương tiện 27 Hệ thống phân phối • Giảm chi phí nhân công • Truyền hình tương tác yêu cầu khả năng xử lý và chất lượng đường truyền khá cao, đồng thời hệ thống phải có khả năng phát các chương trình khác nhau trong cùng một thời điểm Trần Bá Nhiệm Truyền thông đa phương tiện 28 Hệ thống phòng thu sản xuất chương trình Trần Bá Nhiệm Truyền thông đa phương tiện 29 Hệ thống sản xuất chương trình ngoài trời • Được dùng để thu các bản tin hay một chương trình nào đó mà không cần nhiều người thực hiện, thường dùng các thiết bị cầm tay • Các chương trình truyền hình trực tiếp thì hệ thống có thể là các hệ thống cố định nhưng với quy mô nhỏ và chất lượng thấp hơn • Yêu cầu tính cơ động cao • Camera được nối với máy ghi mà không dùng ma trận chuyển mạch • Máy ghi âm đa đường được dùng để thuận tiện trong hậu kỳ âm thanh nhưng yêu cầu phải đồng bộ với hình Trần Bá Nhiệm Truyền thông đa phương tiện 30 Hệ thống sản xuất hậu kỳ Trần Bá Nhiệm Truyền thông đa phương tiện 31 Hệ thống cầu hội thảo Trần Bá Nhiệm Truyền thông đa phương tiện 32 Hệ thống audio-video trong máy tính • Máy tính dùng để trình diễn, lưu trữ, xử lý âm thanh, hình ảnh • Điều khiển bằng phần mềm chuyên dụng kết hợp với các card đồ họa, xử lý kỹ xảo • Đa dạng về tiêu chuẩn dẫn đến khó tương thích • Có thể yêu cầu nhiều dạng card thích ứng khác nhau và có thể dùng hơn 1 màn hình để hiển thị • Dữ liệu có thể yêu cầu nén và giải nén vì phạm vi ứng dụng khá rộng Trần Bá Nhiệm Truyền thông đa phương tiện 33 Nội dung • Tổng quan về đa phương tiện • Khái niệm chung về audio và video • Hệ thống audio và video • Một số vấn đề về tín hiệu Trần Bá Nhiệm Truyền thông đa phương tiện 34 Tín hiệu và hàm số • Tín hiệu tương tự (analog) là hàm theo thời gian • Biên độ âm thanh được biểu diễn bằng mức độ âm thanh tại thời điểm đã cho • Tín hiệu được biểu diễn bằng hàm f(t) Trần Bá Nhiệm Truyền thông đa phương tiện 35 Tín hiệu có chu kỳ • Sự lặp lại trong một khoảng thời gian ngắn nhất không đổi của tín hiệu gọi là chu kỳ T • Tần số là nghịch đảo của chu kỳ: f = 1/T Trần Bá Nhiệm Truyền thông đa phương tiện 36 Phân tích Fourier • Trong thực tế, rất ít khi có được một tín hiệu đơn tần mà thông thường là các tín hiệu phức tạp, kết hợp bởi nhiều tần số và các hài của nó • Việc phân tích Fourier cho kết quả là tổng của các hàm sin và cosin của các tần số khác nhau • Việc phân tích và biến đổi Fourier nhằm nâng cao chất lượng hình ảnh Trần Bá Nhiệm Truyền thông đa phương tiện 37 Phân tích Fourier 1 chiều Trần Bá Nhiệm Truyền thông đa phương tiện 38 Phổ tần số • Sự phân bố của () gọi là phổ tần của tín hiệu • Tín hiệu biến thiên chậm thì phổ tần tập trung ở tần số thấp và ngược lại. Từ đó hình thành tín hiệu tần số thấp và tần số cao Trần Bá Nhiệm Truyền thông đa phương tiện 39 Tín hiệu audio và video • Tín hiệu âm thanh thường là tín hiệu 1 chiều • Tín hiệu ảnh là tín hiệu 2 chiều • Tín hiệu video là tín hiệu 3 chiều • Với các chiều khác nhau sẽ có số biến khác nhau tương ứng Trần Bá Nhiệm Truyền thông đa phương tiện 40 Chuyển đổi Fourier 2 chiều Trần Bá Nhiệm Truyền thông đa phương tiện 41 Màu sắc • Việc kết hợp các màu khác nhau tạo nên một màu mới. Thông thường chọn các màu cơ bản để kết hợp, ví dụ: RGB Trần Bá Nhiệm Truyền thông đa phương tiện 42 Không gian cảm quan màu 3 chiều – Con người cảm quan màu sắc ở 3 yếu tố • Brightness: độ sáng • Hue: màu • Saturation: độ tinh khiết – Sự cảm quan này đối với mỗi người là khác nhau Trần Bá Nhiệm Truyền thông đa phương tiện 43 Nén dữ liệu • Đại lượng đo thông tin – Lượng thông tin trong tín hiệu có thể không bằng lượng dữ liệu của nó mà quan hệ mật thiết với xác suất xuất hiện • Lượng tin – Thông tin được mang bởi biến cố A có xác suất xuất hiện P[A] là: Trần Bá Nhiệm Truyền thông đa phương tiện 44 Nén dữ liệu – Thông tin bằng không (Lượng tin bằng 0) • Ví dụ: “Mặt trời mọc ở hướng Đông” – Lượng tin ít • Ví dụ: “Điện thoại di động trong tương lai đều có khả năng multimedia” – Lượng tin nhiều • Ví dụ: “Trường Đại học CNTT Gia Định được xếp hạng 20 trong top100 trường đại học trên thế giới” Trần Bá Nhiệm Truyền thông đa phương tiện 45 Entropy • Lượng tin trung bình của nguồn tin, có thể được hiểu một cách gần đúng là số bit trung bình của thông tin yêu cầu để biểu diễn các ký hiệu của nguồn tin • Với nguồn có N ký hiệu Xi thì entropy được định nghĩa như sau: – H(S) ≥ 0 – Đối với mã hóa nhị phân, H(S) thể hiện mã hóa với số bit/ký hiệu đạt giá trị tối thiểu Trần Bá Nhiệm Truyền thông đa phương tiện 46 Entropy • Ví dụ: Một ảnh phân bố đều ở thang xám (256 mức) có pi = 1/256, số bit mã hóa cho mức xám là log2256 = 8 bit, suy ra entropy của ảnh này là: H(S) = ∑ = 8 bit/ký hiệu • Vậy trong trường hợp phân bố đều này, mã hóa độ dài cố định sẽ đạt được số bit tối thiểu. Trường hợp tổng quát thì mã hóa độ dài cố định sẽ không hiệu quả Trần Bá Nhiệm Truyền thông đa phương tiện 47 Chiều dài từ mã, chiều dài trung bình • Chiều dài từ mã là số kí hiệu có trong từ mã thường được kí hiệu là l. • Chiều dài trung bình của bộ mã thường được kí hiệu là ̅ và được cho bằng công thức: n l   P[xi ]li i 1 • trong đó n là số tin của nguồn còn li là chiều dài từ mã tương ứng với tin xi của nguồn. Trần Bá Nhiệm Truyền thông đa phương tiện 48 Hiệu suất lập mã • Hiệu suất lập mã h được định nghĩa bằng tỉ số của entropy của nguồn với chiều dài trung bình của bộ mã được lập H X h  l Trần Bá Nhiệm Truyền thông đa phương tiện 49 Mã hóa độ dài cố định FLC (Fixed- Length Code) • Đặc điểm: – Dùng số bit cố định để biểu diễn mọi ký hiệu của nguồn – Ưu: Đơn giản trong quá trình mã hóa/giải mã – Nhược: không hiệu quả • Ví dụ: mã ASCII (American Standard Code for Information Interchange) dùng 8 bit để mã hóa các ký tự. Để truyền chuỗi DTVT (có mã tương ứng là 68, 84, 86, 84) thì thực tế truyền 01101000100001001000011010000100 Trần Bá Nhiệm Truyền thông đa phương tiện 50 Mã hóa độ dài thay đổi VLC (Variable- Length Code) • Đặc điểm: – Dùng số bit khác nhau để biểu diễn ký hiệu của nguồn, các ký hiệu có xác suất cao được phân bổ từ mã ngắn và ngược lại – Ưu: hiệu quả trong việc biểu diễn, nén tốt hơn • Ví dụ: mã Morse, Shannon-Fano, Huffman, mã hóa loạt dài (RLC) Trần Bá Nhiệm Truyền thông đa phương tiện 51 Phương pháp mã hoá Shannon • B1. Sắp xếp các xác suất theo thứ tự giảm dần. Không mất tính tổng quát giả sử p1  ...  pK. • B2. Định nghĩa q1 = 0, = ∑ ,  i = 2, ..., K. • B3. Đổi qi sang cơ số 2, (biểu diễn qi trong cơ số 2) sẽ được một chuỗi nhị phân • B4. Từ mã được gán cho ai là li kí hiệu lấy từ vị trí sau dấu phẩy của chuỗi nhị phân tương ứng với qi, trong đó = − Truyền thông đa phương tiện Phương pháp mã hoá Shannon • Hãy mã hoá nguồn S = {a1, a2, a3, a4, a5, a6} với các xác suất lần lượt là 0,3; 0,25; 0,2; 0,12; 0,08; 0,05. Tin Xác suất i1 Biểu diễn Từ mã q  p l  log p a p i  j nhị phân i  2 i  w i i j1 i a1 0,3 0 0,00 2 00 a2 0,25 0,3 0,01001... 2 01 a3 0,2 0,55 0,10001... 3 100 a4 0,12 0,75 0,11000... 4 1100 a5 0,08 0,87 0,11011... 4 1101 a6 0,05 0,95 0,111100... 5 11110 – H = 2,36, = 2,75, h = 2,36/2,75 = 85,82% Truyền thông đa phương tiện Phương pháp mã hoá Fano • B1. Sắp xếp các xác suất theo thứ tự giảm dần. Không mất tính tổng quát giả sử p1  ...  pK. • B2. Phân các xác suất thành 2 nhóm có tổng xác suất gần bằng nhau nhất. • B3. Gán cho hai nhóm lần lượt các kí hiệu 0 và 1 (hoặc ngược lại). • B4. Lặp lại bước 2 cho các nhóm con cho đến khi không thể tiếp tục được nữa. • B5. Từ mã ứng với mỗi tin là chuỗi bao gồm các kí hiệu theo thứ tự lần lượt được gán cho các nhóm có chứa xác suất tương ứng của tin. Truyền thông đa phương tiện Phương pháp mã hoá Fano • Hãy mã hoá nguồn S = {a1, a2, a3, a4, a5, a6} với các xác suất lần lượt là 0,3; 0,25; 0,2; 0,12; 0,08; 0,05. Phân nhóm lần Tin Xác suất Từ mã 1 2 3 4 a1 0,3 0 0 00 a2 0,25 0 1 01 a3 0,2 1 0 10 a4 0,12 1 1 0 110 a5 0,08 1 1 1 0 1110 a6 0,05 1 1 1 1 1111 – H = 2.36, = 2,38, h = 2,36/2,38 = 99,17% Truyền thông đa phương tiện Giải thuật mã hóa Huffman • B1. Sắp xếp các xác suất theo thứ tự giảm dần chẳng hạn p1  ...  pK • B2. Gán 0 tới bit cuối của wK–1 và 1 đến bit cuối của wK hoặc ngược lại. Tuy nhiên chúng ta sẽ qui ước thực hiện theo chiều thứ nhất. • B3. Kết hợp pK và pK–1 để tạo thành một tập xác suất mới p1, ... , pK–2, pK–1 + pK • B4. Lặp lại các bước trên cho tập mới này. Truyền thông đa phương tiện Giải thuật mã hóa Huffman ai pi Lần 1 Lần 2 Lần 3 Lần 4 wi 0 a1 0,3 0,3 0,3 0,45 0,55 00 0 1 a2 0,25 0,25 0,25 0,3 0,45 01 0 1 a3 0,2 0,2 0,25 0,25 11 0 1 a4 0,12 0,13 0,2 101 0 1 a5 0,08 0,12 1000 1 a6 0,05 1001 – Ví dụ: Hãy mã hoá nguồn S = {a1, a2, a3, a4, a5, a6} với các xác suất lần lượt là 0,3; 0,25; 0,2; 0,12; 0,08; 0,05 – H = 2.36, = 2,38, h = 2,36/2,38 = 99,17% Truyền thông đa phương tiện Ví dụ: Xây dựng cây Huffman w1: 00 1 0 1 w2: 01 w3: 11 0,55 0,45 0 1 w4: 101 1 0 a1 a3 w5: 1000 a2 0,25 w6: 1001 0 1 0,2 0,3 0,25 a4 Yêu cầu khi xây dựng cây: 0,13 -Trọng số mỗi nút phải lớn 0 1 0,12 hơn hoặc bằng trọng số các nút có mức lớn hơn a5 a6 -Trong một mức, trọng số các nút giảm dần từ trái Trần Bá Nhiệm 0,08 Truyền0,05 thông đa phương tiện sang phải 58 Mã hóa loạt dài RLC • Nguyên lý: mã hóa loạt ký hiệu bằng chiều dài và ký hiệu của loạt đó • Đặc điểm: – Không tổn hao – Liên ký tự – Hiệu quả với một số nguồn tín hiệu, nhất là sau phép chuyển đổi Trần Bá Nhiệm Truyền thông đa phương tiện 59 Mã hóa loạt dài RLC Trần Bá Nhiệm Truyền thông đa phương tiện 60 Mã hóa Lempel-Zip-Welch • Được Jacob Lampel và Abraham Ziv đề xuất năm 1977, phát triển thành họ LZ, LZ77, LZ78. Năm 1988 TerryWelchcải tiến thành LZW. • Nguyên tắc: dựa vào việc xây dựng một từ điển lưu các chuỗi ký tự có tần suất cao và thay thế bằng một từ mã mới • LZW tổ chức từ điển tốt hơn nên nâng cao tỷ lệ nén Trần Bá Nhiệm Truyền thông đa phương tiện 61 Mã hóa Lempel-Zip-Welch • Ví dụ: Xét từ điển có độ lớn bằng 4096 giá trị từ mã, vậy độ dài lớn nhất của từ mã là 12 bit (vì 212 = 4096). Trần Bá Nhiệm Truyền thông đa phương tiện 62 Mã hóa Lempel-Zip-Welch • Thuật toán: – w = Nil – khi đọc được ký tự thứ k trong chuỗi, nếu wk đã tồn tại trong từ điển thì w = wk – Ngược lại thì thêm wk vào từ điển, mã hóa ngõ ra cho w; w = k – Gán k = k + 1 Trần Bá Nhiệm Truyền thông đa phương tiện 63 Mã hóa Lempel-Zip-Welch Trần Bá Nhiệm Truyền thông đa phương tiện 64 Mã hóa Lempel-Zip-Welch • Xét chuỗi ABCBCABCABCD • Chuỗi ra: 65666725925867262 68 • Đầu vào: 12kt × 8bits=96bit • Đầu ra: 5kt × 8bits + 3kt × 9bits =67bit • Tỷ lệ nén: 96/67=1,43 Trần Bá Nhiệm Truyền thông đa phương tiện 65