Bài giảng Truyền thông đa phương tiện

Lê Thanh Hà, TS. Phòng thí nghiệm Tương tác người máy 11/4/2013 Lê Thanh Hà - Phòng TN Tương tác người máy 2 Video conference Video Camera số DVD/VCD Các hệ thống giám sát bằng video Cơ sở dữ liệu video/ảnh Multimedia tương tác, học trực tuyến tương tác Truyền hình số Mỗi năm thông tin được bổ sung thêm bao nhiêu? Một nghiên cứu từ School of Information Management and Systems at UC Berkeley Thông tin được tạo lập mới được lưu trữ dưới những dạng: In ấn - Print Phim - Film Từ - Magnetic Quang - Optical Thông tin được thu nhận từ các kênh điện tử: Điện thoại - Telephone Đài phát thanh - Radio Tivi - TV Internet Khoảng 5 exabytes thông tin mới đã được tạo lập và lưu trữ dưới dạng in ấn, phim, từ và quang vào năm 2002. 5 exabytes lớn như thế nào? 1000 gigabytes = 1 terabytes 1000 terabytes = 1 petabytes 1000 petabytes = 1 exabytes Nó tương đương với kích thước của nửa triệu thư viện quốc gia Mỹ. 92% thông tin được lưu trong đĩa từ, hầu hết trong ổ cứng Magnetic: 92 % Film: 7% Print: 0.01% Optical: 0.002% Thông tin mới của mỗi người là bao nhiêu? Khoảng 800 MB thông tin được tạo lập bởi mỗi người. Tổng lượng thông tin được lưu trữ trên giấy, phim, từ và quang được tăng gấp đôi trong khoảng năm 1999 đến 2002 Bùng nổ thông tin Xã hội không giấy- paperless society Thông tin lưu trữ dưới dạng văn bản giấy vẫn tăng Nhưng hầu hết thông tin gốc trên giấy được tạo lập từ các tài liệu văn phòng thư tín chứ không phải là sách vở, tin báo, hay tạp chí. Thông tin được truyền trên các kênh điện tử chứa đựng khoảng 18 exabytes vào năm 2002, gấp khoảng 3.5 lần kích thước thông tin lưu trữ. Điện thoại chiếm khoảng 98% tổng lượng thông tin lưu chuyển, hầu hết trong số đó là thông tin giữa người với người. Thông tin lưu chuyển trên các kênh điện tử chứa đựng khoảng 18 exabytes vào năm 2002, gấp khoảng 3.5 lần kích thước thông tin lưu trữ. WWW chiếm khoảng 170TB Tin nhắn nhanh chiếm khoảng 5 tỉ tin nhắn mỗi ngày (750GB) Email chiếm khoảng 400, 000 TB thông tin vào năm 2002 Vậy ta có nên sử dụng một đoạn ký tên ngắn để tiết kiệm đường truyền không? Truyền file P2P tăng trưởng rất nhanh: Các file có dung lượng lớn là các file video, lớn hơn 100MB Hầu hết các file được truyền tải là file âm thanh (MP3) Thông tin về người Mỹ: Sử dụng điện thoại 16.17 giờ/tháng Nghe phát thanh 90 giờ/tháng Xem TV 131 giờ/tháng Sử dụng Internet 100 giờ/tháng (khoảng 53% dân số sử dụng Internet) Thời gian sử dụng để xem TV và nghe đài không thay đổi nhiều Thời gian đọc tài liệu được in trên giấy giảm Tăng trưởng nhanh ở home video, video games, và sử dụng Internet Cả 3 lĩnh vực này vẫn là rất nhỏ so với tổng thể. Table 4: Summary of media use by US households in hours per year, with estimated megabyte equivalent Item 1992 Hours 2000 Hours 2000 MBytes % Change TV 1510 1571 3,142,000 4 Radio 1150 1056 57,800 -8 Recorded Music 233 269 13,450 15 Newspaper 172 154 11 -10 Books 100 96 7 -4 Magazines 85 80 6 -6 Home video 42 55 110,000 30 Video games 19 43 21,500 126 Internet 2 43 9 2,050 Total: 3,324 3,380 3,344,783 1.7 Thông tin Video là lớn nhất  Quan trọng nhất. Table 4: Summary of yearly media use by US households in hours per year, with estimated megabyte equivalent Item 1992 Hours 2000 Hours 2000 MBytes % Change TV 1510 1571 3,142,000 4 Radio 1150 1056 57,800 -8 Recorded Music 233 269 13,450 15 Newspaper 172 154 11 -10 Books 100 96 7 -4 Magazines 85 80 6 -6 Home video 42 55 110,000 30 Video games 19 43 21,500 126 Internet 2 43 9 2,050 Total: 3,324 3,380 3,344,783 1.7 Nhu cầu rất lớn từ người sử dụng THE LORD OF THE RINGS Three Rings for the Elven-kings under the sky, Seven for the Dwarf-lords in their halls of stone, Nine for Mortal Men doomed to die, One for the Dark Lord on his dark throne In the Land of Mordor where the Shadows lie, One Ring to rule them all, One Ring to find them, One Ring to bring them all and in the darkness bind them In the Land of Mordor where the Shadows lie. Văn bản viết Ảnh tĩnh 11/4/2013 Lê Thanh Hà - Phòng TN Tương tác người máy 11 Một vấn đề chính trong truyền thông đa phương tiện – nén âm thanh, hình ảnh Tại sao chúng ta cần nén video? Để có thể xử lý được một khối lượng lớn video số Tiết kiệm chi phí để lưu trữ và truyền video 11/4/2013 Lê Thanh Hà - Phòng TN Tương tác người máy 12 Uncompressed ITU-R Rec. 601: • 720 x 576 pixels at 25 frames per second (4:2:2); • 8-bit per component, leading to Total bit rate = 25 frames/s x (720+360+360) X 576 component pixels/frame x 8 bits per component pixel = 166 Mbps, and a 90 minute movie requires over 100 GBytes. • 10-bit per component, leading to Total bit rate = 25 frames/s x (720+360+360) component pixels/frame x 10 bits per component pixel = 207 Mbps, a 90 minute movie requires over 135 GBytes. Digital Storage Capacities: CD/VCD: 640~700 MB, typically at 1.2Mbps, (142:1 compression required for storage and 138:1 compression required for bandwidth); DVD: 4.6 GB, at 4.5 to 6 Mbps (21:1 compression required for storage, 28:1 for bandwidth); PC Hard Disk: 40 to 80 GB with PCI bus bandwidth of ~132 MBps 11/4/2013 Lê Thanh Hà - Phòng TN Tương tác người máy 13 Connection technology Transmission rate Compression required for video V.32bis/V.34/V42.bis Modems T1 HDSL ADSL 3 Cable modem ISDN Channel Type B 2B H0 H11 H12 H4 B-ISDN (ATM SONET) 14.4/28.8/56 Kbps 1.544 Mbps 1.5 Mbps 6.312 Mbps 10 Mbps 64 kbps 128 kbps 384 kbps 1536 kbps 1920 kbps Up to 150 Mbps 100 Mbps up ~11528/5764/2964:1 ~108:1 ~110:1 ~26:1 ~16.6:1 ~2600:1 ~1297:1 ~432:1 ~108:1 ~87:1 ~1.1:1 <1.6:1 11/4/2013 Lê Thanh Hà - Phòng TN Tương tác người máy 14 Các tần suất dữ liệu audio (Audio data rates) Ảnh và chuỗi video (Image and Video Sequence) Thể hiện điểm (Pixel Representation) Lấy mẫu “giảm” theo thành phần màu (Chrominance sub-sampling) Các khuôn dạng video số (Digital Video Formats) Thu nhận từ thiết bị cảm nhận âm thanh (Microphone) Bản chất của âm thanh là sóng áp suất truyền từ nguồn phát qua không khí đập vào màng thu của microphone. Màng thu microphone dao động và tạo nên dòng điện biến thiên truyền tới thiết bị. Phát âm thanh: Quá trình ngược lại. 11/4/2013 Lê Thanh Hà - Phòng TN Tương tác người máy 15 Biểu diễn dưới dạng sóng của âm thanh: Mono: chỉ có 1 kênh âm thanh (điện thoại). Stereo: nhiều kênh âm thanh (Hội thoại trực tuyến, truyền phát thanh). Multi-channel: Âm nhạc chất lượng cao. Thực hành: Sử dụng chương trình Audacity Hiểu thêm về bản chất của âm thanh Soạn thảo các file âm thanh. 11/4/2013 Lê Thanh Hà - Phòng TN Tương tác người máy 16 11/4/2013 Lê Thanh Hà - Phòng TN Tương tác người máy 17 Phương tiện lưu trữ Dải thông audio (kHz) Tần suất lấy mẫu (kHz) Stereo Audio Bitrate (kbits/s) Mã hóa CD 20 44.1 1411.2 PCM DAT 16 32.0 1024.0 PCM DCC 20 44.1 384 PASC MD 22 44.1 292 ATRAC CD: Compact Disk, DAT: Digital Audio Tape, DCC: Digital Compact Cassette, MD: MiniDisk PCM: Pulse Code Modulation, PASC: Precision Adaptive Subband coding, ATRAC: Adaptive Transform Acoustic Coding 11/4/2013 Lê Thanh Hà - Phòng TN Tương tác người máy 18 Ảnh và video số Đơn vị cơ bản để xây dựng một ảnh được gọi là điểm - pixel (pel) Độ phân giải ảnh được tính bằng số lượng ảnh theo chiều ngang và dọc Các chuỗi video chứa một số các hình ảnh chuyển động Một trong những định dạng chuỗi video nổi tiếng là cấu trúc xen kẽ (interlaced) dựa theo định dạng PAL 11/4/2013 Lê Thanh Hà - Phòng TN Tương tác người máy 19 11/4/2013 Lê Thanh Hà - Phòng TN Tương tác người máy 20 Định dạng video xen kẽ Tần suất khung (frame rate) chuẩn (25 or 30 fps) đủ cao để tạo ra các chuyển động mịn tuy nhiên chưa đủ cao để loại bỏ giật (flickering) Để loại bỏ giật có thể nhìn thấy được ở một bức ảnh sáng, tần suất refresh phải tối thiểu là 40fps. Với sự xen kẽ 2-to- 1, các dòng lẻ của frame (field 1) được hiển thị trước sau đó là các dòng chẵn (field 2). Chuỗi 25 khung trên một giây được hiển thị với tần suất 50 field một giây Cả khung hình có vẻ như đã được refresh 50 lần một giây. 11/4/2013 Lê Thanh Hà - Phòng TN Tương tác người máy 21 11/4/2013 Lê Thanh Hà - Phòng TN Tương tác người máy 22 Không gian màu Y,U,V Hệ thống thị giác của con người nhạy cảm với ba thành phần màu. Màu có thể được thể hiện thông qua ba thành phần: Đỏ (Red), Xanh lá cây (Green) và Xanh da trời (Blue) (RGB). Chuyển sang YUV hay YCbCr: Lưu ý: Hai thành phần (U,V) thường chứa ít thông tin hơn nhiều so với thành phần Y( độ sáng – luminance) 11/4/2013 Lê Thanh Hà - Phòng TN Tương tác người máy 23 Không gian màu YdCbCr Chuyển từ RGB sang YdCbCr theo công thức: 11/4/2013 Lê Thanh Hà - Phòng TN Tương tác người máy 24 11/4/2013 Lê Thanh Hà - Phòng TN Tương tác người máy 25 Thị giác con người thường không nhạy cảm với các thành phần màu (chrominance). Chính vì thế, các thành phần màu thường được lấy mẫu “giảm”. Lấy mẫu “giảm” thường được mô tả theo tỉ lệ của ba thành phần. 11/4/2013 Lê Thanh Hà - Phòng TN Tương tác người máy 26 Ở định dạng 4:4:4 : Y, Cr & Cb – 720 x 576 điểm trên khung Ở định đạng 4:2:2 : Y – 720 x 576 và Cr & Cb – 360 x 576 điểm trên khung Ở định dạng 4:2:0 : Y – 720 x 576 và Cr & Cb – 360 x 288 điểm trên khung Ở định dạng 4:1:1 : Y – 720x576 và Cr & Cb – 144x576 11/4/2013 Lê Thanh Hà - Phòng TN Tương tác người máy 27 International Consultative Committee for Radio (CCIR) Rec. 601: Hai tần suất: 50Hz: 720x576 pixels at 50 fields per second. 60Hz: 720x480 pixels at 60 fields per second. Cả hai đều là xen kẽ 2:1 và lấy mẫu thành phần màu 4:2:2 (có thể lựa chọn 4:4:4). 11/4/2013 Lê Thanh Hà - Phòng TN Tương tác người máy 28 Common Intermediate Format (CIF): Được định nghĩa bởi CCITT (TSS) cho chuẩn mã hóa H.261 (teleconferencing and videophone). Một số kích thước khác nhau: SQCIF: 88x72 pixels. QCIF: 176x144 pixels. CIF: 352x288 pixels. 4CIF: 704x576 pixels. Không xen kẽ (Non-interlaced), và lấy mẫu thành phần màu 4:2:0. Tần suất khung (Frame rates): 25 frames/sec Chuẩn khác: 720p/720i: 1280x720 progressive/interlace 1080p/1080i: 1920x1080 progresive/interlace