Xử lý ảnh động - Moveable pictorial processing

XỬ LÝ ẢNH ĐỘNG MOVEABLE PICTORIAL PROCESSING MAI HỘ Trường Đại học Kỹ thuật, Đại học Đà Nẵng TÓM TẮT Ảnh động là một xâu các ảnh tĩnh, mỗi ảnh tĩnh tồn tại trong một khung ảnh. Bản chất của đối tượng chuyển động ở trong loạt các khung ảnh này là sự biến đổi tương đối của toạ độ vị trí của mỗi đối tượng. Điêù đó cho thấy, việc xác đinh vị trí của đối tượng chuyển động dẫn tới nhân tố quan trọng thứ nhất đối với công nghệ xử lý ảnh động. Thêm vào đó, cường độ chói sáng màu của đối tượng ảnh được thay đổi từ khung ảnh này tới khung ảnh khác. Dĩ nhiên, điều đó cũng tạo nên ảnh chuyển động. Kỷ thuật làm bù và làm xấp xỉ đối với hai ảnh chuyển động kế cạnh nhau là nội dung thứ hai được thảo luận trong bài báo này. ABSTRACT Moving pictures comprise a sequence of statical images; each of them exists on a frame. The nature of the moving object in these serial frames is the relative variation of positional coordinate. That is the reason why the locational determining of this moving object leads to the first important factor for the technology of moveable pictorial processing. In addition, the colorlightness intensity of image object is also changed from frame to frame. Obviously, this creates the moving images. The technique of complementing and approximating for two adjacent moveable images is the second discussed question in this paper. 1. Hệ thông tin hình ảnh (pictorial information system) Hệ thông tin hình ảnh là một hệ thống điều khiển và quản lý các thiết bị nhập, xuất, xử lý, lưu trữ và cung cấp các dữ liệu hình ảnh tĩnh và động cho người dùng. Ngày nay, người ta xây dựng những mô hình hệ thông tin xử lý ảnh độc lập (hình 1) và chúng được kết nối với nhau trong mạng cục bộ hay qua mạng Internet và hệ thống dịch vụ các kênh truyền hình cáp. Với hệ thông tin xử lý ảnh theo mô hình này, công việc xử lý ảnh có thể tập hợp được sức lực của nhiều chuyên gia để giải quyết những vấn đề phức tạp và cung cấp cho người dùng những hình ảnh sinh động, chất lượng cao. 2. Xử lý ảnh đơn ảnh Ảnh động là một xâu gồm nhiều ảnh tĩnh, mỗi ảnh tĩnh tồn tại trong một khung ảnh (frame); bản chất của sự chuyển động của một đối tượng trong xâu các frame ảnh liên tiếp, đó là sự thay đổi vị trí tương đối (toạ độ ngang và dọc) của nó trong từng frame. Để xử lý ảnh động, đầu tiên, người ta đề cập tới bài toán xử lý ảnh đơn. 2.1. Phân đoạn hình ảnh Phân đoạn ảnh là quá trình phân tích một hình ảnh thành các lớp đối tượng riêng rẽ, mỗi đối tượng được gọi là một ảnh con. Để phân biệt đối tượng này với đối tượng khác và tiện lợi cho bước phân tích tiếp theo, mỗi đối tượng được gán một nhãn. Thực chất của phân đoạn ảnh là phép đối sánh mẫu. Phép đối sánh mẫu còn gọi phép nhận dạng đối tượng, nó là phép đếm đúng (TRUE) của toán tử AND trên hai hàm ảnh, gồm hàm Hi(x,y) của ảnh mẫu và hàm Fi(x.y) của ảnh được phân đoạn trước xử lý cho ra hàm Gi(x,y) của ảnh kết quả sau xử lý (hình 2), được xác định bởi biểu thức: Gi(x,y) = Fi(x,y) AND Hi(x,y). (1) Internet Scanner, Digitizitor Khoa học và đời sống Giao tiếp hình Bộ xử lý Thiết bị lưu trữ ảnh truyền thông hình ảnh dữ liệu hình ảnh Kênh Truyền hình Sensor, Camera Học tập và giải trí Hình 1. Mô hình hệ thống thông tin xử lý ảnh F0 Scanner Picture Processor Monitor F(x.y) Fi(x.y)&Hi(x.y) Gi(Fi ,Hi) Hình 2. Sơ đồ nhận dạng phân đoạn ảnh Một cách đầy đủ, bài toán phân đoạn mẫu ảnh là bài toán hai lớp, tương ứng: phần cứng xử lý ảnh của máy tính có hai bộ xử lý ảnh chuyên dụng (xem hình 3), có tên là bộ xử lý extractor và bộ xử lý classifier. Picture Processor Scaner Extractor Classifier Monitor Hình 3. Sơ đồ xử lý phân đoạn mẫu ảnh Ở đây: Bộ xử lý Extractor là bộ xử lý tách mẫu có chức năng tách ra các vectơ khía cạnh x1,.., xn từ ảnh ngưỡng (ảnh input). Bộ xử lý Classifier là bộ xử lý đối sánh (nhận dạng) mẫu có chức năng đối sánh các vectơ khía cạnh để gắn chúng vào các lớp Wi (với i=1..n) tương ứng, gọi là xác định nhãn cho mẫu. Bài toán phân đoạn ảnh được tiến hành theo các bước sau: 1. Lập vectơ mở rộng y từ các vectơ khía cạnh: y=(x1, x2,...,xn) (2) 2. Lập vectơ nhãn (lớp) tương ứng: w=(w1, w2,.., wn) (3) 3. Lập tập T là tập gồm các vectơ mở rộng y, được xác định: T=(T1 OR T2) (4) Trong đó: T1 và T2 được xác định theo y: nếu y*w>0 thì y(T1, còn nếu y*w< 0 thi y(T2. Giải thuật cho bài toán phân đoạn ảnh gồm các bước: 1. Nhập từng y cho bộ xử lý Classifier; 2. Nếu T1=y và y*w< 0 thì w= w +a*y; (a là hằng số sửa sai cần thiết, lấy a=[1,2,3,.]) 3. Nếu T2=y và y* w>0 thì w= w-a*y; 4. Nếu đã cải thiện theo bước 2 và bước 3 mà vẫn không đáp ứng các yêu cầu về xử lý ảnh, thì trở lại xử lý ảnh từ bước 1. 2.2. Đối sánh tương quan hình ảnh Gọi w(x, y) là ma trận các điểm ảnh của cửa sổ ảnh và T(x, y) là ma trận các điểm ảnh của ảnh mẫu; nội dung của phép đối sánh hai ma trận w(x,y) và T(x, y) là tìm một phép biến đổi Г để biến đổi w thành T và ngược lại (hình 4.a). Trong thực tế, muốn biến đổi từ w thành T và ngược lại, thường phải biến đổi qua ma trận trung gian R(k, l), tức là phải dùng hai phép biến đổi tương quan Г1 và Г2 (hình 4.b). Г Г1 Г2 w T w R T a. b. Hình 4. Sơ đồ phép biến đổi tương quan Ma trận ảnh trung gian R gọi là ma trận tương quan của w và T, được xác định bởi các biểu thức: R(k, l)= ∑∑w(x, y) *T(x-k, y-l) (5) R(k, l)= ∑∑w(x+k, y+l) *T(x, y) (6) Trong đó: k và l là toạ độ mức xám của ma trận ảnh tương quan R, chúng thường được lấy trong giải gíá trị (0, ±1, ±2, ±3...). Để gia tăng chất lượng ảnh xử lý, khi cần, người ta còn phải xác định ma trận tự tương quan của chính ảnh w hay của ảnh T, gọi là các ma trận tương quan mở rộng, cụ thể: 1. Ma trận tự tương quan của ma trận w(x, y) là ma trận Rw(k, l) được xác định bởi biểu thức: Rw(k,l)= ∑∑w(x, y) * w (x-k, y-l) (7) Khi k=0 và l=0, thì ma trận tự tương quan Rw trở thành: Rw(0,0)= ∑∑w2(x, y) (8) 2. Ma trận tự tương quan của ma trận T(x,y) là ma trận RT(k,l) được xác định: RT(k,l)= ∑∑T(x, y) * T(x-k, y-l) (9) Khi k=0 và l=0 thì RT trở thành: RT(0,0)= ∑∑T2(x, y) (10) 3. Hệ số tương quan của hai ma trận w(x, y) và T(x, y) là Q(k,l), được xác định: Q(k,l)= |R(k,l)| / √ Rw(0,0)* RT(0,0) (11) Khi tính R(k,l), ta xây dựng giải thuật cho 2 trường hợp: Trường hợp 1, khi (k,l)>=0 thì hệ số tương quan được tính: if (k>=0 and l>=0) then Q:=Q+ w(x, y) * T(x-k, y-l); Trường hợp 2, khi (k,l)<=0 thì hệ số tương quan dược xác định: if (k<0 and l<0) then Q:=Q+ w(x-k, y-l) * T(x, y); Sau đó quay lại tính ma trận tương quan R(k,l) như đã nêu nêu ở trên. 3. Xử lý ảnh động Ảnh động là một xâu gồm nhiều ảnh tĩnh, mỗi ảnh tĩnh tồn tại trong một khung ảnh (frame); baní chất của sự chuyển động của một đối tượng trong xâu: đó là sự thay đổi vị trí tương đối (toạ độ ngang và dọc) của nó trong từng frame. 3.1. Tổ chức bộ nhớ đệm hiển thị hình ảnh động Bộ nhớ đệm hình ảnh còn gọi là bộ nhớ hiển thị khung ảnh (frame buffer) được phân thành hai nhóm: một nhóm để lưu trữ các tổ chức gói điểm ảnh (pixelpackage memory) và nhóm kia lưu trữ dữ liệu của từng loại điểm ảnh (bitperpixel memory). Với màn hình mode VGA 256 màu có độ phân giải 640x480, sơ đồ kết nối bộ nhớ đệm với RAM chứa màu (palette ram) và RAM trộn màu (lookup ram) như trong hình 5. anlog guns LUT RAM R Frame Palete LUT RAM G Monitor Buffer RAM LUT RAM B Hình 5. Sơ đồ bố trí bộ nhớ đệm và các thanh ghi màu màn hình VGA Có hai loại bộ nhớ đệm hiển thị hình ảnh là DRAM và VRAM. Chức năng chính của DRAM và VRAM là hoạt động kiểm tra hiển thị hình ảnh lên màn hình. Trong các máy tính đời mới, VRAM được dùng phổ biến trong cấu hình hiển thị hình ảnh động của máy; bởi vì ngoài chức năng nói trên, VRAM còn có chức năng ghi dịch: cho phép dịch các cột từ bộ nhớ độc lập với cổng truy nhập (accessport) ngẫu nhiên. Kích thước ảnh  Kích thước pixel  Tốc độ frame  Tốc độ dữ liệu   160x120  8 bit/pixel  15 frame/second  21MB/s   160x120  16 bit/pixel  30 frame/s  43MB/s   320x240  8 bit/pixel  15 frame/s  38MB/s   320x240  16 bit/pixel  30 frame/s  67 MB/s   640x480  8 bit./pixel  15 frame/s  55 MB/s   640x480  16 bit/pixel  30frame/s  115 MB/s   800x600  16 bit/pixel  30frame/s  165 MB/s   Hình 6. Bảng tốc độ hiển thị dữ liệu ảnh động Với bộ nhớ đệm của các loại máy tính trên thị trường, tốc độ ảnh động phải đảm bảo các số liệu tiêu chuẩn theo bảng trong hình 6. Đối với các ảnh có độ phân giải 320x200, bộ nhớ hiển thị hình ảnh bắt đầu tại địa chỉ A0000 (hex) trong không gian địa chỉ PC của bộ nhớ với 64 kB. Byte thứ nhất của vùng này tuân theo pixel trái ở trên của cửa sổ hiển thị và 320 byte đầu tiên tuân theo hàng pixel thứ nhất trên cửa sổ hiển thị. Cách bố trí này cho phép tính địa chỉ để hiển thị pixel một cách đơn giản. Giả thử điểm góc trên bên trái của cửa sổ màn hình có toạ độ (0,0), thì địa chỉ tại một điểm ngẫu nhiên có toạ độ (x, y) có thể được tính theo biểu thức: Địachỉ(x, y)=A0000+y*320+x*200. (12) 3.2. Lấy mẫu màu Lấy mẫu màu cho ảnh video các hệ NTSC, PAL và SECAM là một vấn đề quan trọng của xử lý hình ảnh. Tổ chức CCIR (Committe Consultation Internnational Radiodiffusion) quy định: mỗi mẫu màu được ký hiệu bằng một xâu gồm ba chữ số (nguyên) ngăn cách nhau bởi dấu hai chấm, các số này biểu thị tỷ số tương đối của mỗi thành phần cấu thành mẫu ảnh. Ở đây, số đầu tiên biểu diễn độ chói Y, số thứ hai biểu diễn thành phần màu R ký hiệu CR và số thứ ba biểu diễn thành phần màu B ký hiệu CB. Trong xử lý ảnh, tỷ số này chỉ lấy một trong hai giá trị: Y:CR:CB=4:2:2 và 4:1:1. Nếu mỗi thành phần của một mẫu ảnhì có kích thước là 8 bit thì số bit/pixel đối với từng mẫu ảnh được tính: Với mẫu Y:CR:CB=4:2:2 là 8*4/2=18 bit/pixel; Với mẫu Y:CR:CB=4:1:1 là 8*6/4=12 bit/pixel. Để thấy rõ hiệu quả lấy mẫu màu, các giao diện của chương trình khai thác và chế biến dữ liệu hình ảnh cung cấp các chức năng lấy mẫu màu đuợc giới thiệu trong tài liệu [9]. Ở đây, chương trình thiết kế đã giải quyết vấn đề lấy mẫu ảnh video với các tác dụng: cho phép hiển thị tối đa 256 màu khác nhau, thực hiện phép lấy mẫu xử lý dữ liệu màu một cách thuận lợi, dễ dàng, nhanh chóng và chính xác. 3.3. Bù chuyển động Ảnh động là một xâu gồm nhiều khung ảnh (frames) tĩnh, trong đó, sự dịch chuyển tọa độ tương đối của các đối tượng trong các frames liên tục là hiệu quả tạo ra sự chuyển động. Do đó, việc tính toán sự chuyển vị của các đối tượng trong ảnh là yếu tố quan trọng của kỹ thuật chế biến ảnh động (ví dụ thiết kế tệp tin ảnh hoạt hình). Đặc điểm của nén liên ảnh là làm xấp xỉ, bù chuyển động và nén trong ảnh; ý tưởng đó, được xây dựng nên mô hình nén liên ảnh như trong hình 7 sau đây. Ngoài sự thay đổi vị trí toạ độ, sự thay đổi về cường độ sáng của đối tượng ảnh từ frane này tới frame khác cũng tạo nên ảnh chuyển động. Trong kỷ thuật bù chuyển động, ảnh của frame hiện hành được dự báo từ ảnh của frame kế trước bằng cách làm xấp xỉ chuyển động giữa hai frame và bù chuyển động đó: sự khác nhau giữa frame hiện hành và frame dự báo được gọi là phần dư thừa bù chuyển động; và kỹ thuật nén liên ảnh chính là đưa vào việc mã hoá phần dư thừa bù chuyển động này. Ảnh nguồn Bù chuyển động Nén trong ảnh Ảnh lưu Hình 7. Mô hình nén liên ảnh Cường độ chói màu của ảnh còn gọi là năng lượng hiển thị hình ảnh. Đối với ảnh động, đặc trưng về năng lượng ảnh của phần dư thừa bù chuyển động thấp hơn nhiều so với ảnh gốc. Do đó, việc mã hoá phần dư thừa thay vì mã hoá cả xâu ảnh video nên đã giúp tránh được phần dư thừa này bị mã hoá lặp nhiều lần. Như vậy, việc xác định phần ảnh động để làm xấp xỉ chuyển động là quá trình khôi phục một ảnh bằng cách dùng các phần ảnh trong frame trước đó cùng với các thông tin về chuyển động của frame này chính là công việc bù chuyển động. Sự đánh giá chuyển động của ảnh có thể thực hiện trên toàn frame: người ta chia mỗi frame thành các ô mẫu nhỏ (thường lấy 8x8 pixel/1ô), sau đó đánh giá chuyển động của từng ô. Hình 8 minh hoạ chuyển động chiếc xe máy kéo với một cặp frame liền kề từ xâu ảnh động để đánh giá ô nào biểu diễn phần ảnh tĩnh và ô nào biểu diễn phần ảnh động. Việc đánh giá này dẫn tới hai vấn đề: 1. Phải xác định biên và khoảng dịch chuyển của vùng ảnh chuyển động giữa hai frame. 2. Phải xác định cái gì được điền vào không gian trống do vùng ảnh đã chuyển động. 3 2

frame 1 frame 2 Hình 8. Khảo sát ô mẫu pixel của ảnh chuyển động Phép xấp xỉ và bù chuyển động chính là giải quyết hai yêu cầu nêu ở trên trong hệ thống mã hoá nén và giải mã nén: đầu tiên bộ giải mã phải lưu ảnh trước (frame 1) trong khi tạo lại ảnh tiếp theo (frame 2); khi bộ mã hoá thực hiện mã hoá frame 2 thì đồng thời phải tạo lại mỗi ảnh (sau khi mã hoá nó) để dự báo cho bộ giải mã tạo lại ảnh này (frame 2) vì bộ giải mã không có chức năng tạo lại các ô mẫu bù chuyển động. Phương pháp dự đoán để tìm ra các chi tiết ảnh thay thế giữa hai khung hình (frame) liền kề và tạo ra một vector chuyển động chỉ rõ vị trí mới của đối tượng ảnh chuyển động được nêu như ở trên hình 9. Ở đây, vector chuyển động sẽ phối hợp với các ô ở trong biên biểu diễn vùng chuyển động được mã hoá trước đó để lặp lại các ô này tại vị trí mới của ảnh. Các ô mẫu ở vị trí hiện tại sẽ phối hợp trong số các ô của khung ảnh trước đó, sử dụng chúng như là thành phần dự đoán trong bảng mã hoá đã được thiết lập trước đó: thành phần dự đoán này được lấy từ đầu vào của khung trước để tạo ra một khung dự đoán có sai số thông tin nhỏ. Sai lệch giữa ô hiện tại và ô dự đoán của nó trong khung ảnh trước sẽ tạo ra ô mẫu dự đoán bù chuyển động. Vị trí ô 8x8 pixel lúc đầu Vector chuyển động Vị trí ô 8x8 pixel hiện tại

a.frame thứ i Vùng tìm kiếm b.frame i+1 Hình 9. Mô tả vector chuyển động giữa hai frame kế cạnh nhau Vùng tìm kiếm được xác định nằm trong biên của vùng ảnh có chứa các ô mẫu ảnh chuyển động của khung ảnh hiện tại, nó bao phủ cả vị trí hiện tại và vị trí trước đó của ô mẫu chuyển động đang khảo sát. Kích thước của vùng tìm kiếm được quyết định bởi độ phức tạp của quá trình phối hợp ô mẫu ảnh chuyển động của vị trí trước và vị trí hiện tại, thường vùng này lấy kích thước 16x16 hay 24x24 pixel. Để giảm thiểu công việc nặng nhọc của quá trình xác định vector chuyển động, người ta có thể xử lý ảnh động theo các bước: 1.Bước xử lý thô: Đầu tiên, giảm độ phân giải của ảnh xử lý, chẳng hạn ảnh 720x480 giảm xuống 360x240 (pixel); khi đó số bit cần xử lý giảm nhiều và vùng dự đoán trở nên lớn hơn, do đó ảnh dự đoán chuyển động mức thô xác định được nhanh hơn. 2.Bước xử lý tinh: Sau khi có ảnh dự đoán thô, người ta tiến hành phép dự đoán vector chuyển động chính xác bằng cách xác định vị trí chính xác của các đối tượng chuyển động giữa hai khung ảnh với độ phân giải 720x480. 3.Tiếp tục lặp hai bước trên cho đến hết các frame của xâu ảnh động. Kết luận: Diễn biến của quá trình xử lý ảnh động này được gọi là quá trình nén trong ảnh. 3.4. Kỹ thuật làm tươi hình ảnh Với kỹ thuật dự đoán bù chuyển động để xác định vector chuyển động của đối tượng thuộc xâu ảnh động, frame đầu tiên của xâu phải được các trình điều khiển xử lý ảnh đưa tới lưu ở bộ giải mã của phần cứng máy tính để bắt đầu vòng dự đoán. Khi đó một cơ chế hoạt động trong hệ thống được thiết dặt, để, nếu cơ cấu giải mã mất đồng bộ do bất kỳ lý do nào thì nó có thể nhanh chóng đồng bô ülại được. Cơ chế hoạt động này được gọi là kỷ thuật làm tươi hình ảnh. Để mã hoá nén ảnh động nhằm nâng cao chất lượng ảnh xử lý, người dùng có thể chọn sử dụng một trong hai cơ chế làm tươi hình ảnh sau đây: Làm tươi có chu kỳ: Cứ sau một khoảng thời gian nhất định, ảnh hiện tại sẽ không đối sánh (nhận dạng) với ảnh dự đoán nữa mà được truyền thẳng sau khi đã qua nén trong ảnh. Ưu điểm của giải pháp này là cho một điểm chèn rõ ràng trong dòng bit được nén mà chất lượng ảnh suy giảm không đáng kể và ảnh giải nén thu được nhanh (chưa tới 1/10 giây). Nhược điểm của phương pháp này là cần tới một bộ nhớ đệm lớn. Làm tươi liên tục: Nội dung chính của phương pháp này là các vector chuyển động của đối tượng ảnh được nén trong ảnh; do đó giảm được kích thước bộ nhớ đệm. Nhược điểm của giải pháp này, ảnh thu được sau khi bung chất lượng đạt không cao. 4. Kết luận Xử lý và chế biến dữ liệu ảnh động đang là vấn đề được cơ quan và trung tâm thiết kế phần mềm quan tâm. Việc nghiên cứu và khảo sát bài toán xử lý và chế biến dữ liệu hình ảnh động nhằm mục đích cung cấp những giải pháp cơ bản, cho phép xây dựng các phần mềm chuyên dụng để xử lý và chế biến dữ liệu hình ảnh video. TÀI LIỆU THAM KHẢO D. Reschke, Telematik, Universitaet Ilmenau, 1998. A.H. Schindler, Verteilte Betriebssyseme, Universitaet Ilmenau, 1998. Ruediger Brause, Grundlage und Konzepte Betriebssysteme, Springer verlage, 1998. Ralf Steinmetz, Multimedia Technologie, Springer verlage, 1998. J. Walrand, Communication Networks, University of California, at Berkwley, 1991. J.N. Daigle, Queueing Theory for Telecommunications, Weskey Ins, 1992. Mai Hộ, Cơ sở xử lý ảnh (giáo trình lưu hành nội bộ), Đà Nẵng, 2002. Nguyễn Kim Sách, Xử lý ảnh và video số, NXB KHKT Hà Nội, 1997. Mai Hộ, Thiết kế hệ thống khai thác và chế biến dữ liệu hình ảnh (đề tài NCKH 2002, nghiệm thu 1/2003). R. Schaefer, MPEG-2 und MPEG-4 Kompressionstandards fuer neue Multimediadienst, Berlin, BRD (qua Internet). M. Schmoell, R. Hedtke, Transcodierung und Bearbeitung von MPEG-Stroemen im Studiobereich, Wiesbaden, BRD (qua Internet). M. Muehlhaeuser, Content Development fuer das Internet als viertes Massenmedium, Ilmenau, BRD (qua Internet). F. Senf, IEEE 1394 - Serieller Hochgeschwindigkeitsbus zuer Uebertragung von Audio- und Videodaten, Ilmenau, BRD (qua Internet).