Menu
A+ A A-

Lựa chọn hệ thống lưu trữ và quản lý dữ liệu phát sóng

Bạn đánh giá: 0 / 5

Ngôi sao không hiệu lựcNgôi sao không hiệu lựcNgôi sao không hiệu lựcNgôi sao không hiệu lựcNgôi sao không hiệu lực
 


Hàng loạt các thiết bị số : hệ thống dựng phi tuyến, hệ thống phát hình video server, hệ thống làm tin kỹ thuật số...đã được phát triển và ứng dụng rộng rãi tại nhiều Đài Truyền hình trên thế giới. Sự gia tăng sử dụng các hệ thống này đòi hỏi ngày càng nhiều dung lượng lưu trữ và một hệ thống quản lý có hiệu quả.

Mô hình phát sóng dựa trên nền tảng file.

Là sự kết hợp của 3 lớp (như hình vẽ sau)

Các thiết bị số bao gồm: Video server, Các máy dựng phi tuyến, Hệ thống tin tức kỹ thuật số...

Hệ thống lưu trữ vật lý: dãy các ổ cứng, tủ băng từ, mạng máy tính tốc độ cao, hệ thống quản lý dữ liệu.

Hệ thống điều khiển:

- Bao gồm các phần mềm giao tiếp với người sử dụng.

- Phần mềm phát sóng tự động (Automation system).

- Phần mềm quản lý dữ liệu (Media asset management).

- Phần mềm quản lý nội dung (Content management).

Các lớp này kết nối đồng bộ với nhau và theo một chu trình làm việc hoàn toàn dựa trên file.

Trung tâm của hệ thống này là Hệ thống quản lý dữ liệu (Storage management system).

Hệ thống lưu trữ

Thông thường Hệ thống lưu trữ được chia thành nhiều cấp:

Lưu trữ Online

Lưu trữ Near-line

Archive

Lưu trữ Offline

Ưu điểm chính của cách phân chia này là giá thành lưu trữ sẽ giảm dần khi dữ liệu di chuyển từ lưu trữ Online sang Near-line, từ Near-line sang Archive v.v...

Mỗi cấp lưu trữ có một cách thức truy cập dữ liệu khác nhau, với những ưu điểm và khuyết điểm khác nhau. Việc lựa chọn cấp lưu trữ cần phải được xem xét kỹ càng khi tiến hành xây dựng Hệ thống lưu trữ và Quản lý dữ liệu.

Hệ thống Quản lý dữ liệu chịu trách nhiệm quản lý hiệu quả tất cả các cấp lưu trữ nói trên.

Định dạng vật chứa

Ổ cứng:

- Ổ đĩa quang: tốc độ truy xuất 320MB/s

- Ổ đĩa SCSI: tốc độ truy xuất 320MB/s

2 loại ổ cứng này được sử dụng cho lưu trữ Online do có tốc độ truy xuất nhanh. Tuy nhiên giá thành rất cao.

- Ổ đĩa SATA: tốc độ truy xuất 150MB/s

- Ổ đĩa IDE : tố độ truy xuất 100MB/s

Phù hợp cho lưu trữ Near-line do giá thành rẻ, dễ thay thế.

Băng từ:

- Hiện nay có 2 công nghệ băng từ được sử dụng chủ yếu nhiều nhất là S-AIT (hãng SONY) và LTO-3 (nhiều hãng sản xuất : IBM, HP, Fujitsu v.v...)

- S-AIT : dung lượng lưu trữ 500GB, tốc độ truy xuất 30MB/s

- LTO-3 : dung lượng lưu trữ 400GB, tốc độ truy xuất 80MB/s

Sự khác nhau giữa qui trình làm việc trên băng so với qui trình làm việc trên file

Trước đây khi lựa chọn một hệ thống phát hình sử dụng băng từ, các Đài Truyền hình xem xét đến các vấn đề: định dạng vật chứa (VHS, SuperVHS, Betacam, DV...), dung lượng của các băng từ. Thông tin mô tả nội dung băng từ chỉ đơn giản là một tờ phiếu đi kèm với băng. Quy trình làm việc hoàn toàn dựa trên băng từ khâu lấy hình, dựng hình đến phát sóng. Trao đổi dữ liệu giữa các đơn vị, lưu trữ dữ liệu chỉ dựa trên phiếu đi kèm với băng, chứa rất ít thông tin, gây rất nhiều khó khăn trong việc tìm kiếm và sử dụng lại chương trình.

Đối với hệ thống làm việc trên file, người ta lại quan tâm đến: định dạng file (file format), định dạng nén (codec), định dạng vật chứa (HDD, tape), dung lượng lưu trữ, các thông tin mô tả (metadata), mạng máy tính kết nối hệ thống. Quy trình làm việc dựa trên nền tảng mạng máy tính là chủ yếu gồm có : trao đổi file giữa các hệ thống dựng với phòng phát hình, trao đổi file giữa các đơn vị, tìm kiếm thông tin v.v...Chúng ta thấy các file là một vật thể trừu tượng không thể thấy được như băng từ nên toàn bộ các thao tác tìm kiếm, trao đổi dữ liệu rất cần đến thông tin mô tả, đây chính là trái tim của toàn bộ hệ thống.

Hệ thống Quản lý dữ liệu

Như đã nói ở phần trên, Hệ thống Quản lý dữ liệu là trái tim của toàn bộ hệ thống phát hình dựa trên nền tảng file.

Nhiệm vụ của Hệ thống Quản lý dữ liệu:

Cung cấp các kết nối trực tiếp đến thiết bị số như video server, máy dựng phi tuyến, hệ thống tin tức v.v...

Hỗ trợ tìm kiếm, truy cập các dữ liệu đã lưu trữ.

Chuyển đổi định dạng phục vụ cho việc trao đổi dữ liệu giữa các hệ thống khác nhau.

Tự động nhân bản dữ liệu nhằm đảm bảo an toàn dữ liệu và dễ dàng khôi phục dữ liệu khi cần thiết.

Phân loại Hệ thống Quản lý dữ liệu

Hiện nay có 2 hệ thống Quản lý dữ liệu là: Hệ thống Quản lý theo thứ bậc (Herarchical Storage Management – HSM) và Hệ thống Quản lý theo phương tiện (Media Storage Management – MSM).

Hệ thống HSM:

Hệ thống HSM được phát triển để sử dụng chủ yếu trong môi trường IT truyền thống. Nó chủ yếu quản lý sự dịch chuyển file giữa các cấp lưu trữ, sử dụng các luật hoặc các chính sách đối với file.

Một khi người quản trị hệ thống định ra các chính sách, các luật thì phần mềm HSM sẽ quản lý sự dịch chuyển file một cách tự động với rất ít sự can thiệp của người sử dụng.

Các luật di chuyển ví dụ như : file đó không được truy xuất trong một khoảng thời gian xác định, có phần mở rộng xác định trước và thỏa một số các tham số khác v.v...

Đặt ngưỡng là một ví dụ khác của hệ thống HSM : hệ thống sẽ giám sát dung lượng còn trống. Khi dung lượng này giảm xuống đạt đến một mức nào đó thì các file ít được sử dụng đến nhất sẽ tự động di chuyển sang cấp Archive và Offline giải phóng vùng lưu trữ cho cấp Online và Near-line.

Khuyết điểm của hệ thống HSM:

Mục đích của hệ thống HSM là giảm thiểu chi phí khi lưu trữ một lượng lớn thông tin cố định, tuy nhiên lại không phù hợp với các thông tin thường xuyên thay đổi, cập nhật (rất hay gặp trong ngành truyền hình).

HSM sử dụng các file giả để đánh lừa các ứng dụng, các file giả này chứa thông tin, vị trí các file thực. Nếu hệ thống HSM di chuyển file sang các cấp lưu trữ thấp hơn mà không để lại một file giả thì các phần mềm ứng dụng xem như file đã bị xóa và không thể truy cập đến file này nữa.

Khi một ứng dụng truy cập đến file giả HSM sẽ lấy phần file thực từ cấp lưu trữ thấp hơn về Online. Hệ điều hành trên máy client lúc nào cũng thấy tất cả các file đều tồn tại, thực sự thì một số file đã bị di chuyển sang các cấp lưu trữ khác.

Cấu trúc của HSM có thể gây ra vấn đề cho các hệ thống phát hình, ví dụ: tiết mục quảng cáo sắp sửa được phát thì bị tự động di chuyển sang cấp lưu trữ khác vì các điều kiện di chuyển đã được thỏa.

HSM thường không giao tiếp trực tiếp với hệ thống lưu trữ Online, nó dựa vào một lớp điều khiển khác để thực hiện việc di chuyển file từ Online sang các cấp thấp hơn và ngược lại. Phần mềm điều khiển thêm vào này không những làm phức tạp hệ thống mà nó còn đòi hỏi các thiết bị phải tương thích với phần điều khiển.

Hệ thống HSM cũng chỉ cung cấp rất ít các phương thức cho phép phân chia độ ưu tiên khi truy cập dữ liệu. Nó làm giảm tính tin cậy, ổn định của hệ thống.

HSM giao tiếp với các file một cách độc lập (theo cách tiếp cận của IT). Nó không có khả năng nhóm các file thành phần thành một đối tượng kết hợp.

Hệ thống MSM:

MSM và HSM giống nhau ở chỗ đều là di chuyển dữ liệu giữa các cấp lưu trữ với nhau.

Hệ thống MSM ít chú trọng đến việc lưu trữ mà tập trung vào qui trình làm việc, phân phối, trao đổi nội dung và cộng tác.

Nền tảng của vấn đề là MSM giao tiếp trực tiếp với các thiết bị phát hình (Online Storage), quản lý tất cả các cấp lưu trữ, cung cấp cái nhìn đầy đủ và chính xác cho các bộ điều khiển phát hình.

Hệ thống MSM thực hiện copy thay cho dịch chuyển file từ Online xuống các cấp lưu trữ thấp hơn. Hệ thống này ít chú ý đến việc tối ưu hóa dung lượng lưu trữ mà tập trung vào các yêu cầu truy xuất, cộng tác từ các thiết bị phát hình.

MSM làm trung gian giữa mạng media (kết nối các thiết bị phát hình) và mạng lưu trữ (kết nối các cấp lưu trữ Near-line và Archive).

MSM có thể giao tiếp với nhiều hệ thống khác nhau từ video server, các hệ thống dựng, hệ thống tin tức. Cho phép hình thành nên một qui trình làm việc không cần băng từ.

Không chỉ sử dụng các quyết định dựa trên các tham số mà MSM còn cung cấp các hàm API rất uyển chuyển cho phép điều khiển và quản lý từ các hệ thống cấp cao hơn như Hệ thống Traffic, Hệ thống Kiểm kê, Hệ thống Automation v.v... Ví dụ hệ thống Traffic có thể gửi 1 lệnh đến MSM để yêu cầu copy một file vừa mới Ingest vào Archive để lưu trữ. Hoặc là tạo ra một file có độ phân giải thấp phục vụ duyệt file trên web. Cho phép các máy dựng phi tuyến dựng trên file có độ phân giải thấp và ra thành phẩm là file có độ phân giải cao.

Việc phân quyền ưu tiên cũng là một đặc điểm chính của MSM. Đối với các dữ liệu đã được định danh, nó phân chia theo thứ tự quan trọng, thứ tự cần gấp.

MSM giao tiếp trực tiếp với các thiết bị phát hình nên nó có thể quản lý một dữ liệu đơn lẻ hoặc một nhóm các dữ liệu có thể lên đến hàng trăm file. Các nhóm này sẽ được di chuyển chung với nhau đảm bảo cung cấp đầy đủ thông tin khi cần thiết.

MSM cung cấp tất cả các tính năng cần thiết của một hệ thống phát hình, đồng thời còn cho phép việc mở rộng được thực hiện dễ dàng với chi phí thấp.

Với cấu trúc phân tán MSM cho phép mở rộng các máy di chuyển (movement engine) nhằm nâng cao băng thông đồng thời đảm bảo dự phòng cho hệ thống.

Kết luận.

Tập trung tất cả các hệ thống lưu trữ gồm : phát sóng, hệ thống dựng, hệ thống tin tức...về một nơi thay cho việc xây dựng các hệ thống lưu trữ nằm phân tán là cần thiết cho việc hình thành nên một qui trình làm việc hoàn toàn dựa trên file. Đó cũng là tương lai của ngành Truyền hình. Bên cạnh đó cũng cần hình thành một hệ thống Quản lý dữ liệu nhằm mang lại sức mạnh và tính linh hoạt trong việc lưu trữ và truy xuất lại các dữ liệu.

Thực tế công tác xây dựng Hệ thống lưu trữ và Quản lý dữ liệu tại HTV

Đa số thời gian phát sóng hiện nay vẫn sử dụng hệ thống Flexsys (hãng SONY) (sử dụng băng betacam). Gần đây hãng SONY tuyên bố ngừng sản xuất các máy Betacam SP và SX. Do đó việc chuyển sang phát sóng bằng video server dựa trên nền tảng file là một nhu cầu cần thiết. Bên cạnh đó cũng cần xây dựng một Hệ thống Quản lý dữ liệu phù hợp với qui mộ của hệ thống video server và đáp ứng các nhu cầu tìm kiếm, truy xuất dữ liệu.

Tuy nhiên khi chuyển qui trình làm việc từ băng sang file cần phải có một giai đọan chuyển tiếp, khi đó vẫn còn tồn tại băng Betacam, băng DV, đĩa DVD v.v... Chủ trương của HTV là đa dạng hóa dữ liệu đầu vào (có thể tiếp nhận băng hoặc file), nhưng đầu ra phát sóng và lưu trữ là thống nhất theo định dạng file : MPEG, định dạng nén : MPEG-2 Long GOP.

Thực tế tại HTV hiện nay tồn tại nhiều hệ thống dựng khác nhau, sử dụng nhiều định dạng file khác nhau như Avid, DPS Velocity, Pinnacle v.v.. Hệ thống tin tức iNews là một hệ thống hoàn chỉnh.Do đó việc lưu trữ tập trung tất cả các dữ liệu của các hệ thống dựng, hệ thống tin tức, hệ thống phát hình là chưa khả thi.

Do đó mục tiêu chủ yếu của HTV là xây dựng một hệ thống lưu trữ và quản lý dữ liệu phát sóng, đảm bảo đáp ứng nhu cầu lưu trữ, tìm kiếm, truy xuất dữ liệu.

Lưu trữ Online : video server SeaChange.

Lưu trữ Near-line : sử dụng ổ cứng theo chuẩn SATA.

Lưu trữ Offline : tủ băng từ theo chuẩn LTO-3 .

Hệ thống Quản lý dữ liệu theo kiểu MSM.

Cao Anh Minh – Đài TH TP.Hồ Chí Minh/Tạp chí KHKT Truyền hình