江西广播电视台媒体数据中心系统的研究与实践

云栖网：媒体数据中心作为江西广播电视台的媒体资产管理和开发运营的核心，对江西广播电视事业的发展起到至关重要的支撑作用，它不仅是节目制播后的归宿，也是媒体资产再次开发增值的起点，为江西广播电视产业的可持续发展提供保障。

一、媒体数据中心整体设计

媒体数据中心是一个系统化工程，软件功能完备，硬件功能齐全。软件功能主要包括数字化采集功能，QC校验功能，非编制作系统归档功能，互联网远程提交功能，在线归档和迁移功能；硬件系统组成部分主要包括云技术平台，分布式在线存储，近线数据流磁带库，数据库系统，集群交换机等。

1、软件功能介绍

软件功能主要包括：

◆数字化采集功能：数字化采集功能主要解决原有带库中模拟和数字磁带的数字化采集，数字化后的视频文件主要采用DV25、DV50，MPEGIBP50M，MPEGI100M编码格式；

◆导入功能：导入功能主要是针对没有实现互联的非编制作系统，只能通过FTP上传方式或者移动硬盘拷贝方式存入媒体数据中心的在线存储，然后把视频文件导入到媒体数据中心；

◆QC校验功能：对于上载、导入、提交的素材，通过QC人工校验或软件自动校验是否符合质量要求，合格的节目签章归档，不合格的节目则打回原系统；

◆非编制作系统归档功能：主要实现媒体数据中心与台内现有的非编制作系统的互联互通功能，通过非编制作系统一键提交到媒体数据中心；同时，从媒体数据中心一键下载到指定的非编制作系统；

◆互联网远程提交功能：主要是实现全省内容共享平台，全省各地市县（区）电视台通过该功能将新闻素材通过Web方式直接提交到媒体数据中心，江西广播电视台记者在该平台进行预览和选稿，然后把视频和文稿直接签发到指定的非编制作系统和新闻文稿系统；

◆在线归档和迁移功能：归档是将在线的素材手动或自动归档到数据流磁带库进行永久化保存；迁移是在线存储没有高码率素材，需要把素材从数据流磁带库迁移到在线存储。

2、硬件平台设计

硬件平台的主要部分在后面章节会详细介绍，图1是整个系统的架构图，左边部分是媒体数据中心的硬件系统布局图，右边是台内各系统的互联布局图。

二、云技术平台的建设

1、云技术平台的优势

云技术平台主要分为IaaS（基础设施即服务）、PaaS（平台即服务）、SaaS（软件即服务），媒体数据中心的云技术平台主要为IaaS，用于为媒体数据中心的所有系统软件和应用软件提供支撑的硬件私有云平台。私有云平台的优势有很多，但当初主要考虑以下两个方面：

第一，云技术平台的计算资源基于虚拟化技术，通过云计算管理平台把所有硬件资源整合成一个资源池，然后按照系统需求进行硬件资源的分配。不同于主备模式，云技术平台的虚拟机具有动态迁移的功能，即当虚拟机所在刀片服务器出现故障后，云计算管理平台的云虚拟化管理系统会根据整个资源池的资源利用情况，自动将故障刀片服务器上的所有虚拟机迁移到资源利用低的刀片服务器上，尽量保持负载均衡，故障服务器修复后自动迁回。这样不仅达到主备模式安全保障的效果，而且更重要的是提高了硬件资源的利用率。

第二，对于软件的安装和升级更加方便和安全。在云技术平台上创建一台虚拟机是非常方便和快捷的，在虚拟机上安装部署软件，不会影响其他系统的运行，安全性不言而喻。目前江西广播电视台融媒体中心就是充分利用了媒体数据中心的云技术平台，不仅没有影响原系统的正常运行，而且节省了硬件资源的开支，降低了成本。

2、云技术平台的设计

媒体数据中心的云技术平台采用了两台刀片机箱，各个刀片机箱内插10台刀片服务器作为计算资源池，一台IP-SAN存储作为计算资源的共享存储，整个平台做了两个集群。

每台刀箱中第一台刀片服务器作为云虚拟化管理服务器，主要功能是管理集群内所有虚拟机，本身不负责分配虚拟机。两台刀箱中的服务器交叉分配到集群中，比如集群1包含刀箱1中的5台刀片服务器和刀箱2中的4台刀片服务器，集群2包含刀箱1中的4台刀片服务器和刀箱2中的5台刀片服务器。

如果一台刀箱的所有服务器组建为一个集群，当刀箱出现故障的极端情况，会导致整个集群的服务器无法使用，但是交叉集群在一定程度上可以避免这个问题。虽然在安全性上交叉集群方式要优于非交叉集群方式，但是还要根据软件的实际部署情况来做备份机制。

比如转码集群，厂家一般只有一台主转码管理服务器，不仅进行转码工作，而且还给其他转码服务器分配转码任务。如果主转码服务器所在刀箱出现故障，虚拟机又无法迁移到其他的刀片服务器，势必会影响工作。这时可以事先备份主转码服务器的虚拟机，当出现故障无法迁移时，在其他刀片服务器上通过虚拟机的备份文件来创建新的虚拟机，能够快速进行系统的恢复。配置虚拟机时需要注意的问题是系统文件务必存放在共享存储中，而不是刀片服务器的本地存储，否则虚拟机所在刀片服务器出现故障时无法迁移。

云技术平台可以配置资源的监控策略，实时对整个平台的所有设备进行资源利用的监控，便于维护人员实时了解系统的运行情况。云技术平台结构示意图见图2。

三、与非编制作网的互联互通

媒体数据中心不是孤立的一套系统，只有与全台的非编制作系统、办公自动化系统互联互通，才能更好地体现出它的价值。媒体数据中心主要实现了与新闻频道、都市频道非编制作网及制作部非编制作网的互联互通。

目前，主流的互联方式主要有两种：

第一种方式是采用ESB+EMB的方式，通过流程配置，用户操作简单方便，管理员维护时可以根据流程节点的运行状态定位问题的具体位置。

例如用户提交节目归档时，可以直接在非编制作系统一键将节目提交到媒体数据中心；从媒体数据中心下载节目时，一键直接下载到非编制作系统。如果媒体数据中心和非编制作系统是同构产品，互联比较简单，但是如果为异构产品，需要根据预定的标准进行相应对接。但是在对接时，往往在各方协调上比较麻烦，甚至难以推动。

第二种方式就是通过共享存储和轮询的方式，在解决异构产品之间互联的问题上，这是最简单最方便的一种方式。

比如从非编制作系统归档到媒体数据中心时，在非编制作系统将节目打包到指定的目录，数据中心会定时轮询该目录，一旦发现新的节目，自动导入到媒体数据中心；如果从媒体数据中心下载到非编制作系统时，同样是把节目下载到指定的目录，然后通过手工或自动轮询的方式，导入到非编制作系统。

在实际操作过程中经常会发现，有些文件在导入的过程中报错，经过分析发现，这种情况是非编制作系统打包时出现问题，但是工作人员又因为各种原因不去核对造成的。第一种方式基本是后台打包，打包完之后会显示在非编制作系统的资源目录中，检验比较方便，提交成功与否也有状态提示，所以流程化的方式是最佳的，不得已采用第二种方式。

四、全省内容共享系统

江西广播电视台除了卫视频道的《江西新闻联播》《新闻夜航》等新闻类节目，还有专业新闻频道和民生新闻频道需要播出大量的新闻类节目。这么多的新闻节目需要大量的新闻素材，通过实现省台和地市台的内容共享可以有效解决资源匮乏的问题，所以基于媒体数据中心的云技术平台实现全省内容共享。全省各地市县（区）电视台通过共享平台直接提交新闻素材和文稿，江西广播电视台所有记者通过全省内容共享平台预览和挑选素材，选中后可以直接签发到各自的非编制作系统和文稿系统进行内容生产。同时，全省内容共享平台和数据中心进行互联，可以提交到媒体数据中心进行归档。图3至图5为全省内容共享平台操作页面截图。

五、系统其他重要部分

1、在线存储

媒体数据中心采用分布式存储作为在线存储，有5个存储节点，通过40G带宽的infiniband交换机汇聚成一个集群，采用3+2备份模式，也就是允许两个节点或两块硬盘同时出现故障的情况下，依然能够保障数据安全。分布式存储的优势是它的架构采用scale-out方式，所以访问带宽会随着存储节点的增加而线性增加，目前主流的厂家在节点的扩展上至少达到144个，不用担心扩容的问题。

2、近线存储

媒体数据中心按照三级存储方式，包括在线存储、近线存储和离线存储。近线存储采用SpectraT950数据流磁带库。通过主机管理系统或者Web管理系统可以查看磁带和驱动器的生命周期，及时监看磁带和驱动器的质量状态，有利于后期的维护。为了有效利用带库，通过媒体数据中心的带库管理软件实现对数据流磁带的备份，既可以节省带库的近线仓位，又可以实现数据的备份。

由于数据流磁带是线性写入的，不能像硬盘一样删除数据后腾出空间，除非整盒磁带格式化。所以在归档过程中，出于节约存储资源考虑，要避免同样的数据重复写入。在实际归档过程中发现，通过非编制作系统提交归档的数据，同一份数据提交多次，由于ResourceID相同，媒体数据中心会用最新提交的数据覆盖掉先前提交的数据。每提交一次，重新归档一次，但是每个节目只关联最新归档的视频文件，先前的数据成了“死数据”，造成了带库空间浪费。

解决同一个视频文件重复提交的方法是在提交流程中添加了“查重”功能，由于同一个视频文件的ResourceID相同，当发现带库中已经存在相同ResourceID的时候，则拒绝提交；如须重新提交，则需要在非编制作系统上重新打包生成新的ResourceID的视频文件，再进行提交。

六、下一步的规划和打算

主要在以下三个方面继续完善媒体数据中心：

1、向智能化方向转型

现在人工智能技术已经逐渐成熟，并且广泛应用在多个领域，比如语音识别技术和人脸识别技术。通过相关技术测试发现，语音识别技术和人脸识别技术在媒体数据中心的应用，可以有效解决用户80%的实际需求。比如，语音识别技术将节目中语音转换成文字的准确率达到70%~90%，编目人员只需要对识别结果进行校验和更正，可以大幅提高编目效率。按照用户的使用习惯，多数用户还是习惯于采用类似百度搜索的全文检索方式，所以语音识别技术的利用价值最高。另外，人脸识别技术根据建立好的人脸库来识别常用人物，有利于时政新闻的日常使用。

通过以上分析，从成本和实际使用价值来考虑，引入人工智能技术来提高编目的效率和准确性，提高用户检索节目效率和准确率，是性价比最高最实际的应用。

2、从归档型向生产型转型

媒体数据中心的服务对象应该由传统媒体向新媒体转变，为了更好地开发利用现有媒资价值，媒体数据中心应该由归档型媒资转变成生产型媒资，重点是要给新媒体的生产和发布提供便利的支持。在原有系统的基础上，增加新媒体生产工具和发布功能，直接在媒体数据中心对节目内容进行在线编辑，经过正常的审核流程后直接向新媒体平台发布。

3、由封闭式向开放式转型

随着移动互联网技术的发展，下一步的计划是开发移动端的功能，在移动端就可以实现数据的检索、任务的提交和处理等工作，进一步提高使用的便利性。