跨媒体安全

网络空间安全前沿技术介绍----跨媒体安全

传统多媒体

• 特点
  • 获取容易
  • 数据量大
  • 关联度高

跨媒体大数据

• 交通监控
• 楼宇监控
• 24小时监控视频云备份服务
• 3D图形
• 3D照相馆
• 电子商务在线试衣

跨媒体大数据分析与计算

• 文本
• 音频
• 图像
• 视频
• 3D

位置等多种类型媒体与之相关的社会属性信息混合在一起，形成了跨媒体形式。

研究热点

• 跨媒体时代的表达
• 跨媒体检索和排序
• 面向跨媒体数据的因果推理
• 基于跨媒体分析的态势感知

跨越的含义

• 不同类型数据之间的跨越
• 不同来源数据之间的跨越
• 信息空间与物理空间之间的跨越

安全问题

• 面向安全的跨媒体内容分析
• 跨媒体安全监控
• 有害内容的识别
• 跨媒体取证分析
• 跨媒体内容辨伪
• 基于跨媒体的信息安全技术
• 跨媒体信息隐藏
• 跨媒体验证技术
• 跨媒体自身的信息安全技术
• 跨媒体版权保护
• 跨媒体安全存储
• 跨媒体安全传输
• 跨媒体安全处理 可视密码

研究背景与意义

• 云端媒体安全监管
• 安全人脸识别
• 云环境下的视频监控

973面向公共安全的跨媒体计算理论与方法

关键科学问题之一：跨媒体数据统一表示和建模方法

跨媒体数据的自然属性和社会属性具有异构、多阶、高维等特点，随时间、空间动态变化。蕴含关联性语义的异构属性之间存在着内在一致、相互互补和动态演化等特性。基于相似度量学习和拓扑分析，发现这些异构特征属性之间所内嵌的本征结构，通过图、矩阵和张量等理论和方法建立跨媒体数据关联性语义结构一致性描述，对高层语义进行整体性表达，最终实现跨媒体数据自然属性、社会属性以及交互行为等上下文之间存在的复杂关系建模，是关键的科学问题。

关键科学问题之二：跨媒体数据关联推理和深度挖掘

蕴含着相同语义、主题和事件的文本、图像和视频等跨媒体数据在不同网络平台上瞬时涌现，然后迅速传播和演化，最终引发热点话题。发现跨媒体数据与现实生活个体和群体行为之间的相互影响规律，揭示特定事件为内容的跨媒体数据传播与演化机制，对跨媒体数据所蕴含话题、事件和模式进行语义理解，建立跨媒体推理模型，挖掘话题、事件和模式之间的隐性关联，进而对随用户交互及数据流式增加情况下新话题、事件和模式的产生和迁移进行预测预警，是关键的科学问题。

关键科学问题之三：跨媒体数据综合搜索和内容合成

跨媒体所蕴含的话题、事件和模式往往文本、图像、视频和空间位置等媒体数据从不同侧面进行整体性表现。为了充分利用海量跨媒体数据，需要理解用户以自然语言和跨媒体样例来表达的检索意图，研究考虑内容、质量和热度等属性的跨媒体排序方法和相关反馈机制，建立从一类媒体数据检索另外一类媒体数据的综合检索理论和方法。同时，析取跨媒体数据所蕴含的热点话题中决定性因素和重要阈值，选择重要性单词、文本、图像、视频、空间位置和评价等，提取热点话题的摘要及代表性语义单元，进一步通过类比和联想等手段，合成潜在性热点话题，对其进行多粒度和多视点回溯、仿真和预测，高效利用跨媒体数据。

跨媒体数据统一表示和建模机制

针对具有海量、异构、高维和多阶特性跨媒体数据及其所具有社会属性，研究跨媒体基元提取与描述方法，对跨媒体数据关联性语义结构进行一致性描述，建立跨媒体数据中自然属性和社会属性相互关联的模型，实现海量跨媒体高效索引。

内容：

• （1）跨媒体基元提取与描述
  研究具有异构、高维和多阶特性跨媒体局部特征和全局特征之间映射机制，提取具有不变性的跨媒体基元元素，建立跨媒体对象特征提取、描述理论和方法，使之既能充分表达跨媒体的语义内容，又便于构建海量跨媒体的索引结构。

• （2）跨媒体关联性语义结构一致性描述
  研究跨媒体复杂异构特征稀疏表示和选择方法，构造不同类型属性所形成的几何拓扑结构，揭示跨媒体属性特有的内嵌结构。在张量、矩阵和图模型基础上，深入研究异构特征之间存在的共享子空间，形成跨媒体数据关联性语义结构一致性描述。研究基于上下文属性的跨媒体度量学习方法。

• （3）跨媒体关联建模
  研究跨媒体多任务学习的并行计算模型，揭示跨媒体多任务学习的协同耦合机制；研究跨媒体中所具备异质领域知识的迁移学习方法；利用图模型对跨媒体多重属性关系和实例关系进行建模；研究跨媒体模型时序动态演化机理。

• （4）跨媒体增量整合和高效索引
  面向动态变化的海量跨媒体流式数据，研究可伸缩跨媒体建模方法，突破和拓展处理海量、实时和流式跨媒体数据瓶颈问题；研究跨媒体高效索引方法和相应增量整合技术，建立紧凑、高效的索引结构，对跨媒体模型所反映关联关系进行层次化增量整合。

跨媒体属性感知模型与行为计算

从不同网络平台上可获取大量包含丰富自然属性和社会属性的跨媒体数据，能反映人们在社会生活中的行为方式。本课题将建立跨媒体属性感知模型，对大规模、实时、连续、动态呈现的跨媒体数据及其相应社会属性的有效性和质量进行辨识，发现网络跨媒体数据与现实世界行为相互影响规律，为理解个体和群体行为提供指导。

内容：

• （1）跨媒体数据有效性辨识
  结合跨媒体数据底层特征、标注和评价等丰富的自然属性和社会属性上下文关系，研究跨媒体数据有效性检测等算法，通过对历史静态网络数据和当前动态网络数据进行挖掘，实现辨识存在矛盾、不真实的跨媒体数据方法。
• （2）跨媒体数据重要性选择机制
  借鉴视觉认知机理，在融合跨媒体多模态特征基础上，结合用户点击、评价和转发等个体或群体社会行为，研究跨媒体数据注意力模型，从而建立跨媒体数据质量评估方法，给出跨媒体重要性选择机制。
• （3）社会个体和群体交互机制
  研究人们对跨媒体数据进行点击、评价和转发等社会行为属性的高效收集方法，结合数据挖掘和时序分析等技术，辨识随机性、重复性、倾向性以及真实性等不同模式社会属性行为，建立社会关注度模型，以指导发现瞬时涌现和动态发展的热点话题和重大事件。
• （4）跨媒体数据与社会行为相互作用规律
  引入稀疏图模型，有效利用重要实体、关键链接、子图、角色与传播机制等网络特性，通过跨媒体数据的自然属性和社会属性来定义用户个体和群体之间所存在的社区，深入分析社区间和社区外用户分享和传递观点和事件方法，揭示网络跨媒体数据与社会行为之间相互作用规律，为建立可计算跨媒体模型提供理论基础。

跨媒体语义学习与内容理解

围绕跨媒体数据呈现的多态性、异构性、海量性和社会性特点，分析跨媒体数据所蕴含的热点话题及重大事件结构模式，提出检测突发性热点话题及重大事件的方法，形成基于群体智能的协同反馈计算手段，建立符合社会感知与网络特性的跨媒体内容理解理论与方法。

内容:

• (1) 热点话题及重大事件结构模式表示
  研究网络中热点话题与重大事件形成机理，提出融合跨媒体数据的主题与事件表示方法，关联网络事件中不同模态的数据，构建事件结构化计算模型，实现有效的跨媒体主题与事件之间的相关性度量，建立主题与事件间的结构化描述。
• (2) 热点话题及重大事件检测
  研究在不同网络渠道下同时涌现跨媒体数据的相似性计算方法，建立可计算的通感（synaesthesia）模型，挖掘图像、网页、评注和标签等之间关联性，对历史数据和在线数据进行综合分析，利用通感，在跨领域学习和多任务学习基础上，实现流式跨媒体数据中热点话题及重大事件检测方法。
• (3) 跨媒体语义单元学习和标注
  针对跨媒体数据异构多样、歧义性大的特点，扩展传统多核学习方法，通过非线性回归模型和多核学习方法对自然属性和社会属性之间关联关系进行学习，对图像、网页、评注和标签中有意义单元进行标注和提取，提出相应的适合多核学习的高效低复杂度优化求解策略。
• (4) 基于群体智能的协同交互机制
  结合个体和群体的标注、评价、浏览和搜索等交互行为信息，研究个体和群体行为参与跨媒体语义理解的协同交互机制，提出针对网络群体智能的协同语义学习方法，挖掘跨媒体数据自然属性和社会属性之间，以及与个体和群体之间的深度关联关系，提升对跨媒体语义分析和理解的能力。

海量跨媒体数据挖掘与公共安全态势分析

跨媒体数据所蕴含的话题和事件会随时间动态发展，不同话题和事件在社会个体和群体交互下会不断演化，针对这一特点，本课题研究面向公共安全的跨媒体数据挖掘理论，突破海量数据实时处理瓶颈问题，建立公共安全中热点和敏感话题及重大事件发展、渗透与演化模型，对公共安全态势进行跟踪、评估和预测。

内容

• （1）海量跨媒体数据高效处理
  拓展现有机器学习的理论和方法，在大规模数据采样、优化求解、矩阵分解和并行算法等方面取得突破。在复杂度平滑分析理论指导下，通过数据扰动等手段，探讨并建立海量数据处理关键算法的实际性能分析机制。
• （2）跨媒体数据关联挖掘
  利用复杂图聚类和典型性相关分析等方法，研究海量跨媒体数据挖掘的理论与方法，通过区别式或生成式，监督学习或半监督学习等方法，发现话题、事件和对象之间蕴含的关联关系，建立跨媒体数据关联关系全景谱图，提取蕴含在跨媒体数据中与公共安全相关的模式和知识。
• （3）多尺度公共安全事件跟踪与演化模型
  分析公共安全事件中热点话题及重大事件呈现特点和组成要素，从不同的时间和空间尺度对其进行跟踪。结合渗透理论和社会关注度方法，建立不同话题和事件在社会个体和群体交互下不断扩散和演化模型，从不同层次对公共安全事件动态发展趋势进行评估。
• （4）公共安全态势分析与预测
  构建公共安全态势评估指标和模型，以当前的公共安全事件为基础，对公共安全态势进行客观评估；揭示公共安全事件自身的发展规律，以及事件之间的作用机理，预测公共安全事件和态势的走向。

跨媒体搜索与内容整合

研究对网页、图像、视频、标签和评价等异构数据以及浏览、点击和热度等交互属性通过联想和类比等手段进行合成的方法，使之对热点和敏感话题及重大事件从不同角度和侧面进行整体表示。研究结合语义内容和信息质量的排序模型及其相关反馈方法，提高跨媒体数据检索质量。

内容：

• （1） 跨媒体搜索
  通过研究迁移学习、跨域（cross-domain）学习、多任务学习和典型相关性学习等理论和方法，挖掘关联性异构媒体数据之间存在的共享子空间，以支持从一种类型媒体数据检索另外一种媒体数据。建立高效海量数据索引机制，以提高跨媒体检索性能。
• （2） 问答式检索意图理解
  研究对用户以文本和图像等跨媒体样例来表达检索意图进行理解的方法，反映用户检索的个性化需求。在理解用户检索意图基础上，实现跨媒体数据的问答式检索，以不同类型数据对用户检索请求匹配的结果进行呈现。
• （3） 跨媒体排序和相关反馈
  改变传统以内容匹配程度来对检索结果进行排序的方法，辨识网络跨媒体数据质量，分析网络跨媒体数据的影响力，研究综合考虑热度、质量和内容等属性的排序方法。研究对跨媒体中所包含的丰富自然属性和社会属性进行交互反馈，改善跨媒体检索结果的方法。
• （4） 跨媒体内容整合
  通过相似度计算和关联性分析，以类比和联想等手段，对网页、图像、视频、标签和评价等异构数据以及浏览、点击和热度等交互属性进行合成，按照摘要、主题、演化进程以及代表性语义单元等不同粒度对热点话题及重大事件进行表示。

面向公共安全的跨媒体呈现与验证和示范平台

基于因果推断理论，研究推动热点话题和突发事件涌现、发展和演化重要因素的析取方法及其可控仿真手段；通过高质量高解析度的立体动态多媒体显示手段，紧扣热点话题和突发事件涌现、发展和演化的时间轴，在虚拟模拟与真实仿真环境下，身临其境地体验回溯历史和预测将来经历，构建一个特定社会事件的跨媒体呈现和验证平台。

内容：

• （1）社会事件因果推演与可控仿真
  对蕴含热点话题和突发事件跨媒体数据的统计分布进行分析，基于因果推断相关理论，析取演化过程中的重要因素和决定性阈值，观察其在不同条件下的时空动态变化和积累，真实感知其不同的演化过程和相应的结果，充分展示真实社会感知过程中多样性、不确定性和不完整性，从而建立热点话题和突发事件可控、可重复性的仿真体验环境。
• （2）热点话题和突发事件跨媒体呈现
  以热点话题和突发事件涌现、发展和演化的时间轴为核心，按照空间地理索引，对某一热点话题或突发事件及其包含主题、对象、摘要、热度和代表性语义单元等属性在网络空间中及其在现实空间中相应的发展演化过程进行呈现。同时，对不同热点话题及重大事件按照与查询无关和与查询有关聚合分析，呈现话题和事件之间复杂关联关系及其相关社会关系网络。
• （3）公共安全快速预警与决策支持
  分析影响当前公共安全态势的因素，基于历史范例，在不同条件下对特定社会事件进行仿真，以跨媒体形式对其呈现，为有关部门制定公共安全警戒指标和制定应急预案提供科学依据，并对预案进行模拟仿真和评价，辅助决策，依据公共安全态势的评估结果，向有关部门提供快速预警服务。
• (4) 面向公共安全的综合验证和示范平台
  制定接口规范，对相关算法和系统进行集成。针对具体应用问题，向有关部门提出整套预测预警方案和对其态势发展的完整评估建议。建立综合验证和示范平台，对本项目的研究内容进行验证与示范。

总结

跨媒体随着移动时代的到来已经到了融合时代，跨媒体安全也越来越重要。
大数据与人工智能时代的到来，也为图形媒体这些传统应用广泛，技术发展缓慢的科研领域注入了新的活力。
跨媒体中的难点：跨媒体数据统一表示和建模方法、跨媒体数据关联推理和深度挖掘、跨媒体数据综合搜索和内容合成，在大数据时代下数据量的处理统一表示和建模都有了新的解决方案，在人工智能时代下跨媒体数据关联与深度挖掘也有了新的方案。
随着时代的发展，技术的变革。跨媒体进入了新时代，跨媒体安全解决也进入到了新时代。