20179214 2017-2018-2 《密码与安全新技术》第三次作业
课程：《密码与安全新技术》
班级： 201792
姓名： 刘胜楠
学号：20179214
上课教师：谢四江
上课日期：2018年3月29日
必修/选修： 选修
学习内容总结
网络空间安全前沿技术介绍----跨媒体安全
传统多媒体
多媒体的英文单词是Multimedia,它由media和multi两部分组成.一般理解为多种媒体的综合.媒体（Media）就是人与人之间实现信息交流的中介,简单地说,就是信息的载体,也称为媒介.多媒体就是多重媒体的意思,可以理解为直接作用于人感官的文字、图形图像、动画、声音和视频等各种媒体的统称,即多种信息载体的表现形式和传递方式.传统媒体就是报纸,杂志等等.
既表现为包括网络文本、图像、音频、视频等复杂媒体对象混合并存，又表现为各类媒体对象形成复杂的关联关系和组织结构，还表现在具有不同模态的媒体对象跨越媒介或平台高度交互融合。通过“跨媒体”能从各自的侧面表达相同的语义信息，能比单一的媒体对象及其特定的模态更加全面地反映特定的内容信息。相同的内容信息跨越各类媒体对象交叉传播与整合，只有对这些多模态媒体进行融合分析，才能尽可能全面、正确地理解这种跨媒体综合体所蕴涵的内容信息。
- 特点
获取容易，数据量大，关联度高
跨媒体大数据的应用
- 交通监控
- 楼宇监控
- 24小时监控视频云备份服务
- 3D图形
3D照相馆
电子商务在线试衣
跨媒体大数据分析与计算
文本 音频 图像 视频 3D 位置等多种类型媒体与之相关的社会属性信息混合在一起，形成了跨媒体形式。
研究热点
- 跨媒体时代的只是表达
- 跨媒体检索和排序
- 面向跨媒体数据的因果推理
- 基于跨媒体分析的态势感知
跨越的含义
- 不同类型数据之间的跨越
- 不同来源数据之间的跨越
- 信息空间与物理空间之间的跨越
安全问题
面向安全的跨媒体内容分析
- 跨媒体安全监控
- 有害内容的识别
- 跨媒体取证分析
- 跨媒体内容辨伪
基于跨媒体的信息安全技术
- 跨媒体信息隐藏
- 跨媒体验证技术
跨媒体自身的信息安全技术
- 跨媒体版权保护
- 跨媒体安全存储
- 跨媒体安全传输
- 跨媒体安全处理
可视密码
研究背景意义与应用
云端媒体安全监管
安全人脸识别
云环境下的视频监控
跨媒体分析与推理
媒体在计算机领域有两种含义：一是指媒介，即存储信息的实体，如磁盘、光盘、磁带、半导体存储器等；二是指传递信息的载体，如数字、文字、声音、图形、图像等。
以往的媒体信息处理模型往往只针对某种单一形式的媒体数据进行推理分析，比如图像识别、语音识别、文本识别等。 而越来越多的任务需要像人一样能够协同综合处理多种形式(文本、音频、视频、图像等)的信息，这就是跨媒体分析与推理。
跨媒体信息的理解与深度挖掘
数据表达是基于内容的多媒体检索实现相似度匹配的基本依据，在图像检索、音频检索等研究中，通常采用底层内容特征来表示多媒体对象。而对跨媒体检索而言，需要研究一种符合跨媒体特性的数据表达机制，建立统一的数据模型，以表达不同的多媒体对象；同时，构建的模型应能反映数据集之间的潜在关系。如果不同类别媒体的数据集被映射到一个统一的表达框架中，但破坏了数据集之间的相互关系，那么在此基础上得到的跨媒体检索结果将受到影响，因此，在用统一的模型来表达不同类别的媒体数据时，应尽可能地发现和保持数据之间潜在的相关性。
不同类型的数据集之间实际上还存在一种共生关系，挖掘这种数据共生关系可以帮助发现潜在的语义结构。视觉特征和听觉特征结构完全不同，然而在其底层特征中潜在共生关系，可以从中找到隐含的语义结构。共生关系分析最初应用于语言分析，不过语言分析与跨媒体分析有很大的差别，主要在于跨媒体没有包含直接的语义；另外，跨媒体中不包含文档和词汇（语义）的包含关系，因此，其对应的处理方法也不同。
目前的方法基本上都是在交叉媒体数据上进行相关性学习，学习方法主要包括表达学习、度量学习以及矩阵分解等，学习策略基本上采用batch的形式来捕获目标之间的一阶相关性。 对于未来的发展，我们需要开发更高级的学习策略来捕获更高阶的相关性(比如，相同来源的信息天然具有一定相关性、信息中的超链接也隐藏着更多的相关性信息)并采用更合理的评价手段。
跨媒体知识图谱构建以及学习方法论
- 跨媒体知识图谱创建：实体提取以及关系构建
- 基于跨媒体知识图谱的信息查询与检索
- 跨媒体知识图谱中对的挖掘与推理
- 知识驱动的跨媒体学习模型
跨媒体知识演化与推理
目的：基于多种媒体形式进行演化与推理。
关键问题：
数据驱动结合知识引导的跨媒体知识学习
基于语义理解的跨媒体推理框架
永不停歇的知识获取、挖掘以及演进
跨媒体智能
引自http://stdaily.com/cxzg80/redian/2017-07/28/content_563746.shtml
跨媒体智能是新一代人工智能的重要组成部分，通过视听感知、机器学习和语言计算等理论和方法，构建出实体世界的统一语义表达，通过跨媒体分析和推理把数据转换为智能，从而成为各类信息系统实现智能化的“使能器”。跨媒体智能引擎研究可在现有计算平台上进行，但是它的广泛应用需要研制更为高效的智能芯片和硬件，才能像生物大脑和感知系统那样以极低功耗来高效地表达外部世界的复杂结构。
幽居于颅骨内的人类大脑通过视觉、听觉、语言等感知通道获得对世界的统一感知，这是人类智能的源头。跨媒体智能就是要借鉴生物感知背后的信号及信息表达和处理机理，对外部世界蕴含的复杂结构进行高效表达和理解，提出跨越不同媒体类型数据进行泛化推理的模型、方法和技术，构造模拟和超越生物感知的智能芯片和系统。
跨媒体智能理论研究主要围绕跨媒体感知计算理论展开，从视、听、语言等感知通道把外部世界转换为内部模型的过程出发，实现智能感知和认知。主要包括：研究超越人类视觉感知能力的视觉信息获取，有效支撑对环境的全景、全光与透彻感知；研究能够适应真实世界复杂场景的主动视觉系统，发展复杂环境感知、建模和交互等技术，构建主动感知框架和技术体系；研究自然声学场景下的听觉感知及计算，实现复杂声学场景中语音定位和增强；突破真实自然交互环境中的语音识别鲁棒性、语音合成表现力、口语理解准确率等难点问题；研究自然交互环境中的言语感知及计算，实现类人的多语种多方言的言语感知和多语种多方言间的言语感知迁移；建立面向异步跨模态序列的类人感知和交互理论，研制突破图灵测试的跨模态社交机器人，实现与人类和谐地进行多模态互动和沟通；研究面向媒体智能感知的自主学习，发展仿人脑记忆的媒体协同分析方法。
实体物理世界和虚拟理念世界的有效表达是智能的基础。经典人工智能通过谓词、命题和规则等方法在充分定义前提下进行推理，逻辑清晰，但未能有效解决符号系统和实体世界的对应问题，知识工程试图建立完备的常识库与常识推理引擎，但缺乏源头活水。如今外部环境已经发生重大变化，互联网、物联网和大数据的快速发展，正在将我们所在的物理世界通过海量传感器和多模态数据进行全天候描述，为建立物理实体世界的统一语义表达创造了外部条件，信息传播已经从文本、图像、视频、音频等单一媒体形态过渡到相互融合的跨媒体形态，如何将文本推理扩展到跨媒体分析推理成为了重要的研究问题。
在新一代人工智能发展规划中，跨媒体智能关键技术层面的研究主要围绕跨媒体分析推理展开，即通过视、听、语言等感知来分析挖掘跨媒体知识以补充和拓展传统基于文本的知识体系，建立跨媒体知识图谱，构建跨媒体知识表征、分析、挖掘、推理、演化和利用的分析推理系统，形成跨媒体综合推理技术，为跨媒体公共技术和服务平台的建设提供技术支撑，并在网络空间内容安全与态势分析、跨模态医疗数据综合推理等领域进行示范应用。
跨媒体智能的真正应用需要智能芯片和硬件的支持。机器感知一直是传统人工智能的薄弱环节，需要模拟生物视、听、嗅、味、触等感知通道的信号处理和信息加工模型，研制新型感知芯片并进行系统实验和验证。例如，仿视网膜神经网络结构和机理的高灵敏、高动态、高保真视觉芯片能够模拟生物视觉事件驱动、稀疏表示和异步传输等机理，达到“结构模仿生物视觉，速度超越生物视觉”的效果。又如，模拟多种生物（如灵长类、猫、响尾蛇等）的独特视觉机理，建立从复杂视频图像数据中快速搜索兴趣目标的理论、模型和算法，实现具备自适应、自学习能力的智能感知系统。再如，研究模拟生物皮肤的高灵敏度触觉感知器件和芯片，构建主动接触和精细反馈的触觉传感器和电子皮肤。
跨媒体智能的一个典型综合应用是智能城市。研究城市全维度智能感知推理引擎，解决城市发展过程中存在的感知碎片化、信息孤岛化等问题，建立以“大跨度、大视角、大信息和大服务”为特征的城市全维度智能感知推理引擎,实现对人、车、物、事件等的多维度、跨时空协同感知和综合推理。
另外，跨媒体智能技术还能够推进企业智能制造转型，为经济增长注入新活力，提升中国经济的发展质量。跨媒体智能引擎还将在智能医疗等重要领域得到应用，从而将对国民经济、国计民生、国家安全等产生重要影响
Q：针对跨媒体信息，如何学习一种统一的表达？
- 一种简单的学习方法是：建立一个共享空间，然后将所有数据投影到该空间。 比如早期的CCA方法，通过线性函数尽可能的将成对出现的图像和文本数据投影到共享空间的同一位置。
- 主题模型是另外一种常用的表示方法，比如经典的latent Dirichlet allocation (LDA) 模型。 LDA假设不同形式的媒体信息由相同的多个主题生成，于是目标的相似度可以通过指定主题下的生成概率来计算。深度学习的兴起也很快蔓延到跨媒体信息表达领域。
