面向公共安全的社会感知数据处理

《面向公共安全的社会感知数据处理》由会员分享，可在线阅读，更多相关《面向公共安全的社会感知数据处理（29页珍藏版）》请在装配图网上搜索。

1、项目名称：面向公共安全的社会感知数据解决首席科学家:谭铁牛中国科学院自动化研究所起止年限:.8依托部门：中国科学院一、核心科学问题及研究内容1. 拟解决的核心科学问题如前所述(详见“立项根据”部分），保障国家公共安全与提高社会管理的科学化水平、支持国家经济建设和社会发展的科学决策、带动新一代信息技术等战略新兴产业的跨越发展是目前和将来一段时间国内的重大战略需求。这些重大需求归结到一种共同的核心科学问题就是复杂感知数据的高效解决与语义理解。从面向公共安全的角度讲，就是要将海量庞杂、异质多源、大范畴时空关联的社会感知数据化繁为简,高效地提炼出满足公共安全需求的、人可理解并运用的信息情报和知识资源,

2、从而有效服务于社会公共安全态势的实时监控、预警预报和应急解决。 社会感知数据的复杂性源自社会感知网络的复杂性。社会感知网络是一种复杂的巨系统,其复杂性重要体目前如下几种方面:(1）感知节点泛在分布。物理空间上亿级的视频监控终端和网络空间百亿级的计算机、智能手机等共同构成了一种庞大分布式的泛在社会感知信息网络。（2）感知数据海量混杂。根据IDC的记录和预测,全球数据量达到了0.8 B(1021字节）,将达到 。社会感知数据涉及文本、图形、图像、视频、音频等互相关联的不同模态，且动态变化、真伪混杂。（3）感知对象种类繁多。物理空间的感知对象重要涉及场景、目的（人、车、物）、行为、人群密度、事件等；

3、网络空间的感知对象涉及网站、社区、论坛、博客、微博、话题倾向与传播状况、社会关系等。（4)感知主题跨越时空。社会态势感知需要环绕一种主题进行长期跟踪，只有对跨时间、跨地区、跨物理空间和网络空间的感知信息进行关联聚合才干精确把握公共安全事件的来龙去脉。人类社会同步存在于物理空间(Physicl spac)和网络空间(Cyberspce）,这两个社会空间既相对独立又关联耦合。物理空间的视频监控重要体现社会大众的“行”,感知数据复杂性重要体目前分布式摄像机网络视觉感知数据的跨场景特性；而网络空间的社会媒体更多反映网民群体的“言”,感知数据复杂性重要体目前网络数据的跨媒体（文本、图像、视频、音频等)属

4、性;从大尺度观测人类社会，感知数据具有跨物理与网络空间的复杂性。社会感知数据的上述“三跨”特性(即跨场景、跨媒体和跨空间）决定了社会感知数据高效解决与语义理解的复杂性、挑战性和前沿性。因此本项目的核心科学问题“复杂感知数据的高效解决和语义理解”可以进一步分解为如下三个更为直接、紧密关联的核心科学问题。(1)跨场景复杂视觉数据的分析与理解视觉感知是获取物理社会公共安全态势信息的最重要通道。全国各地为建设“平安都市”部署了数千万级的视频监控终端,构建了描述人们在物理空间社会活动的视觉传感网或视联网(IoV, teneofVision)。海量视觉数据的及时解决和有效运用已成为公共安全领域的重大技术瓶

5、颈，其中的核心科学问题就是跨场景复杂视觉数据的分析与理解,即从大范畴监控区域分布式摄像机网络的跨时空视觉感知数据中提炼出与公共安全主题密切关联的物理场景、目的(涉及人、车、物)、行为、事件、社会关系等语义信息,并实现大范畴视觉监控区域的整体感知与理解。不仅需要解决老式视频监控的5W问题“Who? hen?Where? Wht？ Why?”,突破传记录算机视觉算法的精确性、鲁棒性、高效性问题,并且需要解决覆盖大范畴监控场景摄像机网络的协同以及大范畴视觉监控区域的整体感知与理解问题,涉及面向公共安全监控任务的自组织积极视觉感知网络,跨摄像机、多视角时空关联视频数据的感知聚合，深度挖掘社会关系网络、

6、群体行为交互模式,持续跟踪报道公共安全事件的实时进展和来龙去脉，提炼战略级的公共安全视觉监控情报，实现大范畴物理社会公共安全态势评估和预警。(2）跨媒体复杂网络数据的分析与理解网络空间中社会感知数据总体上具有开放性、时效性、互动性、匿名化、群体化、跨媒体、非构造化等特点。随着博客、微博、社交网站的流行以及多媒体终端设备涉及网络音视频摄像头、数码相机、数码摄像机、智能手机的日益普及，人们可以很以便地在网络刊登文字、图像、图形、视频、语音并茂的社会媒体,因此跨媒体成为网络数据复杂性的一种典型特性。赋予机器类似人类认知系统的跨媒体统一感知能力是智能信息解决的一种核心和热点科学问题，其中的核心问题是要

7、将纷繁庞杂的跨媒体网络感知数据映射到高层语义空间实现统一的内容理解和信息聚合,自动捕获苗头性、敏感性、倾向性的网络舆情信息，发现突发事件、预测发展态势，实现公共安全隐患的预警预报。（）跨物理与网络空间感知数据的协同计算与理解网络空间作为人类社会生存空间在信息化、网络化时代的扩展与延伸，与物理存在的人类老式社会空间紧密关联、互为补充、互相影响。以社会感知为目的，物理空间获取的更多是人们的“行”,而网络空间感知的更多是大众的“言”。言行合一、言行互补，因此只有察言观行、两者协同，才干更进一步、更全面、更精确、更可靠地获取公共安全态势情报。但是问题的核心是物理与网络空间的社会感知数据在感知手段、感知

8、对象、感知内容、数据可信度、时空演化特性等方面都具有明显差别性,如何环绕公共安全态势感知这一共同目的实现二元空间复杂感知数据的协同分析和聚合理解,而不是简朴的信息融合,是跨二元空间大尺度社会感知所面临的最大科学挑战。2. 重要研究内容环绕以上所述的三个核心科学问题，本着“有限目的，突出重点”的原则，本项目拟从三个层次开展研究:社会感知数据解决的基本理论、社会感知数据的计算与理解、社会感知数据解决的集成与验证。其中,第一种层次的研究是整个项目的基本，其成果可望为第二个层次的计算模型与措施研究提供基本理论和措施论上的指引；第二个层次的研究是核心，其成果可望为面向公共安全的社会感知数据解决的实际应用

9、提供措施和算法的储藏;第三个层次的研究是平台,旨在为第二个层次提出的核心计算模型和措施建立瞄准公共安全重大应用的验证环境和数据平台。第一种层次的研究内容涉及社会感知数据解决的认知基本与计算理论;第二个层次的研究内容涉及物理空间感知数据的计算与理解、网络空间感知数据的计算与理解以及物理与网络空间的协同感知；第三个层次的研究内容涉及社会感知数据解决的公共平台与验证系统。这五个方面的研究内容既有环绕上述三个核心科学问题的共性基本性(第一种层次）和集成验证性（第三个层次)工作,也有环绕这三个核心科学问题的针对性工作(第二个层次）。现将这五个方面的研究内容简要论述如下。(1）社会感知数据解决的认知基本与

10、计算理论社会感知数据解决的共性问题是海量动态跨媒体数据的高效解决与语义理解,研究人对社会感知信息的认知机制及对跨媒体数据高效解决的计算理论与算法，对整个项目的研究具有基本性的作用。重要内容涉及: 社会感知数据的认知特性及其整合机制。摸索文本、图像、视频等跨媒体、多模态数据的人脑认知加工机制，涉及场景中的文字内容的认知理解,视听觉信息的认知整合，短期感知记忆对人脑多感官语义整合的影响,视觉皮层中物体表达及听觉信息解决的神经机制等。 多源异构数据的测度学习理论。多源异构性是海量跨媒体社会感知数据的重要特点之一,研究多源异构数据的测度表达和学习是实现社会感知数据高效精确解决的基本性问题之一。具体内容

11、涉及多源异构数据的关联机制、自适应关联模型和统一表达,多源异构数据距离测度学习措施，社会感知数据到高层语义空间的多层次、多粒度映射关系，针对海量数据解决的近似或迅速计算措施等。 社会感知数据的构造表达与学习理论。研究构造表达和学习预测模型可以更好地运用社会感知数据固有的内在构造(例如互补、冗余、因果关系等)。具体内容涉及社会感知数据的构造化表达,基于时空变化的动态鲁棒构造学习，多源异构数据的构造关联与构造融合,多任务场景下的协同窗习措施和高效的优化推理算法等。 社会感知数据解决的知识表达、获取与度量理论与措施。重要解决社会感知数据中的实体（人、车、物)、场景、行为、关系、事件等对象的知识描述、

12、抽取和知识运用问题，实现领域知识的深度运用。具体内容涉及:社会感知领域知识的多层次、多粒度知识表达框架与表达措施,社会感知数据中的自动知识获取措施，基于大规模知识框架的信息度量理论与措施等。（2)物理空间感知数据的计算与理解充足运用物理空间泛在的视联网资源，实现社会公共安全主题中场景、目的、行为、事件、关系等语义内容的自组织积极感知和跨摄像机场景分析、事件态势分析与社会关系分析,是社会信息感知和安全监控的重要构成部分。重要内容涉及: 多摄像机网络自组织视觉感知。运用泛在分布式摄像机网络节点之间的关联,研究动态自组织视觉感知联盟,通过摄像机终端的局部视觉感知和知识引导，自动搜索和选择感知节点集合

13、构建自组织的视觉监控网络，并运用该网络的记录特性来推知运动目的的意图,实现自组织监控的目的。 多摄像机大范畴动态场景建模与理解。本研究的目的是有效提取关联公共安全事件的场景、目的和行为、事件等高层语义信息,具体内容涉及：面向大范畴动态场景的高精度三维重建，运动目的的跨摄像机、多视角检测与跟踪，结合场景动态建模和多目的跟踪的大范畴动态场景高层语义理解与融合，面向大范畴动态场景理解的图语法学习和因果推理算法等。 泛在视觉感知环境下的群体行为分析。研究泛在视觉感知环境下的汇集群体发现、人群规模和密度估计,人群属性(性别、年龄分布）、行为(情绪、动作、手持物、行进速度）和标语文字内容辨认，群体交互和行

14、为特性的体现和建模措施、群体行为类型辨认措施，大规模群体事件的检测和辨认措施等。 基于分布式视频监控数据的社会网络分析。研究物理空间视频监控数据中敏动人物和车辆的辨认和跨场景跟踪，敏动人群行为关系的类型、强度和动态更新过程建模,敏动人物的社会关系网挖掘和危险行为预警。(3）网络空间感知数据的计算与理解网络空间大量话题和事件的突发性涌现会产生巨大的社会影响,本项目通过对网络跨媒体数据的分析与计算，自动捕获关系公共安全的苗头性、敏感性、倾向性的网络舆情信息，及时发现关系社会公共安全的问题、群体、关系、事件等语义信息。重要内容涉及: 网络空间社会感知数据的积极获取。研究面向新闻、论坛、博客、微博、社

15、交网络等多通道网络信息的积极采集技术，DeepWb动态网页的采集与解析还原技术，网页构造化特性抽取技术，面向海量多通道网络信息的分布式、可扩展的高性能获取体系架构。 网络空间突发事件发现与演化分析。研究海量信息的迅速话题发现和增量更新措施,基于时域分析的网络空间突发事件发现措施，网络信息交流的动力学扩散特性、传播机制和事件源头发现，事件的多视角、多尺度演化规律和发展趋势预测模型。 跨媒体网络数据的倾向性分析。从不同媒体数据（涉及文本、图像、视频等）中提取体现倾向性的特性，研究面向网络空间感知的观点信息构造化表达模型,分析倾向性的主客观性和领域差别性，研究跨领域倾向性分析,多立场、多视角倾向性分

16、析,观点信息的时域、空域动态变化趋势等。 网络空间的复杂群体关系挖掘。研究不同视角的异构关系特性提取措施和融合计算模型;研究社区构造的明显性度量措施，发现重叠的、可以反映消息动态传播汇集性质的社区构造；研究基于多尺度异构关系的网络群体发现措施;分析网络空间中对象之间的多元异构关联关系,辨认特定群体的核心对象。(）物理与网络空间的协同感知社会公共安全态势和事件线索往往同步存在于物理空间和网络空间，并且在二元空间中互相影响。因此,研究二元空间协同互动感知机制，实现二元空间协同的实体和社会群体发掘与关系分析、公共安全事件跨时空全局态势分析与预测,对精确监控、预警预报和应急解决公共安全事件是不可或缺的

17、。重要内容涉及： 物理空间与网络空间的复杂关联发现与建模。研究二元空间多媒体数据在语义体现上的共有性与互补性,建立跨媒体数据的语义关联;通过二元空间信息的实体与事件抽象及多层次关联特性,建立环绕特定目的或事件主题的跨时空信息关联模型。 物理空间与网络空间的协同互动感知机制。基于公共安全领域知识，建立二元空间协同互动感知的统一语义模型;探讨二元空间中实体对象或事件的信息属性、状态与角色的互发现机制,实现特定目的或语义主题有关的积极信息感知、发现与跟踪。 二元空间协同的社会群体发掘与关系分析。充足考虑物理空间中生物特性数据（人脸、虹膜、步态等）与网络空间中的顾客行为数据（个人主页、照片、write

18、prt、社会关系等)的关联性与互补性，建立社会实体和关系的跨空间映射关系,实现二元空间实体和社会关系的互发现、协同辨认与验证。 基于二元空间协同的全局态势分析与预测。研究跨空间社会感知数据的语义集成措施,建立以实体关系事件为核心的语义描述体系;研究二元空间信息协同的全局态势评估与预测模型,对重要安全事件在二元空间中的演化过程进行全局性建模与评判,对异常态势进行预警。(5)社会感知数据解决的公共平台与验证系统前面四部分的研究内容分别从不同角度对社会感知数据解决的理论措施进行研究，需要实验数据与测评原则、人机交互可视界面等共性技术资源平台的有力支撑,同步面向公共安全应用对项目成果进行集成和验证。重

19、要内容涉及： 社会感知数据资源平台与测评原则体系建设。建设跨感知源、跨媒体、跨二元空间的大尺度、海量规模、具有代表性的社会感知数据资源和实验验证平台并向国际学术界免费共享，并制定社会感知数据解决性能测评认证的指标体系和技术原则。 社会公共安全态势的可视化。面向公共安全决策支持需求，研究大尺度(跨场景、跨媒体和跨空间)海量社会感知数据的可视融合措施,在可视交互界面动态集成物理和网络空间的安全态势信息，并通过智能可视分析在二元协同感知层次挖掘和提炼多粒度、多视角的可视化公共安全情报。 面向公共安全的社会感知验证系统。面向国内公共安全的实际需求，集成本项目的研究成果,选择一种都市区域或特殊场合建设跨

20、物理空间和网络空间的大尺度社会感知验证系统，通过物理空间中固定探头和移动探头生成的实时视频流和网络空间的动态跨媒体数据，对都市或特定区域的社会安全态势进行协同监控和预警。 社会感知数据解决发展战略。作为本项目的总体组，研究社会感知数据解决的发展战略,把握学科发展方向,通过顶层设计有序协调组织各课题组的研究工作，保证科学合理的项目实行筹划。二、预期目的本项目的总体目的：面向国内公共安全实时监控与应急解决的重大现实需求,瞄准智能信息解决的学科前沿,以物理空间和网络空间的社会感知数据（涉及海量视觉数据、多模态生物特性信息和海量网络非构造化数据)为研究对象，以建立复杂感知数据高效解决的理论与措施为科学

21、目的，进一步系统研究复杂感知数据解决的认知机理和计算理论、跨场景复杂视觉数据的计算与理解、跨媒体复杂网络数据的计算与理解以及跨物理与网络空间感知数据的协同计算与理解等核心问题并获得突破，从而将复杂的社会感知数据化繁为简，高效地提炼出满足公共安全需求的、人可理解并运用的情报和知识,提高国内在智能信息解决领域的国际学术地位和影响力,为国家公共安全的实时监控、预警预报与应急解决提供理论基本和技术储藏，服务国内社会的科学化管理。本项目的具体预期目的：l 服务国家需求。通过本项目的实行,我们预期为提高国内的社会感知数据有效运用和公共安全的实时监控、预警预报能力提供更加坚实的理论基本与技术储藏。估计将建成

22、一种社会感知数据解决的示范平台,并将有2-3项研究成果得到转化和实际应用，满足国家公共安全领域的某些急切现实需求。l 发展创新理论。通过本项目的实行，我们预期在社会感知数据智能解决的若干方向上提出和发展具有重大创新意义和国际影响的理论和措施。预期在社会感知数据解决的认知机理和计算理论、跨场景视觉计算、跨媒体语义计算与融合、基于多媒体数据分析的网络内容挖掘、物理与网络空间的协同感知等方面获得重要进展与突破,建立原创理论与措施。本项目五年估计刊登论文500篇以上(其中CI刊物论文20篇以上),出版专编著10部以上。其中刊登在感知信息智能解决领域国际顶级刊物(如ETn. PAM, It. J. Co

23、muterVisin,IE Trns. Imagerocesig, IEE Trans. Multimedia，ACMTrans n Mulimedia Cmputng， Commucatos andApplictns等）和顶级会议(如CVPR,ICCV， AM Multimedia， SIKDD, ICM等)的论文50篇以上。l 突破核心技术。通过本项目的实行，我们预期不断实现基本研究成果向核心技术、进而向实际应用的转移。预期在图像目的检测与辨认、运动目的行为分析和群体行为分析、视觉场景辨认、远距离生物特性辨认、网络话题分析和事件检测、社会关系挖掘、物理空间与网络空间的的态势分析与安全监控等

24、核心技术方面获得突破。估计申请和获准专利0项以上，涉及10项以上国际专利。l 建设数据资源。通过本项目的实行，我们将建设跨感知源、跨媒体、跨二元空间的大尺度、海量规模、具有代表性的社会感知数据资源和实验验证平台并向国际学术界免费共享，同步制定大尺度时空范畴社会感知数据解决性能测评认证的指标体系和技术原则。这些数据资源和原则将提高国内在本学科领域研究的起点和国际竞争力。l 培养优秀人才。通过本项目的实行，我们预期在社会感知数据解决领域，培养、建设与稳定一支在国际上有明显地位、能推动国内本学科领域发展的优秀科研队伍。估计培养各类人才不少于30人（其中博士后约2人、博士约10人，研究生约10人,优秀

25、中青年人才约0人）。与此同步,我们但愿通过本项目的实行，进一步加强承当本项目的3个重点实验室与2个国际合伙联合实验室的建设，从而把完毕国家重大科研任务与培养优秀人才和建设科研创新基地有机地结合起来，最大限度地发挥国家有限科研经费资源的效能。三、研究方案. 总体研究思路以认知科学和计算机科学（计算机视觉、模式辨认和机器学习）等有关领域的研究成果为基本，以物理空间和网络空间的社会感知数据为研究对象,以建立复杂感知数据高效解决和语义理解的理论与措施为科学目的，分别从三个层次,环绕三个核心科学问题,开展五个方面的研究。如前所述，三个层次是社会感知数据解决的基本理论、社会感知数据的计算与理解、社会感知数

26、据解决的集成与验证；三个核心科学问题是跨场景复杂视觉数据的分析与理解、跨媒体复杂网络数据的分析与理解、跨物理与网络空间感知数据的协同计算与理解；五个方面的重要研究内容是社会感知数据解决的认知机理与计算理论、物理空间感知数据的计算与理解、网络空间感知数据的计算与理解、物理与网络空间的协同感知、社会感知数据解决的公共平台和验证系统。其中,第个和第5个研究内容分别属于第一层次和第三层次；第24个研究内容属于第二层次，分别相应三个核心科学问题。本项目将建立一种公共数据获取和技术集成平台。五个方面的研究将采用互相关联的跨空间、跨媒体、多模态社会感知数据环绕共同的公共安全需求开展理论和实验研究。不同研究内

27、容之间有数据、措施和技术方面的协作，核心技术将在公共的集成验证平台上进行验证。环绕项目的三个核心科学问题、五个方面的重要研究内容和总体研究目的,本项目的研究过程中将贯彻如下几种重要的学术思想：l 需求驱动:在智能信息解决中,人的注意点和应用领域需求对数据的解决和有用信息的提取起着重要的引导作用。本项目的社会感知数据解决面向公共安全监控和预警的国家重大需求,因此必须充足考虑公共安全监控的任务驱动和先验知识的有效运用。l 因地制宜：即数据驱动,泛在感知环境下的社会感知数据具有多源异构、海量庞杂、内容多样、时空跨越的特点。研究社会感知数据的智能解决和有效运用必须充足考虑这些特点、运用这些特点,从而有

28、针对性地建立模型和措施。l 机理引导：人类自身的视觉感知和跨媒体感知能力远远强于机器的感知能力，因此应当进一步摸索人类跨媒体感知的认知机理，以指引社会感知数据智能解决计算模型与措施的研究。这既是国际学科发展的趋势，也是在计算模型与措施上开展创新研究的有效途径。l 多向交互：跨场景(跨摄像机)视觉计算既是社会感知的挑战性问题,也是计算机视觉领域研究的前沿。计算过程既有自下而上的特性提取和组合,也有自上而下的知识引导,尚有周边关联的信息交互。因此本项目拟充足运用摄像机网络与视觉环境的交互和视觉环境中的公共安全主题先验知识，以增强跨摄像机视觉信息智能解决措施的鲁棒性并克服老式视觉计算理论的某些重大缺

29、陷(如Mar 的视觉计算理论）。l 协同感知：物理空间和网络空间感知信息协同是一种新的研究方向。对跨空间的复杂社会感知数据解决难以找到通用的措施。因此，我们以公共安全监控任务为切入点，以典型的公共安全事件的发生和演化为主线,运用历史事件的数据建立二元空间事件的演化和交互模型,实现二元空间的互动感知和对将来公共安全事件的预测预警。上述学术思想是我们近年来从事智能信息解决研究(特别是视觉信息解决和非构造化网络数据分析）的心得,也是我们结合本项目的核心科学问题和重要研究内容进一步思考的成果。总体上讲,既有继承,也有创新。2. 技术路线在基本理论层次,环绕跨媒体感知的认知机理和跨媒体数据的统一体现与机

30、器学习这一共性基本问题，将从认知心理学和神经科学角度研究跨媒体感知的数据获取效用和脑机制,并在认知机理和计算机科学有关研究成果基本上研究面向公共安全的社会感知数据建模和学习措施以及针对海量数据解决的高效算法。在认知机理方面,通过认知心理学实验,研究文本、图片、视频等媒体形式及不同组合方式和时序关系对于人们信息获取效用的影响和情感调制作用;通过fMR影像分析,研究人脑解决图像和视频时不同空间和时间构造下的认知规律和机理。在多源异构数据的测度学习方面，采用隐子空间措施,将多源异构社会感知数据和高层语义特性，运用学习不同的映射方式投影到统一的子空间。在构造学习方面，根据高维空间稀疏学习和非参数化贝叶

31、斯措施提出一套有关社会感知数据的构造学习的措施和理论，自动学习记录模型的构造;基于时空变化的动态鲁棒构造学习,研究具有“热启动”的鲁棒的增量学习措施。在知识表达、获取与度量方面，充足运用已有的丰富互联网资源,摸索这些资源中知识表达的基本单位和基本关系类型。采用记录与规则相结合的措施，开发自动的语义概念和属性辨认、关系抽取、网络构建措施,以此作为支撑工具以构建大规模的知识库。在社会感知数据的计算与理解层次,环绕跨场景复杂视觉数据的分析与理解、跨媒体复杂网络数据的分析与理解、跨物理与网络空间感知数据的协同计算与理解三个核心科学问题，分别研究面向公共安全重大应用的数据高效解决和语义理解的措施与算法。

32、在跨场景复杂视觉数据的分析与理解方面,通过运动轨迹聚类自适应学习摄像机网络的拓扑构造和连接关系以及运动目的在各场景之间的转移模型，基于摄像机网络先验知识和动态的监控任务需求，采用高阶约束的图模型推理迅速优化算法搜索和构建视觉感知网络;用贝叶斯推理框架统一自下而上的图像特性组合和自上而下的知识引导，对跨场景的运动目的进行辨认和持续跟踪;结合区域自有关性和互有关性的特性提取与匹配技术、融入先验知识的高阶能量函数优化措施实现大范畴场景的三维重建;结合局部特性、纹理特性和空间上下文对人群属性和行为进行分类;结合视觉明显性特性分析和图模型机器学习对场景中的标语文字进行检测和辨认；用句法规则对时空图像序列

33、中的行为模式进行体现,以随机句法为桥梁实现个体和群体行为的高层语义理解；针对大场景的整体理解，在场景三维建模和多目的跟踪的基本上,用层次构造图语法表达大范畴监控场景中不同区域的语义和时空关联性,通过图语法自动学习和因果推理实现对动态大场景的高层语义理解和语义融合，从而实现对跨时空事件的检测与辨认。在跨媒体复杂网络数据的分析与理解方面，一方面在信息源、页面、内容等多种层级采用增量化获取和优化调度方略提高网络感知数据获取的效率;通过过滤噪音信息然后提取时序突发(Burs o)特性检测局部突发话题,合并关联话题形成全局突发事件；提出多维度的事件关联和差别计算措施，实现网络事件的传播关系分析和时空追踪

34、；基于动力学理论分析网络信息的时序关联和动态演化规律,针对公共安全监测的实际需求建立预测模型，分析网络事件将来发展趋势；从多媒体数据提取表达大众观点和情感倾向的多视角特性,采用基于随机游走模型和图排序模型的半监督学习措施，实现跨领域的倾向性分析；使用网络压缩编码理论，提出基于网络构造关系最优压缩表达的新型群体关系度量措施，对多关系明显性进行度量。在跨物理与网络空间感知数据的协同计算与理解方面,针对二元空间信息的跨时空关联特性,通过二元空间信息的实体与事件抽象,探讨以实体-事件为核心的关联构造中关系类别与动态变化，建立环绕特定目的或事件主题的跨时空信息关联;运用序列关联、交叉关联以及协同窗习等技

35、术，实现实体对象、行为与关系在二元空间中信息属性、状态和功能角色的互发现、语义互操作的协同互动感知机制；结合矩阵、张量和图等数据构造，建立在二元空间中反映同一实体对象的多种属性之间的关联关系，实现社会实体及其所在群体之间的互发现机制，进而对二元协同的社会网络进行挖掘;基于动力学理论分析各类感知信息的时序关联和动态演化规律，建立合适的记录量化指标和记录学习模型，对重要事件的成长过程进行全局性的建模与评判，对异常态势进行预警。为了实现上述措施的建模，拟采用过去重大安全事件(如美国9.1恐怖袭击事件、伦敦暴力骚乱事件、西藏拉萨-打砸抢烧事件、新疆“.5”打砸抢烧严重暴力犯罪事件等）的历史数据(涉及视

36、频数据、网上有关事件来龙去脉的事实和评论数据等)并采集模拟敏感事件和人物活动的社会感知数据，运用机器学习和数据挖掘措施建立记录模型和知识库。在社会感知数据解决的集成与验证层次，建立支撑整个项目研究的公共数据资源平台和测评原则体系并向国际学术界免费共享,研究社会公共安全态势的时空立体可视化措施并建立社会公共安全感知验证系统。在数据资源建设方面，考虑在物理空间试点一种都市或特殊场合的安全敏感区域，部署100个以上的安全监测终端(涉及在公路、商业街、银行、车站、社区的固定探头和地铁、公交、巡逻车上的移动探头）,建设大范畴监控场景的跨摄像机实时监控实验平台，采集海量规模的多通道真实视频数据流作为实验数

37、据库；在网络空间通过爬虫技术采集论坛、博客、微博等网站的实际跨媒体数据作为社会舆情分析的实验数据库，并通过物理和网络空间感知数据库的关联性设计为二元空间协同感知研究提供数据基本。在可视化方面，构建多尺度社会感知数据呈现的语义金字塔模型,提供类似于GoleEarth的由粗到精的可视化决策支持界面。通过海量公共安全情报的语义聚合形成最高层的全局性安全态势图,同步面向公共安全主题有序组织关联情报线索，通过时空演进的可视化模式描述重大安全事件的来龙去脉。3. 创新点与国内外类似研究相比,本项目学术思想、研究方案与技术路线的创新点和特色重要体目前:l 二元协同感知：物理空间和网络空间的协同感知鲜有研究，

38、更没有形成系统性的理论和措施体系。本项目统一物理空间和网络空间的社会感知数据进行社会公共安全态势分析与监控，并对有关的感知数据分析与理解、跨空间的信息协同与互动机制及全局态势评估与预测进行全面进一步的理论措施研究,在研究体系上具有鲜明的特色。l 鲁棒构造学习:在跨媒体数据的统一体现和机器学习方面，不同于老式跨媒体研究中忽视了数据之间的构造信息，我们提出基于鲁棒构造学习的海量跨媒体感知学习理论和措施。同步,考虑社会感知数据的动态特性,提出面向跨媒体数据序列分析与预测的动态鲁棒构造学习理论与措施。l 积极视觉组网：应对大范畴和动态变化安全监控任务需求,本项目提出具有自主智能的自组织、积极式的视觉感

39、知网络,针对安全监控任务需求自适应组织局域视觉感知节点形成动态感知联盟,使动态的监控任务和泛在的摄像头资源之间形成有序对接，这从主线上有别于老式的多摄像机视觉监控,有望提高分布式摄像头网络的运用效率和监控效果。l 场景语义辨认:基于分布式摄像机网络的多摄像机场景分析与关联,跨摄像机目的检测、辨认与跟踪,群体属性和行为分析,场景中的文字内容辨认,以及基于多摄像机监控目的、行为、群体和文字内容的事件检测与辨认对公共安全监控具有重要意义，也是本项目不同于以往研究的一种创新点。l 多源特性分析:在网络数据倾向性分析和事件检测方面,我们充足运用跨媒体感知数据从多视角提取面向公共安全需求的特性:从文本、图

40、形符号、图像、视频等多媒体数据中提取涉及时间、地点、人物、时序、关系等方面的特性,从而提高话题倾向和事件检测的可靠性。与目前重要依赖文本数据的措施相比,本项目的思想具有创新性。l 时空全局融合:本项目对二元空间的协同感知从公共安全重要事件监测任务出发,从二元空间的特性、实体、行为和关系的关联与语义互操作、互发现机制，事件的协同演化到事件的大范畴时空全局态势分析与预测开展系统的理论与措施研究,实现二元空间协同的身份、群体和社会关系发现与验证以及公共安全事件的大范畴时空全局态势分析与预警。这些也是本项目在技术途径上的一大特点。4.可行性分析对本项目拟定的研究目的、研究内容、研究方案和技术途径我们均

41、有过进一步细致的研讨与思考,我们觉得总体上是合理可行的。下面从基本设施、研究基本、研究队伍、工作条件等几种方面做些进一步的分析。一方面,国内互联网基本设施比较完备,中国网民规模已经达到7亿(底）,网上门户网站、论坛、博客、微博等已成为社会信息传播的重要媒体。为了建设“平安都市”,国内在各地装备了数千万的监控摄像头,这为基于摄像头网络的大范畴社会数据感知和公共安全监控提供了良好的物质基本。研究基本方面,国内在视觉计算、网络数据挖掘、机器学习等有关领域的基本研究和技术创新水平离国际前沿越来越接近，特别在视觉目的记别、行为分析和文字辨认、生物特性辨认、网络搜索引擎和大规模网络数据挖掘的数据积累和计算

42、平台方面已有较好的基本。本项目的研究骨干涉及中国科学院和清华大学从事计算机视觉、模式辨认和网络数据挖掘的优秀人才，她们的研究成果在本学科领域内的国际顶级刊物（如IEEErans. PA, Int. J. CouterVision，IEEETrs Multiedia等）和顶级会议(如CPR,CCV， C Multieia， SIGKDD)上刊登并产生了广泛的学术影响。在部分方向，她们的工作处在国际领先地位（如视觉计算理论、图像目的检测、生物特性辨认、文字图像辨认、大规模文本挖掘等)。她们研究开发的智能视频监控、生物特性辨认和网络数据挖掘技术在国家和公共安全领域已经得到实际应用并发挥了重要作用。本

43、项目组的重要成员持续参与或主持了十五和十一五期间的9筹划项目(如主持了十一五期间的973项目“数字内容理解的理论与措施”)，在项目的组织、管理和科研协调方面具有丰富的经验。本项目的研究依托模式辨认国家重点实验室、清华信息科学与技术国家实验室、中科院计算所网络内容安全技术国家工程实验室等重点研究机构,有着良好的学术氛围、科研环境、数据资源和国内外学术联系。本项目以物理空间和网络空间的社会感知数据为研究对象，以建立复杂感知数据高效解决的理论与措施为科学目的，分别从三个层次,环绕三个核心科学问题,研究五个方面的重要内容。有关课题的技术方案建立在充足调研和技术储藏的基本上,具有较好的可行性。5. 课题

44、设立环绕项目的总体目的、三个核心科学问题和重要研究内容,按照“总体研究思路”部分所论述的学术思想、研究方案和技术路线，我们拟按社会感知数据解决的基本理论、社会感知数据的计算与理解、社会感知数据解决的集成与验证三个层次设立五个课题。其中基本理论层次的一种课题重要环绕跨媒体社会感知数据的认知机理和计算理论这个共性基本问题展开研究;计算与理解层次的三个课题分别环绕跨场景复杂视觉数据的分析与理解、跨媒体复杂网络数据的分析与理解、跨物理与网络空间感知数据的协同计算与理解这三个核心科学问题展开研究;集成与验证层次的一种课题重要为整个项目研究提供数据资源和实验平台,并集成有关技术建立示范验证平台。五个课题间

45、的联系见图1所示。课题1为本项目的社会感知数据解决提供共性理论基本,为其她四个课题提供理论和措施指引。课题2重要研究物理空间感知数据分析与理解的措施和算法,课题3重要研究网络空间感知数据分析与理解的措施和算法。课题4重要研究物理空间和网络空间感知数据的协同解决，为本项目的应用目的公共安全监控,提供全面的态势评估措施。课题4要用到课题2和课题3的算法或中间成果。同步,前面四个课题的算法在课题5中集成完毕社会感知数据解决和安全监控预警的验证与可视化。另一方面，课题5为前面四个课题的研究提供数据资源和实验平台。因此，这五个课题无论从逻辑关系还是研究内容上都是高度关联,构成有机一体。图1 五个课题间的

46、联系课题1：社会感知数据解决的基本理论研究目的:为社会感知数据的高效解决、语义理解与融合提供认知机理与计算理论基本，提出文本、图像、视频等跨媒体多模态感知数据的统一体现模型与度量措施，面向动态跨媒体社会感知数据解决的机器学习理论与措施以及面向公共安全的知识表达与建模措施。研究内容: 社会感知数据的认知特性及其整合机制。摸索跨媒体多模态数据的人脑认知加工机制,涉及场景中的文字内容的认知理解,视听觉信息的认知整合,短期感知记忆对人脑多感官语义整合的影响，视觉皮层中物体表达及听觉信息解决的神经机制等。 多源异构数据的测度学习理论。研究多源异构数据的关联机制、自适应关联模型和统一表达，多源异构数据距离

47、测度学习措施,社会感知数据到高层语义空间的多层次、多粒度映射关系,针对海量数据解决的近似或迅速计算措施等。 社会感知数据的构造表达与学习理论。研究社会感知数据的构造化表达,基于时空变化的动态鲁棒构造学习，多源异构数据的构造关联与构造融合，多任务场景下的协同窗习措施和高效的优化推理算法等。 社会感知数据解决的知识表达、获取与度量理论与措施。研究社会感知领域知识的多层次、多粒度知识表达框架与表达措施,社会感知数据中的自动知识获取措施，基于大规模知识框架的信息度量理论与措施等。承当单位：清华大学、中国科学院自动化研究所课题负责人:朱小燕经费比例:2课题2：物理空间感知数据的计算与理解研究目的：充足运

48、用物理空间泛在的摄像机网络资源,实现社会公共安全主题中场景、目的、行为、事件、关系等语义内容的自组织积极感知和跨摄像机场景分析、事件态势分析与社会关系分析,并将海量复杂的跨场景视觉感知数据约简为面向公共安全的情报与知识。研究内容： 多摄像机网络自组织视觉感知。运用泛在分布式摄像机网络节点之间的关联，通过摄像机终端的局部视觉感知和知识引导,自动搜索和选择感知节点集合构建自组织的视觉监控网络，并运用该网络的记录特性来推知运动目的的意图。 多摄像机大范畴动态场景建模与理解。研究面向大范畴动态场景的高精度三维重建，运动目的的跨摄像机、多视角检测与跟踪,结合场景动态建模和多目的跟踪的大范畴动态场景高层语

49、义理解与融合,面向大范畴动态场景理解的图语法学习和因果推理算法等。 泛在视觉感知环境下的群体行为分析。研究泛在视觉感知环境下的汇集群体发现、人群规模和密度估计，人群属性、行为和标语文字内容辨认,群体交互和行为特性的体现和建模措施、群体行为类型辨认措施，大规模群体事件的检测和辨认措施等。 基于分布式视频监控数据的社会网络分析。研究物理空间视频监控数据中敏动人物和车辆的辨认和跨场景跟踪,敏动人群行为关系的类型、强度和动态更新过程建模，敏动人物的社会关系网挖掘和危险行为预警。承当单位：中国科学院自动获取研究所、北京邮电大学课题负责人:刘成林经费比例：1%课题3:网络空间感知数据的计算与理解研究目的:

50、研究对海量多源异构的跨媒体复杂网络数据进行精确分析和计算的措施，面向社会公共安全从网络跨媒体数据自动捕获关系公共安全的苗头性、敏感性、倾向性的网络舆情信息，及时发现关系社会公共安全的话题、群体、关系、事件等，并为物理空间的自组织积极视觉感知提供知识引导,将海量复杂的跨媒体网络感知数据约简为面向公共安全的情报与知识。研究内容： 网络空间社会感知数据的积极获取。研究面向新闻、论坛、博客、微博、社交网络等多通道网络信息的积极采集技术，Dep Web动态网页的采集与解析还原技术，网页构造化特性抽取技术，面向海量多通道网络信息的分布式、可扩展的高性能获取体系架构。 网络空间突发事件发现与演化分析。研究海

51、量信息的迅速话题发现和增量更新措施,基于时域分析的网络空间突发事件发现措施,网络信息交流的动力学扩散特性、传播机制和事件源头发现，事件的多视角、多尺度演化规律和发展趋势预测模型。 跨媒体网络数据的倾向性分析。从不同媒体数据中提取体现倾向性的特性,研究面向网络空间感知的观点信息构造化表达模型,分析倾向性的主客观性和领域差别性，研究跨领域倾向性分析,多立场、多视角倾向性分析,观点信息的时域、空域动态变化趋势等。 网络空间的复杂群体关系挖掘。研究社区构造的明显性度量措施,发现重叠的、可以反映消息动态传播汇集性质的社区构造;研究基于多尺度异构关系的网络群体发现措施;分析网络空间中对象之间的多元异构关联

52、关系，辨认特定群体的核心对象。承当单位：中国科学院计算技术研究所、中国科学院自动化研究所课题负责人:陈一昕经费比例：1课题4:物理与网络空间的协同感知研究目的：社会公共安全态势和事件线索往往同步存在于物理空间和网络空间,并且在二元空间中互相影响。本课题旨在实现物理空间和网络空间的信息交互、协同与融合,建立二元空间协同感知、积极调制的立体化社会感知与预警模式，研究二元空间的复杂关联特性表征与协同互动感知机制，实现二元空间协同的实体和社会群体发掘与关联分析、公共安全事件跨时空全局态势分析与预测。研究内容: 物理空间与网络空间的复杂关联发现与建模。研究二元空间多媒体数据在语义体现上的共有性与互补性,

53、建立跨媒体数据的语义关联;通过二元空间信息的实体与事件抽象及多层次关联特性，建立环绕特定目的或事件主题的跨时空信息关联模型。 物理空间与网络空间的协同互动感知机制。基于公共安全领域知识，建立二元空间协同互动感知的统一语义模型;探讨二元空间中实体对象或事件的信息属性、状态与角色的互发现机制,实现特定目的或语义主题有关的积极信息感知、发现与跟踪。 二元空间协同的社会群体发掘与关系分析。充足考虑物理空间中生物特性数据与网络空间中的顾客行为数据（个人主页、照片、writprnt、社会关系等)的关联性与互补性,建立社会实体和关系的跨空间映射关系,实现二元空间实体和社会关系的互发现、协同辨认与验证。 基于

54、二元空间协同的全局态势分析与预测。研究跨空间社会感知数据的语义集成措施，建立以实体关系事件为核心的语义描述体系;研究二元空间信息协同的全局态势评估与预测模型，对重要安全事件在二元空间中的演化过程进行全局性建模与评判,对异常态势进行预警。承当单位：中国科学院自动化研究所、北京交通大学、南京邮电大学课题负责人:徐常胜经费比例:16%课题5:社会感知数据解决的公共平台和验证系统研究目的:本课题为前面四个课题的研究提供公共数据资源和实验平台支撑，面向公共安全应用研究人机交互可视界面技术,并在集成项目成果的基本上建设示范验证系统;同步，作为整个项目的总体组,研究社会感知数据解决的发展战略，把握学科发展方

55、向，保证科学合理的项目实行筹划。研究内容： 社会感知数据资源平台与测评原则体系建设。建设跨感知源、跨媒体、跨二元空间的大尺度、海量规模、具有代表性的社会感知数据资源和实验验证平台并向国际学术界免费共享,并制定社会感知数据解决性能测评认证的指标体系和技术原则。 社会公共安全态势的可视化。面向公共安全决策支持需求，研究大尺度（跨场景、跨媒体和跨空间）海量社会感知数据的可视融合措施，并通过智能可视分析在二元协同感知层次挖掘和提炼多粒度、多视角的可视化公共安全情报。 面向公共安全的社会感知验证系统。集成本项目的研究成果,选择一种都市区域或特殊场合建设跨物理空间和网络空间的大尺度社会感知验证系统，通过物

56、理空间中固定探头和移动探头生成的实时视频流和网络空间的动态跨媒体数据，对社会安全态势进行协同监控和预警。 社会感知数据解决发展战略。作为本项目的总体组，研究社会感知数据解决的发展战略,把握学科发展方向,通过顶层设计有序协调组织各课题组的研究工作，保证科学合理的项目实行筹划。承当单位：中国科学院自动化研究所、中国移动通信集团公司、香港科技大学、清华大学课题负责人：谭铁牛经费比例:8%四、年度筹划研究内容预期目的第一年1. 研究视听觉信息的认知整合机制;2. 研究多源异构数据的关联机制、统一表达及测度学习；3. 研究动态场景中的不变性特性提取匹配及多视点三维建模;4. 研究视觉场景中人群发现属性分

57、类和标语文字辨认;5. 研究多通道网络信息的积极采集措施和体系架构；6. 研究网页构造化特性自动化抽取和观点信息过滤措施；7. 研究二元空间中不同媒体数据联合语义建模；8. 研究二元空间的复杂关系挖掘与发现；9. 二元协同感知数据获取平台建设；10. 社会感知发展战略研究及社会感知验证系统需求分析。1. 揭示人脑对多感官视听觉信息的认知整合过程,建立生态不有关视听觉信息的认知整合模型；2. 初步建立多源异构数据的统一表达的理论框架；3. 提出合用于大场景的鲁棒不变性特性提取与匹配措施和高精度稠密重建措施;4. 提出和实现人群发现、属性分类和标语文字迅速定位与辨认措施；5. 提出和实现多通道网络

58、信息的积极化采集措施;6. 提出半监督的网页构造化特性抽取措施和观点信息过滤措施;7. 建立多媒体信息融合的媒体对象语义分析模型和跨媒体数据的语义关联模型；8. 建立异构媒体间信息传播模型，实现跨异质媒体的信息有效传递;9. 建成大规模的社会感知数据资源平台，涉及物理空间00路以上摄像机视频监控数据和网络空间00个以上论坛、博客、微博的社会感知数据；10. 制定社会感知数据解决学科的发展战略,顶层设计二元协同社会感知应用系统的技术架构。第二年1. 研究多模态静态和动态数据的融合理论和措施；2. 融合既有知识表达框架的元素，提出一种新的知识表达体系；3. 研究摄像机网络中运动轨迹聚类算法和运动目

59、的跨摄像机跟踪；4. 研究基于图像特性的敏动人物和车辆的辨认与跟踪；5. 研究面向网络空间感知的观点信息构造化表达模型和跨领域倾向性分析；6. 研究海量信息的迅速话题发现和增量更新措施及网络突发事件发现措施；7. 研究二元空间协同互动感知特性与模型体现以及特定对象或事件的积极发现与互验证机制;8. 分析与特定目的或语义主题有关的媒体信息感知与跟踪；9. 大范畴物理空间社会安全态势的可视化措施研究；10. 跨场景物理空间社会感知数据解决的原则化研究;1. 完毕基于单个节点的多模态数据构造学习和融合的研究，提出提取关联特性和清除冗余的措施;2. 实现知识表达体系的软件系统，得到原始数据资源库3个（

60、每个超百万条记录);3. 实现摄像机网络活动节点的精确检测措施,提出跨摄像机的运动目的检测和持续跟踪措施;4. 实现基于生物特性的敏动人物辨认和基于车牌、车型的车辆辨认与跟踪；5. 提出基于概率图模型的倾向性观点构造化建模措施和鲁棒的跨领域文本倾向性分析措施；6. 提出基于时域分析的网络突发话题检测措施；7. 实现实体对象、行为与关系在二元空间中互发现、语义互操作的协同互动感知机制;8. 建立环绕特定目的或事件主题的跨时空信息关联模型，实现积极信息感知、发现与跟踪;9. 提出大范畴物理世界安全态势可视化的新措施，实现可视化人机交互界面；10. 提出跨场景物理空间社会感知解决的测评技术原则。第三

61、年1. 研究短期感知记忆对人脑多感官语义整合的影响；2. 研究社会感知数据到高层语义空间的多层次、多粒度关系映射;3. 研究人与环境交互事件建模的图语法,群体交互行为建模与辨认;4. 研究大场景重建中的高阶能量函数优化措施和多目的、群体目的的检测措施；5. 研究网络事件的动力学扩散特性和传播机制，观点信息的时域、空域动态变化趋势；6. 研究多层次社区构造的明显性度量措施;7. 研究二元空间中顾客身份特性、行为的关联性与互补性;8. 研究二元空间协同的社会群体发掘和社会关系；9. 网络空间社会安全态势的可视化措施研究；10. 网络空间社会感知数据解决的原则化研究。1. 建立短期感知记忆对人脑多感

62、官整合过程影响的模型;2. 完毕社会感知数据到语义特性之间的映射机理研究，实现多层次，多粒度映射机制;3. 建立基于图语法的场景和交互行为辨认框架；4. 实现三维场景建模的高阶能量函数优化,解决多目的和群体目的的检测问题;5. 提出网络事件的时序分析措施；6. 提出多尺度异构关系度量和社区发现措施,实现多关系网络群体的有效检测;7. 建立二元空间中顾客行为的关联性模型;8. 建立社会实体和关系的跨空间映射关系，实现二元空间实体和社会关系的互发现、协同辨认与验证;9. 实现跨媒体网络感知数据的融合可视分析；10. 提出跨媒体网络空间社会感知数据解决的测评技术原则;11. 组织整个73项目的中期总

63、结研讨会。第四年1. 研究多任务场景下的协同窗习和构造学习理论与措施;2. 研究针对海量数据解决的近似或迅速计算措施；3. 研究多摄像机自组织网络整体数学模型;4. 研究多目的和群体目的的跨摄像机接力跟踪和大规模群体性事件的检测；5. 研究多粒度观点信息鉴别技术和跨媒体倾向性分析措施；6. 研究二元空间对象之间的映射关系,辨认群体内的核心对象;7. 研究跨空间社会感知数据的语义集成措施；8. 研究二元空间协同的全局态势分析与预测模型；9. 研究二元空间协同感知数据的可视化措施;10. 二元空间协同感知的原则化研究。1. 提出多任务场景下的协同窗习和构造学习措施;2. 针对海量数据，完毕测度学习

64、和构造学习的大规模迅速近似算法；3. 实现多摄像机自组织网络原型系统；4. 基于贝叶斯推理框架实现对跨场景群体目的接力跟踪;提出基于时空关联的大规模群体事件检测算法;5. 提出和实现多粒度的观点倾向性分析措施;6. 提出虚实结合的对象重要度计算措施，有效挖掘网络群体的核心角色;7. 实现对二元空间事件集合的语义体现；8. 建立二元空间协同的全局态势预测模型和二元空间协同感知的大规模验证数据库;9. 提出和实现二元空间安全态势可视化的新措施；10. 提出二元空间社会感知数据解决的测评技术原则。第五年1. 研究层次化的视听觉信息表达框架在物体辨认、视频分析中的应用;2. 构建面向公共安全的大规模知识库，开发基于新度量措施和资源的创新应用;3. 研究视频场景体现的统一