大数据时代,软件体系结构的研究已显得尤为迫切。受软件体系结构的局限,信息技术领域长期存在的问题在大数据时代愈发突出:系统间的信息难以共享;已建系统的功能扩展困难;海量、异构、多源、动态、实时变化和爆发式增长的大数据难管理,难分析,难挖掘;面向业务的软件工程开发过程复杂,维护困难,生命周期短;信息安全关系到国家安全、社会稳定、企业利益和个人隐私,在互联网开放环境下,问题更为突出;数据提供者的利益得不到保障等。

本页面主要目录有关于doa的:基本介绍等介绍

中文名

面向数据的体系结构

外文名

DOA,Data Oriented Architecture

推出时间

2012年

提出者

苗放教授

简介

面向数据的体系结构(DOA),采用“面向数据和以数据为核心”的思想,通过数据注册中心(DRC)、数据权限中心(DAC)和数据异常中心(DEC)统一定义数据、管理数据和提供数据服务;通过数据应用单元(DAUs)对各种应用进行管理和服务,建立一种数据大平台与碎片化应用的数据生态系统,为构建大数据时代从数据保护到授权应用 整套机制的软件体系结构进行有益的探索。

基本介绍

面向数据的体系结构(DOA,Data Oriented Architecture),建立在云计算的硬件架构之上,采用“面向数据和以数据为核心”的思想,通过数据注册中心(DRC,Data Register Center),数据权限中心(DAC, Data Authority Center),数据异常控 制中心(DEC, DataException Control Center)来统一定义数据、管理数据和提供 数据服务,通过数据应用单元(DAUs, Data Application Units)对各种应用进行管理和服务,建立一种数据大平台与碎片化应用的数据生态系统,构建起从数据保护到授权应用的整套机制,为有效解决大数据时代所面临软件体系结构的问题提供基础理论和方法技术支撑。

以上表述的数据是大数据时代下的广义数据,是真实世界映射成虚拟世界的各种类型的数据,应用则是由政府、企业和个人在互联网和移动互联网中随时随地、随心随意的各种需求产生出的碎片化和个性化的应用。数据生态系统可以简单形象地比喻为“肥沃的数据土壤上生长着茂盛的应用森林”。理解为:将不断积累和丰富的各种数据定义为数据土壤,那么建立在数据之上的各种碎片化、个性化和不断增长的应用则是应用森林。应用森林中的某一棵应用之树是具有生命周期的,可能会被淘汰或死亡,但整个森林是生态的、枝繁叶茂的和可持续发展的。

一个生态系统的好坏取决于这个生态系统的构成和运行机制,而面向数据的软件体系结构(DOA)就是探索一种解决数据与应用之间自生长、自适应、自管理和可持续发展的机制,也包括数据的安全机制和应用中数据的授权使用机制。

数据注册中心(DRC),是 DOA 的核心部件,通过它来构建逻辑的数据资源池,并管理数据和提供数据服务。DRC 按照统一标准进行设计,可以将各个 行业或不同规模的 DRC 进行互联和关联,从而可以构成更大规模的 DOA 系统。

数据权限中心(DAC),是 DOA 的关键部件,对数据的安全存储、传输及应用授权进行管理。对数据实行“天生加密、授权使用”的机制,将数据分成存储和传输时保持加密的“数据态”和在应用中授权使用时解密的“应用态”,充分保证数据的安全及使用的授权。

数据异常控制中心(DEC),是 DOA 的重要部件,对数据资源池进行自适应管理,也是数据生态系统的主要构成。

数据应用单元(DAUs),是 DOA 的关键部件,关联应用对数据的访问,对各种应用提供支持。类似于构件系统,在数据资源池之上,以模块和积木方式提供应用程序接口(API,Application Programming Interface),供应用系统直接调用,可以由易到难,由简到繁地构建生态的应用系统。

doa

意义

李国杰院士在关于大数据应用与研究所面临的问题与挑战中指出,大数据时代,“需要考虑对整个 IT 架构进行革命性的重构”。广义上讲,革命指推动事物发生根本性变革,引起事物从旧制到新制的飞跃。我们认为 IT 架构的革命性重构应该从硬件和软件两个方面来考虑。云计算已经较好地解决了硬件方面的问题,并且为软件方面的革命性重构奠定了重要基础。但软件方面,在软件的体系结构上,目前还没有很好的解决方案。受软件体系结构的局限,信息技术领域长期存在的问题在大数据时代愈发突出:

(1)信息共享。经过数十年来信息技术发展和信息化应用的积累,政府部门和企业中建立的各种业务信息系统越来越多。但这些系统间很难实现信息共享,甚至新建的信息系统也难以和其他系统共享信息。信息“孤岛”和信息“烟囱”现象普遍存在,而且问题越来越严重。采用“接口”和“信息交换平台”或“数据交换平台”等方案,不能从根本上解决问题。

(2)系统扩展。信息系统建设完成后,应用需求发生变化就要重新修改代码才能实现功能更改,造成应用信息系统对软件开发者的依赖。一旦需求变化成为常态,系统的功能扩展问题就变得非常突出。

(3)数据管理。过去的信息系统涉及的多是结构化数据,通过关系型数据库管理系统(RDBMS, Relational Data Base Management System)就能很好地对数据进行管理。现在面临的大数据具有海量、异构、多源、动态、实时变化和爆发式增长的特点,数据来源多样,种类繁多,动态变化,包括来自物联网的物理空间数据,社交网络的网络空间数据等,至今没有统一的数据定义和管理办法。

(4)大数据分析和挖掘支持。大数据需要通过处理、分析和挖掘才能产生价值,才能为决策提供支持。但目前对具有上述特点的大数据缺乏符合数据密集 型模式的数据管理机制和平台,因而对大数据的处理、分析和挖掘难以获得具有持续、全面、科学和客观的大数据分析和挖掘结果。

(5)软件工程。传统的面向业务的软件开发过程复杂,开发和维护成本高,无法应对处于常态的业务应用需求变更,软件生命周期短,更新、淘汰和重新开发带来的投入大。在互联网和移动互联网时代,强调一切业务数据化,就意味着要采集、记录、存储和管理一切业务过程中产生的数据,这对于需求分析、数据模型和业务应用等,都充满了不确定性,也和传统的软件开发中要尽量有一个稳定、明确的需求正好相反,这给传统的面向业务的软件工程带来了严峻的挑战。

(6)信息安全。信息安全涉及国家安全、社会稳定、企业利益和个人隐私。传统的信息安全多是封闭环境下的信息安全,强调的是网络安全、系统安全和应用安全。在信息安全上,我国采用的是分级保护和等级保护的信息安全制度。传统的数据安全,多强调的是数据中心的安全,虽然有备份、灾备等技术保障数据的安全,但还存在着越权访问等数据泄露隐患。在云计算、互联网和移动互联网应用以及大数据时代下,环境更为开放,对数据安全的要求更高,给信息安全带来了更为严峻的挑战。所以,信息安全除了网络安全和系统安全保障之外,在安全的软件体系结构和安全的数据保护机制等方面还要有更深入的研究。

(7)数据提供者利益保障。在大数据时代,以数据建设和提供信息(数据)服务的企业和部门越来越多,对这类数据提供者的利益保护愈发重要。但由于信息具有易复制、易传输、难保护的特点,现有的技术体系缺乏对数据保护和授权使用的机制,不足以保障数据提供者的利益,不利于这类企业或部门的发展。

目标

针对软件体系结构的局限导致信息技术领域长期存在且在大数据时代愈发突出的一系列问题,采用“面向数据和以数据为核心”的思想,提出并设计一种面向数据的软件体系结构( DOA, Data-Oriented Architecture),为建立一种数据大平台与碎片化应用的数据生态系统的构建机制,为从数据保护到数据授权应用的全过程管理,为有效解决大数据时代所面临的软件体系结构问题,提供基础理论和方法技术支撑。

主要内容

DOA 主要包括以下内容:面向数据的体系结构的机制、面向数据的体系结构的组成、数据注册中心的机制、数据权限中心的机制、数据异常控制中心的机制、数据应用单元的机制等。

(1)面向数据的体系结构的机制

包括:面向数据和以数据为核心的指导思想;大数据时代对体系结构的需求;数据的定义和分类;数据的载体及与云计算的关系;数据生态系统的含义及 DOA作用; DOA 与数据和应用的关系; DOA 对数据的管理和服务模式; DOA 与应用的业务逻辑和数据逻辑关系; DOA 下数据安全的基本原理;等。面向数据和以数据为核心的指导思想。数据是有生命的,具有生命周期,生命过程需要全记录。数据是有属性的,具有安全属性、身份属性、时间和空间属性。数据要天生加密,穿戴盔甲,加密呈现,具有不同的加密级别和深度。数据是独立于系统的,数据是应用的基础,不依赖于特定的硬件环境和软件环境。同一数据可以支撑不同的应用。数据的访问和应用是基于授权的,特定的访问者,特定的场合(环境),特定的时间(时段),数据的使用和用户适合于网络安全的授权、认证和计帐( AAA, Authorization, Authentication, Accounting)机制。数据是加密存储与传输的(数据态),授权后解密使用(应用态)。数据系统是生态的,变化和发展的,是可持续发展的,自生长、自管理、自适应的。虚拟世界由数据组成,是真实世界的映射。建立数据生态系统,就要面向数据和一切以数据为核心。数据生态系统包括生态的各种应用,是“肥沃的数据土壤上生长着茂盛的应用森林”。数据生态系统需要构建逻辑的数据资源池,支持数据大平台与碎片化和不断增长的应用,支持数据共享和系统可扩展。基于数据:一切可测,一切可联,一切可操作,一切可实现。

大数据时代对体系结构的需求。大数据时代,我们从信息技术(IT,Information Technology)时代来到了数据技术( DT, Data Technology)时代。从关注技术(T)到关注信息(I),再到关注数据(D)。信息是因人而异的,是功利性的、利己的,强调的是我,信息技术是为自己的;数据具有普适性,可以产生信息,是公益性的、利他的,强调的是我们,数据技术是为大家的。马云提出,人类已经从 IT 时代走向 DT 时代, IT 时代是以自我控制、自我管理为主,而DT时代,它是以服务大众、激发生产力为主的技术。数据技术包括信息技术,数据技术范围更广,内涵更丰富;信息技术更具体,针对性更强。数据系统包括信息系统,信息系统是数据系统的子集。云计算为数据技术时代的到来提供了可能:云存储具有几乎无限的海量数据存储能力。数据技术时代,需要新的世界观,即数据世界观,数据安全观。数据技术时代,也就是大数据时代,需要相适应的软件体系结构,支持数据安全,支持一切业务数据化,管理海量、异构、复杂、变化和爆发式增长的大数据,并提供挖掘有价值信息的支持。现有系统架构大都是小数据时代遗留和发展的技术架构,现有安全体系也是建立在小数据时代技术架构之上的。以信息技术(小数据时代)发展而来的技术和信息安全技术,不能适应大数据时代的要求。 Hadoop、MapReduce 等技术,只解决了大数据的静态和量大的一部分问题。需要重新审视数据,站在数据的角度审视技术、架构、安全体系。

数据的定义和分类。百度百科和维基百科分别给出的“数据”定义是: “数据就是数值,也就是我们通过观察、实验或计算得出的结果。数据有很多种,最简单的就是数字。数据也可以是文字、图像、声音等。数据可以用于科学研究、设计、查证等”, “数据,或称资料,指描述事物的符号记录,是可定义为意义的实体,它涉及到事物的存在形式。它是关于事件之一组离散且客观的事实描述,是构成信息和知识的原始材料。数据可分为模拟数据和数字数据两大类。数据指计算机加工的‘原料’,如图形、声音、文字、数、字符和符号等”。我们研究的大数据时代的数据是广义数据:就是真实世界映射成虚拟世界的内容。除了我们理解的计算机可以直接处理的数据外,还可以是能被注册的各类事物:如设备,服务,APP,人,物等。这就需要研究大数据时代下的数据定义或广义数据定义。可以从不同角度来分类数据:结构化/非结构化数据,关系型数据库/NoSQL,动态数据/静态数据,变化的数据/历史数据,简单数据/复杂数据,自有数据/共享数据/公开数据,不断变化和不断积累增长的大数据,等。

数据的载体及与云计算的关系。云计算可以从弹性计算和存储服务两个方面来划分类型,典型如亚马逊的弹性计算云( EC2, Elastic Compute Cloud)和简单存储服务(S3, Simple Storage Service)。在架构上习惯上分为基础设施作为服务(IaaS, Infrastructure as a Service)、平台作为服务(PaaS, Platform as a Service)和软件作为服务(SaaS,Software as a Service)三层,本质上云计算就是云服务,但还应有数据作为服务(DaaS, Data as a Service)这重要的一层。从数据角度,云计算更多是数据的存储服务,是 IaaS 和DaaS,通过分布式和虚拟化技术,将基础设施与数据融为一体( I+D, Infrastructure plus Data),为终端用户提供弹性的、可计量的、个性化的数据和计算服务,可以简称“云”。一切皆在云中,包括所有的基础设施,如网络、服务器、存储设备等,更重要的是包括所有的数据,网络世界和物理世界的数据等。以数据为内容定义云,可以分为存储云、网络云和物理云。存储云数据举例:基础数据,影像数据,历史数据,行业数据等;网络云数据举例: QQ,微信,百度,博客,短信,淘宝,电子邮件, APP 软件等;物理云数据举例:雨量,温度,视频,PM2.5,交通流量,设备,人员等。数据生态系统的含义及 DOA 作用。数据生态系统,是“肥沃的数据土壤上生长着茂盛的应用森林”, DOA 是数据与应用之间可持续发展的关系描述。一个数据生态系统能够成立,关键是要建立一种有效的作用机制,这就是面向数据的体系结构(DOA)。 DOA, “是一个信息系统的体系结构,针对任何数据类型,基于云服务的概念,与具体的硬件平台和软件系统无关,通过以数据为核心和面向数据的理念来建立构建复杂信息系统的机制,以数据标识作为数据的识别和定位标记,建立数据的分类体系和访问权限,通过数据注册和登记中心实现数据的管理和交换,通过建立数据-DOA平台-应用架构图各种数据功能单元,可以由简到繁、由易到难地构建复杂应用系统,实现多系统间的数据共享、访问和协同”。DOA 与数据和应用的关系。人类通过包含计算机网络在内的计算机硬件和软件系统建立了虚拟世界,通过虚拟世界去认识、建设、改造和适应真实世界,于是产生了大量的数据和各种应用。 DOA 就是建立在云计算支撑的数据和各种应用之间的、分别可以对数据和应用进行管理和服务的一种机制、一个平台,形成一个以这种机制和平台的相对不变来应对数据和应用万变的数据和应用的生态系统。这种关系和机制,也可以实现从实时数据到实时应用的支持。数据、DOA 平台和应用所构成的三层架构如右图所示。

DOA 对数据的管理和服务模式。 DOA 面对的数据是广义数据。要对广义数据进行管理和服务,首先要解决对各种类型数据的统一标识和管理问题。其次,要考虑数据的价值保护,要对数据进行属性管理,对数据进行权限和授权管理。再次,在分布式应用和有数据冗余的情况下,要考虑数据的一致性问题。据此提出数据注册中心( DRC)、数据权限中心( DAC)和数据异常控制中心( DEC),互相配合实现对各种类型数据的统一管理,并为应用提供数据服务。

DOA 与应用的业务逻辑和数据逻辑关系。传统的应用信息系统构建逻辑大都是面向业务的逻辑,即根据需求,按照业务流程进行需求分析,就事论事地对系统进行设计和开发。按照业务逻辑,要求信息处理流程、数据结构等都按照业务过程的要求进行设计,好处是信息流程与业务流程比较一致,但缺点是,在今后一旦业务流程发生变化,信息处理流程、数据结构等都要做相应的变化,给系统开发和维护带来不可预测的困难。 DOA 要求面向数据,即要将应用的业务逻辑转换为数据逻辑,这样,就要求将业务流程按照对数据资源池访问的周期梳理成一个个小的面向数据的流程,最后再将这些面向数据的流程整合成面向业务的流程,完成应用信息系统的开发。这样做的好处是一旦构建了数据资源池,构建面向数据的业务流程会比较便捷,而且业务流程发生变化,不会影响整个数据逻辑和数据流程,只需增加变化的部分或调整一些数据流程去适应新的变化即可。缺点是,要将业务逻辑转换为数据逻辑,需要做一个思想转变。

DOA 下数据安全的基本原理。传统的信息安全,首先是建立一个封闭和相对安全的环境,通过各种方式来保证这个封闭环境是安全的或可信的,但在这里面的数据却大多是“裸露”的。一旦有不速之客通过漏洞进入到这个环境, “裸露”的数据就面临着极大的危险。在互联网和云计算的开放环境下,按照这种封闭环境下的信息安全策略进行数据保护,将面临着极大的挑战。

DOA 是面向数据和以数据为核心的。数据是有属性的,具有安全属性、身份属性、时间属性和空间属性。要明确数据的主人、朋友和敌人。从数据角度考虑安全问题,要保证数据的完整性、机密性和可用性。数据要“天生加密,授权使用”。数据具有自保护功能,要穿戴盔甲,以加密方式呈现,具有不同的加密级别和深度。数据的使用要经过授权。数据具有两种状态:存储和传输时的“数据态”以及授权使用中的“应用态”。 “数据态”是加密状态, “应用态”是解密状态。一旦完成“应用”或离开了应用环境,数据应立即“变”为加密的“数据态”。 DOA 提供一种加解密机制和授权使用机制,使得数据在存储和传输时是不可访问和使用的,而经过授权的用户在访问数据或通过应用使用数据时,是透明的,即感觉不到数据的加密和解密过程。因此, DOA 下的数据安全策略是, “数据态”的数据,既适合于封闭环境,也适合于开放环境,而“应用态”的数据,仅适合于“封闭”环境。这样,数据安全问题就化解为数据加密和授权使用机制、数据自我保护和自动加解密机制、应用环境安全等几个关键问题了。

(2)面向数据的体系结构的组成

包括: DOA 的组成及完备性;数据注册中心( DRC)基本功能;数据权限中心( DAC)基本功能;数据异常控制中心( DEC)基本功能;数据应用单元( DAUs)的基本功能;面向数据的软件工程原理初步探索;等。

DOA 的组成及完备性。 DOA 是一种构建在云计算环境之上的软件体系结构,不涉及直接对具体硬件的控制和访问。作为协调数据和应用之间的关系以及构建数据生态系统的一种机制, DOA 应具有对广义数据进行全面管理和服务的功能,以及对各类应用进行全面管理和服务的功能。初步考虑的 DOA 组成包括:对广义和各类数据进行登记注册管理的数据注册中心( DRC),对数据进行授权、认证和计帐(授权及访问过程记录)管理的数据权限中心( DAC),对数据的一致性进行管理的数据异常控制中心( DEC),以及对各类应用进行管理、服务提供支持的数据应用单元( DAUs)。这些中心和应用单元,构成了 DOA 的基本框架,它们之间既相互独立,又相互关联,形成一个有机的整体。相互独立,体现在它们的任务和功能互不相同;相互关联,体现在它们之间的互为依赖。例如,DAC、 DEC 和 DAUs,都要依赖于 DRC。

数据注册中心(DRC)基本功能。数据注册中心对各种类型的数据和广义数据进行登记注册,形成逻辑的数据资源池,方便应用对数据的访问。其功能涉及但不限于:数据注册信息定义,数据属性信息,数据分类,元数据标准,元数据分类,不同类型数据的注册方法,数据索引,元数据索引,数据检索,广义数据模式识别,分布式部署,数据注册内容随需自适应机制,数据生成自动注册机制,历史数据注册与管理,等。

数据权限中心( DAC)基本功能。数据权限中心对数据进行权限管理,功能涉及但不限于:数据安全属性定义,数据合法性鉴别,数据访问权限定义,用户权限认证,应用授权,用户授权,数据授权与 PKI,计帐算法及机制,数据透明加解密机制,高效数据加解密算法等。

数据异常控制中心(DEC)基本功能。数据异常控制中心对分布式环境下有数据冗余时的数据一致性进行处理,功能涉及但不限于:数据维护,自适应管理,异常探测与处理,巡检,异常与冲突发现,同步处理,冗余处理,负载均衡等。数据应用单元( DAUs)的基本功能。数据应用单元是在数据资源池之上的一系列应用单元模块,针对应用管理和服务,通过类似于基于构件的软件开发模式( COA)的搭积木方式和应用程序接口( API, Application Programming Interface)调用,以“数据驱动应用”,快速满足用户的各种应用功能需求。其功能应根据各种具体应用的需求,涉及但不限于:根据不同数据类型提供不同功能的数据功能单元( DFU, Data Function Unit),以推送方式提供服务的数据服务单元( DSU,Data Service Unit),数据加解密单元( DEU, Data Encryption Unit),数据授权调用单元( DIU, Data Invocation Unit),数据应用组合单元( DCU, Data CombinationUnit),数据可视化单元( DVU, Data Visualization Unit),数据处理单元( DPU,Data Processing Unit),等。

面向数据的软件工程原理初步探索。面向数据的体系结构 DOA 为软件开发提供了新的方法。区别于传统的面向业务的软件工程,新的面向数据的软件工程具有新的活力。拟开展以下研究:具有生命周期的应用软件与数据生态系统的关系研究;业务逻辑转化为数据逻辑的开发过程研究;逻辑的数据资源池建设和运行维护机制研究;基于成长型数据生态系统的应用软件开发模式研究;基于DAUs 的面向数据的应用软件快速构建机制研究;已有系统的数据整合方法研究;等。

(3)数据注册中心(DRC)的机制

包括:数据注册内容定义及元数据标准;数据属性信息定义;数据分类及分类标准;数据注册方法;元数据索引和检索方法;广义数据模式识别;数据注册中心分布式部署模式;数据注册内容随需自适应机制;数据生成自动注册机制;历史数据注册与管理;等。

数据注册内容定义及元数据标准。广义数据包括云中存储的各种类型的数据,也包括互联网中传递的实时变化的数据,还包括物理世界存在的实体对象和状态所表征的数据,如果用云的概念来表达数据,就是存储云(数据)、网络云(数据)与物理云(数据)。对这些数据进行注册,就要针对这些数据的特征定义注册内容,最重要的是要指出这些数据的名称和存在的位置,作为统一管理数据的唯一标识。此外,还需要有数据的描述、数据的属性、数据的权限等内容。这些内容体现为元数据,需要制定统一的数据注册元数据标准。数据属性信息定义。数据具有属性,不同的数据具有不同的属性。数据都具有价值, DRC 需要管理数据的共性属性。例如,数据权人(数据主人),数据的生命周期,数据的权限,数据的状态,数据的性质,数据的合法性,数据的质量等。

数据分类及分类标准。数据可以分为不同的大类和子类,对于分类的标准、分类的方法、分类的类别和分类的应用等,需要开展研究。为了提高数据检索效率,还需对元数据进行进一步的分类研究。数据注册方法。根据不同的数据类型,不同的数据性质,要采用相适应的数据注册方法,可以分为手动注册、半自动注册和全自动注册方法。在数据注册的同时,建立数据索引。应用产生数据,应用产生的数据应该自动进行注册。

元数据索引和检索方法。数据注册中心是为应用提供数据访问服务的,访问效率取决于索引和检索方法。由于数据注册中心的体量可以很大,根据不同系统,其规模可以达到TB级甚至PB级。因此,建立高效的元数据索引和检索机制和研究高效的索引和检索方法,是非常必要的。广义数据模式识别。数据注册中心注册的内容可以是广义数据,例如物理世界的实体。要快速检索这些广义数据,需要采取新的识别技术。例如可以采用基于模糊理论的模式识别技术来建立索引等方法。数据注册中心分布式部署模式。数据注册中心的数据虽然是数据的注册信息,其体量和实体数据相比约占千分之一,当实体数据达到 PB 量级,注册中心的数据将达到 TB 级,因此,数据注册中心也要部署到云的分布式环境中。为高效地运行数据注册中心,需要对其进行分布式部署模式研究。

(4)数据权限中心(DAC)的机制

DOA 意在从架构角度对未来数据系统进行全方位设计,包括数据安全在内。DAC 通过数据权限的管理对数据进行保护,并提供数据授权使用的机制,也可以保护数据拥有者的利益。因此,DAC 的机制涉及但不限于:开放环境下数据安全基本理论;数据的状态机制;数据固有安全属性;数据访问控制权限及管理机制;数据合法性鉴定;数据权限中心的作用和运作机制;用户认证机制及证书授权( CA, Certificate Authority)技术;数据授权机制及与公共密钥基础设施( PKI,Public Key Infrastructure)关系;数据使用记录及其溯源机制;计帐机制;多级授权及认证机制;单个数据与批量数据或大数据量授权使用机制;密钥体系;数据透明加解密策略和算法;加解密效率与安全性及授权过程的妥协关系;传统数据传输加密技术适应性;应用环境安全保障;数据非法使用识别及数字水印技术;数据权人权利和知识产权相关问题;等。

开放环境下数据安全基本理论。开放环境下,要做到数据本身的安全,并能够安全使用,首先就是数据要进行加密,数据应该具有“天生加密,授权使用”的特性。不妨假设数据在使用中是不加密状态,那么数据不在使用中就应该保持加密状态。因此,设定数据具有两种状态:存储和传输时处于加密状态的“数据态”以及授权使用中处于解密状态的“应用态”。 DOA 作为一种机制,就要保证数据能够在这两种状态中与授权和加解密技术关联起来。目前有关数据安全的理论和方法体系、网络的授权、认证和计帐的 AAA 技术、CA技术、PKI技术、密钥体系、加解密技术等,以及网络安全技术、系统安全技术、应用环境安全技术等,都是适用的,但要从面向数据和以数据为核心的角度进行重新梳理,从数据安全的理念、理论、方法和受保护数据的应用机制等方面,进行适应性研究和更进一步的探讨。

数据的状态机制。可以以面向对象的观点来看待数据,数据除了其自身应具有的价值外,还具有内部属性和外部状态。从外部看,数据应具有“数据态”和“应用态”两种状态。要研究数据状态的定义,数据状态的设置和获取,数据状态的转化,数据状态的作用,数据状态对环境的要求,数据状态与数据加解密关系及作用机制,等。

数据固有安全属性。数据的内部属性包括关键的数据安全属性。要研究数据安全属性的定义,数据安全属性的内容,数据具有的访问权限,数据安全性说明,数据状态,数据的主人(数据权人)、朋友(被授权人)、陌生人(未授权人)和敌人(不受权人),数据读写权利,数据追加历史记录,数据的数字水印与防伪鉴别,数据授权记录,等。

数据访问控制权限及管理机制。数据访问控制依赖于数据安全属性,又与数据的加解密关系密切。过去的数据访问控制权限是由软件所控制,由访问软件控制数据的访问,而数据本身则有可能加密也有可能不加密。当另外的软件访问数据时,有可能绕过权限控制,例如越权访问数据,造成数据的非法访问和重要信息泄露。本项研究立足于数据“天生加密,授权使用”的观念,数据的访问依据数据的安全属性和访问者的身份,通过应用授权、用户授权,再确定数据授权,依据授权的方式和应用的环境,提供解密密钥或解密算法,实现数据的安全使用。涉及数据的使用,还有数据的读写权限、修改权限、追加权限、数据的获取及数据权人的确定,以及按照数据权人的身份信息进行数据自动加密和自动注册等。依照不同的应用类型、不同的应用场景、不同的用户表现方式,这种数据访问控制方法及权限管理机制,需要深入开展研究。

数据权限中心的作用和运作机制。数据权限中心负责对数据进行安全保护,并对数据的使用进行授权管理和应用安全管理。因此,数据权限中心要管理数据安全属性,鉴别数据的合法性,设定数据的访问权限,认证用户和应用,对数据进行用户和应用授权,对授权过程进行记录和计帐,对数据进行加解密,等。数据权限中心要与数据注册中心配合,有关数据的属性和权限等数据,需要在数据注册中心进行注册和登记,数据权限中心根据注册的信息,对数据进行监控、授权、回收权利、认证、计帐、加解密和新数据安全属性注册等操作。从内部看,数据的使用过程就是数据的授权和不断扩大授权范围的过程,计帐就是对这些授权的记录,可以为后续的商业应用奠定基础。未来任何一个 DOA 平台,在提供数据管理和服务的同时,也具备了数据商业运作的基本能力。

用户认证机制及证书授权(CA)技术。数据应用授权是建立在用户认证的基础上的。用户认证与用户的属性相关,认证过程是用户注册和管理维护过程。登记用户信息是数据注册中心(DRC)重要的数据注册内容,也是数据权限中心(DAC)需要用到的重要数据。用户认证技术,可以采用传统的 CA 技术,需要有第三方权威中心或局部中心向用户颁发用户证书(私钥)。同时,数据和用户之间通过数据安全属性建立关联关系。

数据授权机制及与公钥基础设施(PKI)关系。向用户授权使用数据,就需要将经数据权人(数据的主人)公钥加密的数据转变成用被授权用户(数据的朋友)公钥加密的数据,再提供给被授权用户下载使用。当遇到体量较大的数据,为提高加解密效率,用公钥加密的应该是对数据进行对称加密的密钥,而不是数据本身。数据权限中心(DAC)要提供这种基于 PKI 的加解密授权机制和方法。

(5)数据异常控制中心(DEC)的机制

DEC对数据资源池(数据注册中心注册的数据)进行一致性管理,对数据资源进行维护,保证数据的唯一性和一致性。因此,DEC的机制涉及但不限于:数据一致性维护机制,数据动态变化自适应管理机制,数据一致性异常探测与处理机制,数据巡检算法,数据异常与冲突发现算法,数据同步处理算法,数据冗余处理算法,热数据自动复制技术,冷数据自动删除技术,系统负载均衡,等。

(6)数据应用单元(DAUs)的机制

DAUs在数据注册中心DRC以及数据权限中心DAC的基础上,建立一系列应用单元模块,通过类似于基于构件的软件开发模式(COA)的搭积木方式和应用程序接口(API)调用,以“数据驱动应用”,快速满足用户的各种应用功能需求,对各类应用进行管理和服务。因此,DAUs的机制涉及但不限于:数据应用单元的结构规范,程序调用参数规范,数据访问规范,应用注册管理规范,应用扩展机制,授权数据访问机制,非授权数据访问识别,数据功能单元,数据服务单元,数据加解密单元,数据授权调用单元,数据应用组合单元,数据可视化单元,数据处理单元,等。

关键科学问题

(1)大数据时代下计算机软件体系结构的问题

大数据时代,计算机软件体系结构急需进行革命性的变革,以应对信息技术领域长期存在且在大数据时代愈发突出的问题,涉及到:信息共享,系统功能扩展,大数据管理,大数据分析和挖掘支持,软件工程,信息安全,数据企业利益保障等方面。虽然针对这些问题有着各种各样的解决方法和技术,但都不能彻底地或从根本上解决。现有的软件方法和软件体系结构,例如面向对象的编程( OOP,Object-Oriented Programming)解决的是复杂系统的编程方法问题,面向服务的体系结构( SOA, Service-Oriented Architecture)解决的是异构系统的服务调用和整合问题,基于构件的软件开发方法或面向构件的体系结构( COA, ComponentOriented Architecture)解决的是软件按组件方式的快速构建机制问题,它们都无法解决前述问题。

(2)面向数据的软件体系结构对建立可持续发展的软件系统的支持问题

作为一个大数据时代下的软件体系结构,基于它所构建的大数据系统——我们定义为数据生态系统,应具有伴随数据的可持续发展的能力。推而广之,以面向数据,以数据为核心的软件体系结构(理论)来构建的软件系统及其计算机系统、信息系统的实现形式,也应该具有面向数据的可持续发展的能力。这也是我们需要探索和解决的科学问题。

(3)面向数据的软件体系结构对数据保护与授权应用的支持问题

面向数据,就要以数据为核心,对数据进行保护,也要对应用进行支持。这种新的软件体系结构,为数据的安全、信息的安全、数据的应用、信息的应用等,带来了新的挑战和解决问题的新方法、新机制,这些都需要探索和解决。

(4)面向数据的软件体系结构对应用增长和需求变化的支持问题

应用的不断增长和需求的不断变化,在面向数据的体系结构下应能够自动适应。这是新的机制、新的方法,需要深入研究和实现。

特色与创新

(1)提出了一种大数据时代下的面向数据的软件体系结构( DOA),是大数据时代面向数据和以数据为核心的数据系统和信息系统的构建机制。

(2)提出了一种建立在云计算环境之上的 DOA 平台构建方法,既可对各种数据进行统一管理和服务,也可对各种个性化应用进行管理和服务,为构建成长型的数据生态系统,为从数据保护到授权应用全过程可控管理,提供理论和方法技术支持。

预期成果

通过对面向数据的体系结构( DOA)进行理论和机制探讨,为建立新一代的数据生态系统并从数据保护到数据的授权使用提供理论和方法技术支持。针对前述的信息技术领域长期存且在大数据时代愈发突出的七个方面的问题,可以得到有效地解决:

(1)信息共享。 DOA 建立了以 DRC 为核心和以 DAC 为重点的数据资源池或数据大平台,所有的应用都“生长”在其上,各应用系统都在一个“池子”里依照权限去获取所需的数据,各应用系统不需要去和其他应用系统去共享数据和信息,因此没有信息“孤岛”和信息“烟囱”,从根本上解决了信息共享的问题。如果两个以上的不同数据生态系统需要进行数据“共享”,只需将这些系统的 DRC进行相互认证和相互关联,不同的应用就可以在不同的数据资源池中找到所需要的数据了。

(2)系统扩展。 DOA 支持碎片化应用,因此,系统功能的扩展过程就是数据(应用)生态系统不断建设和发展的过程,数据可以不断积累,应用也可以不断增加和扩展。对于已有系统,可以通过数据来进行整合。将这些系统产生的数据不断“导入”到新的数据资源池中,再通过在数据资源池上不断开发和积累一些小的碎片化应用,缓慢和逐渐替代原有系统,完成从原来的应用系统到数据生态系统的过渡和迁移。

(3)数据管理。 DOA 是通过 DRC 以元数据方式,管理各种类型甚至包括网络空间和物理空间实时动态变化的数据,通过建立不同的分类方式和不同的数据索引检索方式,实现对数据的统一管理和提供应用服务支持。通过 DRC、DEC 建立逻辑的数据资源池来管理数据并为应用提供服务,解决了数据唯一性保证和数据的一致性问题,可以实现一个数据支持多种应用,丰富应用方式,避免数据冲突带来的严重后果。这一点,在众多行业应用中都具有重要的意义,特别是在互联网和移动互联网的碎片化互动应用中,更具有重要意义。 DRC本身也是利用云存储在分布式网络中,以应对大规模数据和大用户量及高并发访问,以保证数据访问的可靠性和高效性。

(4)大数据分析和挖掘支持。大数据分析和挖掘需要有方便数据管理的架构,需要有方便和高效积累的数据。 DOA 提供不断积累的、包含有中间计算结果的数据源泉,并提供成长型的数据生态系统和可行的数据安全管理机制, DRC提供快速和便捷的数据检索机制,并支持对复杂数据实现关联分析的算法,可以基于 DOA 建立用于数据密集型大数据分析和挖掘的决策支持平台,使基于大数据的预测、判断和决策更科学、客观和可持续。

(5)软件工程。 DOA 以数据为核心,建立的数据资源池可以适应任何数据变化,也可以应对任何业务需求的变化。在 DOA 支持下,传统的面向业务的软件工程将转变为面向数据的软件工程。它迎合、满足、解决未来对于大数据及其应用分析挖掘不确定性的平台需求。在种种不确定下,仍然能够让用户自己就能快速简单地管理与分析不断变化与增长的数据,完成传统应用软件、传统中间件做不了的事情。它颠覆传统,不强调软件生命周期,而是强调数据生态系统,即数据大平台与碎片化应用系统,建立的是“肥沃的数据土壤上生长着茂盛的应用森林”;不考虑数据共享问题;是将业务逻辑转化为数据逻辑的开发过程;是基于成长型数据生态系统的应用软件开发模式;数据资源池的框架建立好后,边调研边开发,开发过程就是系统扩展过程;是分阶段分期开发模式,可以保护已有投资,容易实现定制化开发。

(6)信息安全。因为 DOA 建立的是数据“天生加密,授权使用”机制,这样可以使数据在开放环境下进行存储和传输,既可以适应传统封闭的安全环境下的应用,增强了信息的安全保障,又可以在开放环境下保证数据的安全和不被越权访问。 DOA 安全理念和技术,与现在发展的网络空间安全、系统安全、应用环境安全等技术相结合,可以有效提高信息安全保障。

(7)数据提供者利益保障。数据必须经过授权才能够使用。 DOA 数据的使用过程就是数据的授权过程。通过计帐机制和计费手段,以及数据授权使用溯源机制,可以充分保障数据提供者的利益,也使得互联网和大数据时代的信息交易、数据应用等变得有序和有法可依。

前期成果

自2007年到2014年,从提出G/S模式到提出DOA及开展应用,得到了包括863、国家自然科学基金等多个项目的支撑和验证,得到多位行业专家的肯定。目前,课题组申报国家发明专利2项,可为基于DOA架构下信息系统的相关研究和构建方法提供基础。课题研究组成员先后在国际会议、国内期刊上发表了数篇与本课题研究内容相关的文章,其中EI检索、核心期刊数十篇(相关研究论文见代表性研究成果列表)。项目负责人及其团队成员都是多年从事信息技术的研究人员,熟悉DOA构架的相关理论,具有丰富的研究经验和可持续的研究能力。

时间

事件

备注

2007年

在北京香山科学会议第303次会议——“数字中国”发展战略论坛上做“数字地球平台与数字中国技术体系架构”主题报告。

提出了G/S模式,亦即今天的端/云模式。

2008年

作为技术负责人,国家发改委“基于遥感与卫星导航的数字旅游服务系统”项目。

通过了四川省科技厅主持的成果鉴定,被认为“达到了国内领先水平”。

2010年

1、负责国家自然科学基金项目“客户端聚合服务的空间信息网络服务模式研究”。

2、申请中国发明专利:一种空间信息网络服务模式。专利申请号:201010113244.2,公开号:CN102164155A

关于G/S模式的深入科学研究。

2011年

参与国家863项目“绕月探测工程科学数据应用与研究”。

与会专家称“基于G/S模式的探月数据分析与成果共享基础平台”为探月科学研究中的新课题。

2007年-2012年

连续6年受邀参加“数字中国高层论坛”(DCDF)大会,并做大会和分论坛报告。

阐述和交流数字地球平台、G/S模式及空间信息的网络服务模式应用进展。

2012年

参加“第六届软件、知识、信息、管理和应用国际研讨会”(SKIMA2012),并作大会主题报告。

提出面向数据的体系结构(DOA)概念。

2014年

1、2014年9月28日在峨眉山召开的“首届四川国际旅游交易博览会(SCITE)”的“中国智慧旅游的探索与发展趋势论坛”上作了题为“以数据为核心打造智慧旅游平台探讨”的报告。

2、2014年11月15日在成都召开的主题为“IT技术发展的最新进展与未来”四川省计算机学会学术年会上作了题为:“大数据时代面向数据的系统构建技术探讨”的学术报告。

3、2014年12月2日在北京召开的2014全国智慧教育高教论坛上作了题为“智慧教育大数据平台与碎片化应用系统构建技术探讨”的报告。

4、2014年12月12日在成都召开的由四川省计算机学会主办的“2014'云时代大数据与信息安全研讨会”上作了题为“面向数据的体系结构及在信息安全中的应用探讨”的报告。

5、申请中国发明专利:一种面向数据的信息技术系统。专利申请号:201410341092.X,公开号:CN104076906A

交流DOA理念、原理和理论方法体系。

2012年-2014年

以DOA为核心实施或获批的项目:

1、2012年,四川省人民政府应急办项目:“四川省人民政府应急指挥系统”(已结题验收)。

2、2013年,成都大学信息科学与技术学院项目:“基于云面向数据的学院教育信息化综合管理与服务平台”。

3、2014年,四川省教育厅项目:“四川省教育资源公共服务平台”。

4、2014年,国家发改委绵阳市北斗卫星导航产业区域综合示范项目:“基于北斗导航的智慧旅游、智能公共交通系统”。

2015年

2015年3月18日,在国家自然科学基金网站上正式提交了2015年国家自然科学基金面上项目的申请。项目名称:大数据时代下面向数据的软件体系结构初步研究,申请代码:F020201,受理编号:6157051674。

2015年3月31日,代表四川省教育厅专家组向来自四川省各地市州教育局的领导介绍了四川省教育资源公共服务平台一期建设情况及服务能力情况。整个项目的架构以DOA为核心构建。

总结

DOA是一个信息系统的体系结构,针对任何数据类型,基于云服务的概念,与具体的硬件平台和软件系统无关,通过以数据为核心和面向数据的理念来构建复杂信息系统,以数据标识作为数据的识别和定位标记,建立数据的分类体系和访问权限,通过建立各种数据功能单元,可以由简到繁、由易到难地构建复杂应用系统,实现多系统间的数据共享、访问和协同,通过数据注册中心( DRC)、数据权限中心( DAC)和数据异常中心( DEC)统一定义数据、管理数据和提供数据服务;通过数据应用单元( DAUs)对各种应用进行管理和服务,建立一种数据大平台与碎片化应用的数据生态系统,为构建大数据时代从数据保护到授权应用整套机制的软件体系结构进行有益的探索。

任何数据类型,是指:结构化/非结构化数据;实时/存档/历史数据;空间/非空间数据;本地/互联网/第三方数据;公共/私有数据;授权/未授权数据;服务型/应用型数据等。

关于云计算概念,本质是云服务,核心是基础设施作为服务(IaaS)和数据作为服务(DaaS),通过分布式和虚拟化技术,将数据与基础设施融为一体,为终端用户提供弹性的、可计量的、个性化的信息服务。可以简称“云”,一切皆在云中,包括所有的基础设施,如网络、服务器、存储设备等,更重要的是包括所有的数据、物理世界和网络世界的数据等。

以数据为内容定义云,可以分为存储云、物理云和网络云。DOA与数据云及应用终端关系示意图

以应用类别划分,则是公有云、私有云或行业云等。

数据注册中心(DRC,Data Register Center),是统一的数据定义和命名环境,通过元数据来定义和注册各种类型的数据。

DOA研究以数据为中心的系统构建机制,包括数据的获取,传输,存储,管理,调度,权限控制,数据的价值挖掘,数据检索与服务等机制的研究。

DOA采用通用浏览器/服务云(G/S,General browser/Service cloud)工作模式,如右图所示。

G:代表具有时空增强的通用浏览器,可以是各类面向人类的信息终端;

S:代表以数据为核心构成的服务云,它由三类数据云所组成:物理世界数据感知云,网络世界数据感知云以及各类数据的存储云。相对来说,前两者为动态云,后者为静态云,其中物理世界数据感知云,就是狭义的物联网概念。

G端主要实现以下功能:

(1) 时-空增强的通用浏览器客户端(不是简单的页面式的终端)

(2) 采用请求-聚合的工作机制(客户端汇聚信息、聚合服务)

(3) 个性化的按需服务(不同终端用户的界面和功能不同)

(4) 多客户端协同(不同客户在G端借助于S端协同做一件事情)

(5) 时-空可视化(3D、4D:基于时间序列的空间信息展示和表达)

(6) 不同终端:桌面PC、平板、智能手机(Windows,Mac OS X,Linux,iOS,Android,Windows Phone等)

(7) 简单的操作和控制(从鼠标到手指)

S端的组成和功能如下:

(1) 物理世界数据感知云

(2) 网络世界数据感知云

(3) 管理多源、海量、异构等数据的存储云

(4)分布式计算引擎

(5) 数据注册、分类与访问权限管理

(6) 对大数据的存储和管理采用分布式和分散存储的技术

(7) 动态冗余、负载均衡、自适应

(8) 对客户端提供有效的数据处理、访问和服务支持

从数据的角度看任何系统在技术上都存在的八个复杂度问题:

  1. 空间复杂度(对数据的存储能力)

  2. 时间复杂度(对数据的计算能力,提供服务的响应能力)

  3. 空间时间复杂度(数据在网络上的传输能力)

  4. 表达复杂度(人机界面——数据可视化能力)

  5. 操控复杂度(人机界面——对数据的操控能力)

  6. 关系复杂度(数据与数据之间的关系描述能力)

  7. 分析复杂度(从数据提取信息的能力)

  8. 技术复杂度(数据和信息系统的成本,性价比)

通过DOA和G/S模式,开发基于云的具有可视化表达能力和容易操作的客户端,就可以有效降低和化解前5个复杂度问题。