达梦“模块化数据中心”筑梦大数据时代

本篇文章3042字，读完约8分钟

模块化数据中心已成为解决当今企业面临的日益增长的数据处理需求的通用解决方案。越来越多的政府单位和企业正在考虑利用模块化数据中心的优势和独特能力来满足各方面的数据处理需求。

pb级大数据带来的挑战

互联网时代，尤其是社交网络、电子商务、移动通信等，将人类带入了一个以pb为单位的结构化和非结构化数据信息的新时代。pb数据的概念是什么？说到数据量，人们通常会想到国会图书馆。麦肯锡首席分析师迈克尔·楚伊(Michael chui)指出，在2011年4月之前，美国国会图书馆已经收集了235兆字节的数据，而一兆字节相当于四倍的数据。

未来10年，人均实时消费数据将达到pb级，是当前数据消费tb级的1000倍。如此巨大的数据处理需求将会给现有的以计算为中心的传统数据中心带来一系列巨大的挑战，包括实时数据处理、动态资源分配和按需调整、大规模系统运行的能效等诸多方面。从业务角度看，迫切需要解决软硬件资源的统一管理、按需分配和合理调度、信息资源的共享和交换以及池管理等问题，从而形成一套兼容的资源服务池，并根据需要从池中获取所需的资源或服务。

以数据为中心的新数据中心

在这种情况下，传统的数据中心必须向以数据为中心的方向转变，并且能够灵活地将任务调度给数据位置相近的处理单元。传统数据中心的设计目标是能够持续工作。设计者要求设计的产品可以使用数百年而不损坏，并保持正常工作。设计者心目中的数据中心是一堆孤立的物理设备；事实上，建立传统数据中心的初衷是为了管理越来越多的物理设备，保持良好的环境，避免损坏和损失，并在发生故障时找人进行维修。而且，传统的数据中心资源是孤立的，不能实现整个数据中心的实时动态调度，这是传统数据中心资源利用率低的根本原因。

随着数据中心的发展，传统数据中心的问题逐渐显现出来。在充分吸收传统数据中心问题的基础上，大蒙数据中心推出了以数据为中心的新数据中心概念。从逻辑上讲，达蒙的新数据中心提供了一个全球资源目录，其中包含了各种应用系统的所有数据，并构成了一个全球统一的逻辑数据库。当用户向该虚拟逻辑数据库发起数据访问请求时，它首先通过搜索全局资源目录来回答数据是否存在，然后从资源目录信息中获取其位置信息。如果数据是从物理位置本地存储的，则它是从本地物理数据库获得的；否则，根据从资源目录信息中获取的远程位置信息，通过统一的远程数据访问接口获取实际数据。

可以看出，达蒙的新数据中心相当于一个巨大的全球逻辑库，可以根据业务需求采用一定的算法。然而，实际的物理数据库只存储经常使用的数据，这可以节省存储资源，降低数据集中后的数据更新成本。同时，根据数据访问热度，可以实现对物理库中数据的动态存储管理，将最常用的数据放入最快的内存，第二个数据放入固态硬盘，一般数据放入硬盘，长时间不使用的数据将被移动到外部磁盘磁带，长时间不使用的数据将被清空，腾出空.

高效部署的模块化

物联网、互联网等信息技术的快速发展带来了数据的爆炸式增长。为了适应大数据的发展趋势，数据中心不断扩大规模，提高性能，以支持日益复杂的海量数据管理需求。

为了提高性能，通常，对于经常使用的数据以及分析和应用所需的数据，应该从远程数据源提取数据并交换到数据中心的目标数据库，以便进行集中处理。数据集中化不仅带来了处理方便和性能提高的好处，还带来了数据一致性的问题。如何将数据源中发生变化的数据以最低的成本和最快的速度转移到数据中心的目标数据库中进行更新，以保持双方数据的一致性，已经成为数据中心建设中必须考虑的问题。然而，达蒙突破了传统解决方案，采用模块化数据中心建设的思想，不仅实现了数据同步，而且实现了显著的性能优化。

首先，在数据交换层面，传统的数据交换使用时间戳、触发器、md5等方法来捕获增量数据，这使得数据源的数据库产生很大的负载和延迟。当数据量大、同步时间短时，传统方案不能同时满足处理性能和数据一致性的要求。大蒙模块化数据中心采用读取数据源的数据库运行日志文件的方法来分析数据变化。通过监视日志文件的变化，几乎可以实时捕获数据变化。值得一提的是，这仅占用了非常少量的操作系统监视和读取文件资源，这对被监视的数据库实例的操作几乎没有影响。

其次，在数据中心建设方面，传统的数据中心建设周期很长，而达蒙模块化数据中心的现场部署速度非常高效，主要是因为模块化数据分类预制。从数据处理的整个生命周期来看，主要分为四个方面:数据收集和提取、数据集成管理、面向业务的数据服务、多样化的数据应用等。它们都有模块化的产品，具有统一的接口、统一的标准和统一的顶层设计，这些都是以大梦数据库产品为中心的。通过按照数据管理生命周期的顺序来理解模块化数据中心的内部管理机制，我们可以发现达蒙新数据中心相对于传统数据中心的显著亮点:

数据交换:当从其他业务系统采集和访问数据时，数据交换平台可以通过使用大蒙异构数据实时同步工具来处理海量、密集的实时异构采集需求。考虑到自动收集要求的交换频率较低，但有一定的清理转换要求，etl工具用于定期处理定期收集和清理转换的收集要求。对于机密的、不允许直接交换的敏感数据，使用请求服务引擎实现按需访问和数据自主查询比较的需求。

数据管理:数据交换和收集完成后，需要对数据进行整合和整理，数据管理平台能够满足这种需求。对于各种集成的项目数据资源，数据资源管理平台针对不同的收集渠道和承载方式，采用一致的方式进行可视化管理和维护，将零散的信息作为一个整体呈现出来。同时，针对各种信息资源的业务属性描述、来源信息等内容，可以通过元数据管理重用信息资源，实现统一描述、统一收集、统一管理。针对数据采集过程中数据的不一致性和不准确性，质量管理和改进主要是基于质量管理平台进行的。基于质量规则，发现各种数据质量问题，并提供质量改进门户以促进数据集成的质量改进。根据数据整合后的梳理和编目要求，我们主要依靠数据资源目录系统根据业务属性、提供者、系统类型等因素对编目进行梳理，使数据能够被成功地访问和重用。对于涉及的大量原始非结构化数据，采用文档管理系统进行统一管理，可以有效节省存储空，并提供全文检索等增值功能。

数据分析:数据集成后发布和应用服务的过程主要是基于数据分析服务平台实现的。根据数据集成建立数据仓库和在线分析的需求，bi分析平台主要用于实现数据仓库建设、在线分析设计和在线分析展示等功能。

数据展示:根据数据选择性展示的需求，基于数据门户实现数据的组合和过滤，完成不同人、不同环节、不同方式的数据选择性展示能力。

另一方面，数据服务平台提供基于集成数据的非可视化(api、rest、webservice)数据服务接口，满足数据的横向比较、纵向比较和跨业务系统对接的需求。根据数据中心和业务系统运行的可视化要求(如系统承载能力、访问状态、异常信息等)。)，主要使用操作和维护监控系统，通过监控门户、仪表板和驾驶舱呈现多角度可视化。根据管理数据的可视化表示要求，基于数据表示应用，提供了基于集成数据的可视化组件设计和表示。

结论

在大数据时代，大蒙数据库坚持创新发展的技术路线。业界率先推广新模块化数据中心的建设理念。以数据流为主线，实现从大数据存储、数据交换、数据管理、数据分析到数据应用的全生命周期管理。结合多年的项目建设和实践经验，致力于为更多不同行业和领域的政府机构和单位提供大数据平台咨询和技术服务。作为国内数据库品牌的骨干和龙头企业，将为国内信息化建设做出贡献