大数据、人工智能与云计算的融合与应用

中国邮政大数据平台服务于量收、邮务、名址等系统，同时运用容器云TOS实现创新多租户的数据分析挖掘环境。建立从业务层到管理层到决策层的智能分析体系，模拟量化风险和收益，实现对邮政各种业务数据进行分类、管理、统计和分析等功能，给各级管理人员提供各类准确的统计分析预测数据，使其能够及时掌握全面的经营状况，为宏观决策提供支持；为省分公司基层业务人员提供详尽的数据，供其对各自的工作目标、当前和历史状况进行准确的把握，对业务活动进行有效支撑，满足邮政经营分析管理及决策支持。

中国邮政大数据平台以五大基础服务集群域为基础，分别是数据湖集群域、企业数据仓库集群域、省分服务集群域、机器学习实验室集群域、开发/测试/培训集群域。

（1）数据湖集群域：基于TDH平台搭建的数据湖，主要承担多源异构的数据归集，数据湖内包括：原始数据池、清洗加工数据池、整合加工数据池等。

（2）企业数仓集群域：基于TDH搭架的数据仓库集群，基于大数据创新搭架逻辑数据仓库，用于迁移改造原有基于Teradata搭架的数据仓库，数据集市和基于Oracle搭建的报刊集市的邮政量收管理系统。

（3）省分服务集群域：基于TOS搭建容器化多租户数据分析平台云。为省、市分公司开发人员和业务人员提供省分多租户的平台环境，集团分发数据与自有数据存储计算，自有应用的开发与管理，独立租户使用运行。

（4）机器学习实验室集群域：基于TOS搭建的容器化多租户大数据机器学习平台，为集团数据中心分析师提供多租户的开发实验环境平台，进行数据探查、业务建模、算法研究、应用开发、成果推广等。

（5）开发/测试/培训集群域：为应用开发人员、系统测试人员、培训师、学员提供多租户的大数据与机器学习平台，为开发商及内部单位提供开发测试培训服务。

以此为基础，达到了数据管理、服务管理、运维管控、安全管控四个维度的统一。在风险管控、决策支持、服务支撑、流程优化、品牌创新、交叉营销六大应用领域展开应用。实现了租户管理、数据治理、数据加工、数据挖掘、数据探索、数据展现六大平台功能。

数据湖和数据仓库基于TDH构建，将包括业务系统数据、实时流数据、合作单位数据、互联网数据等不同数据源，通过ESB接入、ETL工具、Kafka、Sqoop、文本上传、人工接入等方式，统一汇聚进入数据湖。加工后获得的数据资产发布到数据资产目录，通过数据资产目录的构建TDH与TOS用户间数据交互体系。便于用户快速检索数据，通过数据资产目录实现对数据的集成、融合、安全、共享。数据资产目录包括：元数据、主数据、数据安全、数据标准、数据质量、数据轮廓、数据生命周期等。此外，企业用户通过大数据门户按需申请租户存储计算资源、数据资源、审批流程通过后，集群资源管理员按需快速部署集群，自动化将数据从数据湖加载入数据分析集群或省分集群对应的租户空间，供数据开发人员使用。数据开发人员会将数据应用成果固化到数据湖内，对外提供数据服务。

数据仓库与数据集市的完整迁移

中国邮政大数据平台是全球首个采用Hadoop（TDH）技术完全取代Teradata和Oracle的混合架构搭建新一代逻辑数据仓库和数据集市的系统。

原量收系统使用Teradata的数据仓库和Oracle的数据库，数据使用空间目前已接近30TB，现有使用用户约5万人，提供近约900张报表的灵活查询，单日报表查询频次最高能达到40万次，月初高峰查询需支持约2000计算查询并发。

通过项目前期大量调研准备工作，制定了切实可行的项目实施方案。量收管理系统的总体架构、ESB、BI工具、ETL工具、调度工具、门户等都保持不变，仅将原量收系统的数据仓库和数据集市，使用大数据平台进行完全替换，降低了整个迁移风险。

整个迁移过程中，包括环境部署、模型迁移改造、接口迁移改造、数据迁移、ETL迁移改造、报表迁移改造、数据核对、性能优化、业务应用迁移、风险控制，系统测试等。例如模型迁移改造，不改变原有业务逻辑，只需对接口层模型，基础层模型、汇总层模型进行轻度改造。对于模型改造来说，系统基础层模型结构相对复杂，关联度相对较高，原系统使用Teradata数据库。TDH全面兼容Teradata的数据类型与SQL方言，降低了迁移成本。同时迁移完成后，性能大幅提升，见图2.

▲图2 迁移前后数据集市业务场景500并发测试性能对比

基于容器云的大数据与机器学习平台的全面应用

基于TOS实现的多租户新模式，将大数据与机器学习平台组件完全容器化实现，并在TOS提供能力服务。集团统一部署企业内部云平台，对邮政各个租户（集团、省分、市局等）动态分配存储、计算、网络等资源，并实现完整的资源隔离，使得各个租户数据分析人员和业务人员获得相对独立的资源环境，赋能业务创新，同时可动态调配资源，实现资源的共享优势。

集团、省分、市局各级人员通过多租户平台，实现资源发布、申请，使用及应用开发、成果推广。通过项目立项申请审批后，省分项目组人员在租户空间内，接入访问数据资源，使用平台服务资源，大数据分析工具及机器学习挖掘工具展开数据分析挖掘工作，具体开展数据处理、模型开发、算法应用、应用发布等，在审批验收之后，将成果推广到数据湖上部署对全集团提供数据应用服务。

（编辑：云计算网_泰州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!