【数字政府】数字政府一体化大数据资源平台总体建设框架思路研究报告：市级规范为纲、区级平台为枢、数据湖为底座、基础库/主题库...-迪斯科星球

以市级规范为纲、区级平台为枢、数据湖为底座、基础库/主题库/专题库为核心资产，通过数据共享交换、数据支撑、数据智能管理、视频结构化、物联感知、地理信息、数据安全、统一运维、统一门户等子平台，构建区级“六位一体”大数据资源体系。上接市级大数据资源平台，下联区级委办、街道和物联感知终端，横向打通部门数据藩篱，最终支撑一网通办、一网统管、城市规划、应急指挥、城市驾驶舱和城市大脑，提升城市治理、公共服务、经济发展和应急指挥的数字化、智能化水平。

【数字政府合集】800余份数字政府、智慧政务、政务服务、服务中心、行政服务、党建、治理、一网通办、一网协同等

一、总体定位与核心思路

该报告围绕区级一体化大数据资源平台建设展开，核心定位是：

大数据资源平台是城市大脑的重要组成部分。
拟建区级大数据资源平台，是在整合区现有数据共享交换平台、数据资源目录、基础数据库等资源基础上，进行整体架构重新部署和功能模块全面升级。
平台需满足与市级大数据资源平台对接，承接市级落地数据资源。
同时归集全区各单位公共数据资源，按需实现共享交换。
最终逐步构建集公共数据汇聚、整合、共享、应用、展示、评价“六位一体”的大数据资源体系。

报告目录涉及：数据平台现状、信息资源情况、与已有系统的关系、项目建设必要性、背景及依据、需求分析、原则和基本策略、标准与规范、总体建设目标、路径规划、总体架构、技术路线、信息安全保障、建设内容等。

二、项目建设背景与必要性

PPT指出，区大数据平台建设具有五方面必要性：

满足全市大数据工作推进的必然要求。
区大数据中心自身发展的内生需求。
全区精细化管理和经济高质量发展的必然要求。
提升智慧城市管理服务能级的核心中枢。
城市经济高质量发展的内在需求。

总体判断：本项目建设具有必要性。

三、项目需求分析

1. 功能需求

平台功能需求覆盖多个子平台和应用入口，包括：

城市驾驶舱
数据资源中心
统一数据管理门户
公共数据开放门户
数据支撑子平台
数据安全子平台
数据运维子平台
数据智能管理子平台
视频结构化分析子平台
区级公共人工智能子平台
物联感知管理子平台
地理信息服务子平台
数据共享交换子平台

2. 性能需求

关键指标包括：

具备5PB数据存储与管理能力，其中结构化数据存储与管理能力达到500TB。
平台数据融合计算，百万级数据执行效率达到分钟级。
分布式存储平台支持超过200人数据开发人员并发访问。
调度执行器需具备2000个在线数据任务管理和执行能力。
页面加载时长＜3s；并发用户数≤200；总请求数≤2000；页面平均响应时间＜3s；页面响应最小时间＜0.4s；最大时间＜5s；报表平均加载时间＜5s。

3. 架构需求

建立自身统一技术栈。
开放架构：模块化开放和集成能力。
支持多租户和容器化资源弹性伸缩部署。
架构先进性：从技术成熟度、性能、稳定性、持续研发升级、业内评价、易维护性、适配性等方面考量。
架构高可用：长时间、多任务场景下稳定运行。

4. 硬件设备需求

大数据资源平台：14台。
大数据共享交换体系软件：20台。
数据治理系统软件：2台。
配置：4C/8G/300G标准配置。
共需：144C核数、288G内存、10800G磁盘容量。
平台应用部署资源硬件部分可考虑由区电子政务云统一提供。

5. 网络环境需求

区级大数据资源平台部署在区电子政务云上。
借用政务云所处网络环境。
通过电子政务外网、互联网、物联网、专网等实现互联互通。

6. 标准规范需求

建立区级大数据资源平台数据标准体系。
建立完整、系统、准确、合规的数据标准。
解决各部门各系统数据不标准、不完整、重复、错误、不一致等问题。
实现统一标准管理，提升整体数据质量。

7. 安全保障需求

以安全为核心设计要素。
包括物理安全、数据安全、网络安全、防病毒等。
主要覆盖：物理安全、网络层安全、系统层安全、应用系统安全。

四、建设原则和基本策略

报告提出多项原则：

遵循市级规范
开放原则
先进原则
安全保密原则
统一建设、管理与应用体系
统一技术规范
统一模型设计
平台功能规范要求
利旧原则：充分借鉴现有系统在数据、架构、应用、运维和人员方面的积累。
渐进原则：统一规划、分步实施。
可靠原则：技术服务与维护响应积极配合，保证系统可靠，数据指标完整准确。
实用原则：操作简单快捷，紧密结合业务，满足效率与响应时间，有良好人机接口和灵活展现方式。

同时强调：

借鉴互联网思维，提供标准化环境，实现应用与平台分离，打造开放“生态”。
引入先进技术及经验，建设“低成本、高效率、可管理维护”的大数据资源平台。
确保数据安全，防止数据泄露，保护自然人、FR信息安全与隐私保护。

五、建设标准与规范

本项目建设依据主要为：

国家、市公布的相关工作要求和意见通知。
电子政务等信息化技术规范。

平台定位再次明确：大数据资源平台是城市大脑的重要组成部分。

六、总体建设目标

总体目标包括：

加快推进与承接市级大数据资源平台的落地数据资源。
逐步构建区级公共数据“汇聚、整合、共享、应用、展示、评价”六位一体的大数据资源体系。
构建以区级基础库、专题库、主题库为核心资产的区级数据资源中心。
构建数据集成、数据共享、数据管理、数据决策的综合管理服务体系。
确保大数据平台全面支撑全区：
- 公共数据协同服务
- 城区管理协同服务
- 惠民数据协同服务
- 兴业数据协同服务
构建以城市大脑为核心，打造“能呼吸、自生长、有温度、共生态”的区级综合智能体。
提升“城市服务人性化、管理精细化、应急快速化、决策科学化”四化水平。

核心建设关键词：“聚、管、通、用、安”

聚：推进与市级RK、FR、空间地理库的数据集成，促进电子证照库对接利用；逐步推进区级各部门视频数据、物联数据以及基层业务数据汇聚。
管：构建一站式数据资产管理平台，通过级联实现区内数据上报市级平台，结合区内情况进行本地数据资产目录管理，形成数据全生命周期管理及各环节安全监管。
通：实现基于应用场景的数据资源授权管理机制，推动公共数据按需充分共享；实现数据分级分类开放管理，扩展共享交换平台功能。
用：开展主题数据库建设，推动数据资源整合及数据分析应用；开展数据应用模型及算法研究，探索数据服务模式创新；推进区级跨部门数据智能应用。
安：打造整体安全管控体系，保证平台上政务数据在汇聚、管理、共享、开放等全生命周期中的安全防护能力。

七、项目建设路径规划

按照“总体规划、分步实施”原则，分三个阶段：

1. 全面构建：至2021年底

基本形成区级大数据资源平台基础功能架构。
完成标准化数据仓库建设并建立数据资源中心。
为一网通办、一网统管和城市规划等应用提供数据赋能。
启动区级大数据平台资源中心建设。
建立统一的政务数据信息资源目录。
启动大数据资源平台各平台功能建设。
形成共享工作体制和制度。
构建城市驾驶舱。
支撑城市运行应急指挥应用。

2. 全面深化：至2022年底

完善平台建设，实现数据仓库到数据中台的功能升级。
支撑各部门在智慧城市建设中主要数据的共享需求和应用开发需求。
基本具备个性化数据生产的能力。
完善城市管理，新建宏观经济库、民生保障等相关主题库。
基本完成城市治理、政务服务、民生保障和经济发展等为主题的资源归集，并形成相关专题库和主题库。
完善区级大数据资源平台功能建设，实现全区大数据综合运营管控。
汇聚政府侧与社会侧的政务、视频、物联数据等，建立大数据服务平台。
完善组织能力保障，实现跨越共享。

3. 全局引领：至2024年底

持续完善数据资源中心的基础库、主题库和专题库。
支持各类综合创新应用顺利运行。
实现以政府惠民数据共享和实现社会数据交换功能，全面实现内外部数据交换共享。
建设全面保障体制，共享制度更趋于标准化、体系化、制度化。
完善组织实施机制，提高数据开放管理水平，实现数据治理标准规范和安全保障，建立运维保障能力。
构建公共数据“汇聚、整合、共享、应用、展示、评价”六位一体的大数据资源体系。
全面数据赋能应用，基本实现公共数据社会化运营能力。

八、总体架构与技术路线

1. 总体架构

报告涉及：

一体化大数据资源平台总体架构。
大数据资源平台各子平台间关系。
平台网络架构。

本次区大数据资源平台（一期）项目建设主要依托区信息服务中心提供信息基础设施和网络环境，并在区电子政务云统一规划和标准要求下进行平台搭建和部署。

2. 技术路线

技术路线强调先进、成熟、通用、开放，并确保与市级大数据资源平台技术体系保持一致。具体包括：

使用面向服务架构（SOA）。
采用多层架构体系。
使用Java B/S开发技术。
采用基于Hadoop的大数据平台框架。
将大数据与人工智能技术相结合。
采用Web Services技术。
使用数据仓库技术。
采用J2EE技术架构。
使用XML技术。
实现模板化的图表配置。

3. 信息安全保障方案

按照信息安全等保三级要求。
依托区级电子政务云环境和数据安全子平台建设。
对现有主机、网络设备、安全设备功能及配置进行优化和加固。
根据三级等保要求建立健全安全管理制度。
进一步落实安全管理相关工作。

九、建设内容与各子平台方案

1. 一期建设目标

至2021年底：

基本形成区级大数据资源平台基础功能架构。
完成标准化数据仓库建设并建立数据资源中心。
为一网通办、一网统管和城市规划等应用提供数据赋能。

2. 建设内容

包括：

城市驾驶舱
数据支撑子平台
数据安全子平台
数据运维子平台
视频结构化分析子平台
地理信息服务子平台
数据共享交换子平台
数据资源中心建设
数据智能管理子平台
统一数据管理门户
物联感知管理子平台等

3. 数据支撑子平台

批数据处理：通过数据采集平台任务调度，根据时间戳定时探查区级委办局前置库数据及结构化文件变动，解析后抽取增量数据到数据湖。
流数据处理：通过数据湖内独立部署Kafka消息系统，采用区级委办局推送或自动拉取方式，将流数据接入大数据支撑平台。
承载区大数据资源平台数据湖/库归集的数据范围、种类和存储方式。

4. 数据共享交换子平台

整体定位：

负责将各前置库中的数据安全、可靠传输到数据中心。
服务管理系统可对各委办业务系统提供的服务接口接入总线，并由总线统一调用监管。
交换级联实现区平台与市平台间数据交换级联对接。
以电子政务云为基础构建全区统一的数据共享交换子平台，形成公共数据交换、共享核心枢纽。
与市级大数据资源平台对接，打通市、区两级级联共享通道，实现跨层级、跨部门双向信息传递互通。

架构设计：

基础设施层：网络、服务器、存储、安全、虚拟化等。
数据资源层：各部门、机构数据汇集、加工、整合，形成全面、权威数据中心。
基础支撑层：平台基础支撑软件。
交换支撑层：数据资源汇集、处理与服务核心支撑。
服务层。
标准规范与运维体系贯穿各层面。
安全保障体系贯穿各层面。

业务逻辑：

数据交换是平台基础，提供系统业务接口接入、交换前置接入、数据采集、交换传输、数据集成、交换管理等功能服务。
通过前置交换系统与各交换部门互联。
通过数据传输系统将各委办数据资源汇集到数据中心。
对数据中心数据统一加工、处理。
将治理后的数据交换到各类基础信息库。
服务管理系统将基础信息库数据服务封装和发布，提供给各委办或决策分析系统使用。
建设内容包括数据交换平台、服务管理平台、统一监控平台、交换级联管理、数据共享服务接口开发和标准规范等。

5. 区数据资源中心

总体架构：

通过平台工具汇聚区内各单位公共数据及市级落地数据资源，形成区级数据湖。
经过数据清洗、转换、融合、治理后形成高质量公共数据资源库。
基于应用需求构建各类应用基础库、主题库、专题库，形成区级数据资源中心。

建立区级数据湖：

存储全区各种原始数据，保证可存取、处理、分析及传输。
面向多类数据源，汇集全区委办、市级、互联网及其他各类数据。
统一存储到区级数据湖。
SRC近源数据层：将原始数据源全量映射保存，是外部数据进入数据湖的第一步缓冲节点。
汇集全区各业务条线数据，涵盖结构化数据、非结构化数据。
构建ODS源数据层，形成逐层递进的数据流转模式。
以数据开发工具为基础，构建SRC近源数据层、ODS数据资源层，形成面向全行业的数据基础层。
以数据湖为基础，为后续主题、专题建设提供基础数据支撑，为上层应用价值发掘提供全面数据支撑。

构建基础库、主题库、专题库：

主题库聚焦：一网通办、一网统管、城市规划、经济发展、公共安全、市场监管、生态环境、民生幸福等方向。
主题库建设方案可依照智慧城市建设需求增加。
专题库面向应急管理常态与非常态业务需求，通过将资源库、主题库数据二次抽取装载，重新组织数据，按不同事件专题应用需求整合形成。
应急专题库主要实现应急指挥专题数据展示，包括消防应急、安监管理、防汛防台和重点景区四大专题。
还包括“三清单”梳理。

6. 数据智能管理子平台

数据管理涵盖数据全局治理和过程管控，是数据可用前提。
目标：确保数据标准化、规范化、可信可用，进而通过数据运营与应用实现数据资产管理，发现内部数据问题、发掘数据价值，实现数据资产盘活和有效利用。
构建一体化数据资产管控，实现全流程、全生命周期和全景式“三全”治理。
确保数据资产可靠、可信、可用。
通过对数据、应用、系统综合治理与管理，构建标准化、流程化、自动化、一体化数据管理体系。

系统架构：

采用工厂化数据处理和管理模式。
通过数据生产计划、数据生产执行和数据生产管理三大子模块，保障数据处理全过程透明可控。
实现工具化、流程化和自动化的数据开发、运维与管理。
采用基于元数据驱动的开发模式，保障元数据与实际系统情况一致。
数据处理管理系统：负责软件开发和数据规范管控。
数据生产计划系统：需求设计、设计确认等。
数据处理执行系统：负责数据处理计划执行、数据生产和数据质量控制。
功能包括：元数据获取和管理、数据对象设计、对象化接口模块、数据质量管理、可视化标准IDE环境、基于元数据血缘图的调度、基于元数据的数据资产与标准管理。
治理流程包括总体数据治理流程、数据治理过程与产出。
数据开发与调度包括数据探索工具、数据可视化工具。
用户可通过数据探索工具在线自助查询有权限数据，工具记录访问日志。
专题数据、主题数据加工完成后，用户可利用可视化工具开发可视化报表，测试发布上线后对外提供可视化服务。

7. 视频结构化分析子平台

本期主要构建四大服务：

数据服务
计算服务
搜索服务
算法服务

建立区级视频结构化分析子平台，搭建公共智能算力资源。整合全区在公安、雪亮工程、街镇单兵、布控球等各类视频终端视频数据资源，并进行智能化处理与应用分析，统一向各单位提供智能应用场景所需的视频结构化数据资源。

平台能力：

全面对接城市摄像头数据，包括图像、车辆、治安、物联网数据等。
基于对象存储、数据库等存储技术及图像搜索引擎服务，提供结构化数据全量存储和索引。
基于分布式调度和计算加速功能，提供实时视频计算、索引和搜索等服务。
平台业务及流程可灵活定制，支持算法增加和删除。
支持开放算法接入和应用接入，让第三方算法厂商方便接入平台。

8. 物联感知管理子平台

建设区级物联感知管理子平台，统筹全区物联感知终端建设。
制定物联感知数据采集规范。
通过统一物联感知管理子平台，实现物联网终端统一管理和数据采集。
对接区级与各街道物联网管理平台，采集平台中设备相关数据。
支持直接连接、管理各类物联网设备。
实现对少量零散物联感知设备统一管理。

9. 地理信息服务子平台

依照区内“一张图”原则。
本期围绕已有区内GIS，在现有ARCGIS系统基础上，提供更多图层，并进行渲染等服务升级。
构建全区统一地理信息服务子平台，为涉及地理信息数据的大屏展示与相关应用提供GIS服务支撑。
依照展示大屏设备支持的分辨率与大屏主题、界面设计，提供地图3D模型渲染服务。
对3D模型图层进行整体色彩与展示效果渲染改造。
针对大屏展示主题配色与日常工作界面主题配色需要，提供地图底层全套配色调整，形成对应的大屏皮肤、日常工作皮肤。
通过图层服务功能，对地图区域进行划分，支持本区边界、街道、网格、功能区划分等需求。
对非本区GIS系统所使用的坐标系坐标数据，按标准进行转换。
依托本市下发的空间地理底图和各类图层信息以及区级地理信息服务平台，建立统一地名地址标准和数据库。
叠加“一标多实”各类要素数据，实现各类地理数据资源有序关联。
完善地图更新和转换联动机制，支撑全区各部门对地图的统一服务需求。

10. 数据安全子平台

全生命周期安全管理设计。
整体安全防护体系包括：数据资源平台环境安全和数据全生命周期安全。
数据全生命周期安全防护是重中之重。
结合数据安全能力成熟度模型，设计数据安全生命周期各阶段主要防护能力。
数据安全子平台功能架构覆盖上述要求。
市委网络安全和信息化委员办公室和市MM管理局发布《关于进一步加强和规范关键信息基础设施MM应用工作的通知》，要求落实《网络安全法》《密码法》相关规定。
大数据资源平台（等保三级）属于关键信息基础设施，需要实施MM应用安全性评估工作。
依据MM应用安全测评标准，规划符合信息系统MM应用技术要求的MM应用方案。
在大数据资源平台实施阶段同步实施MM应用，配合完成密钥应用实施。
最终达到实际MY安全应用需求，为平台提供底层安全保障，保证符合MY应用安全性测评要求。

11. 统一运维子平台

负责对大数据资源平台内所有基础资源、系统模块、系统运行情况提供整体监控告警、运维视图、各类流程引擎、服务启停、巡检等工具承载。
使区大数据平台快速发现异常，及时发现并告知维护人员，快速恢复，提升平台内外客户感知。

12. 统一数据管理门户

有效集成整合各子平台应用功能模块。
统一用户账号、组织架构、角色权限、资料应用、信息展示等方面管理。
打造面向各单位工作人员的一体化统一集成门户。

13. 区城市驾驶舱