天津市统计局 数据管理与大数据应用平台

　　卓朗科技为天津市统计局建设的数据管理与应用系统充分利用大数据平台的存储与计算能力，高效整合天津市统计局现有数据资源，建立基础数据库和宏观数据库。实现系统间的平滑切换、互联互通，并利用驾驶舱方式实现统计数据的综合展现，即席查询、全文检索等功能。

　　同时，系统以大数据平台为基础，以敏捷BI工具为支撑，将定制化流程贯穿统计工作始终，形成了一体化的统计数据管理与应用平台。如此全面的整合统计业务，在全国尚属首次，系统帮助天津市统计局全面提升统计工作信息化水平，增强统计数据处理能力、提高统计数据质量、提升政府统计工作公信力。

业务挑战

• 应用系统多且效率低下，对统计数据的收集、处理、存档手段陈旧，数据开发、挖掘程度落后，数据预处理逻辑复杂，处理速度缓慢，缺乏企业画像和全局检索的技术手段；

• 系统平台还停留在传统的关系型数据库模式，欠缺大数据技术应用，统计时效性差，归档数据格式标准不统一，入库难、分析不够深入、监测及时性不足等问题比较突出；

• 伴随着纳入管理的指标日益繁杂、数据结构不断异化、数据总量急速增长，传统信息化存储方式和计算能力已不适应统计应用的需要。同时，“数据孤岛”、重复建设、资源浪费和计算能力弱等问题也逐步显现，统计信息化进程遇到了瓶颈。

解决方案

• 运用以hadoop为底层技术架构的集群，以成熟的BI工具作为辅助，并引入了统计相关的模型算法，软件定制化流程贯穿始终。

• 数据传输方面    利用先进的数据传输手段，实现大数据平台无障碍接收各种格式的数据，其中主要包含的格式有：一切使用jdbc方式传输的关系型数据库，以及csv，txt，dmp等；

• 数据处理方面    数据处理流程实现自动化，原来需要2天才能完成的数据处理工作，被压缩到2个小时以内，极大提升了工作效率；

• 数据展现方面    健全的各类报表制作功能，充分满足统计局业务人员个性化业务需要，实现即席查询的落地，以及各类图表、驾驶舱等多种个性化展现形式，满足不同用户的需要；

• 全文检索方面    建立完整的字典库，统一元数据，为实现全文检索打下良好基础。

客户价值

• 全国第 一个统计局大数据落地项目，开创了借助大数据技术创新统计工作的先河，解决方案在行业中可复制性强；

• 打破信息之间的“壁垒”，消除“信息孤岛”，真正实现信息资源共享，最 大限度地满足常规统计、尤其是国民经济核算的数据需求；

• 实现统计数据标准统一，构建和完善智能决策系统的理论基础和理论体系，实现政府数据交流的网络平台架构、网络数据的安全和保密、数据分析和应用体系的软件设计和完善；

• 通过对大数据标准化和规范化技术的研究，形成大数据统计标准和方法体系，改进统计调查方法和数据采集手段；

• 建立数据质量管控和评估机制，探索、掌握并应用大数据挖掘的新技术、新手段，提升数据利用的价值，提高数据分析能力，完善数据发布手段，建成一体化统计大数据服务体系。