大数据助力贵州气象“气象万千”

贵州气象局
网站：http://www.gzqx.gov.cn/
组织规模：
行业：

　　浪潮通过云海大数据一体机和专业服务，帮助贵州气象局建设大数据创新实验室，实现气象服务创新。

　　贵州是寒潮、冰雹、干旱、暴雨、大风等自然灾害比较密集、频发的地区，气象是“生命线”工程。气象信息事关国家建设、人民生命安全，但存在数据量大、数据源复杂、数据需求多、价值挖掘难等问题，为贵州气象业务发展带来巨大挑战。

　　2016年，实验室的主要任务包括：搭建大数据环境、云平台环境、虚拟化环境等，确定气象大数据整体技术路线，对前沿云及大数据技术进行验证，为气象大数据生产环境提供技术支持和指导。

　　气象大数据应用创新云实验室，是应气象大数据应用创新中心的预研要求而成立的，主要开展跟气象大数据相关创新研究的实验室。浪潮通过云海大数据一体机和专业服务，用软硬一体化的解决方案帮助贵州气象局建设大数据创新实验室，实现气象服务创新。

　　

　　大数据环境的搭建及优化

　　安装分布式系统族群软件，包括：HDFS、MapReduce、HBase、Hive、Pig、ZooKeeper等；安装成熟内存数据库；对开源系统进行功能、性能验证并进行参数优化；形成系统安装、使用报告。

　　NoSql数据库建模及开发规范测试

　　1.论证NoSql数据库表的建模方法、模型优化原则和规范等。

　　2.全面测试、比较NoSql数据库与关系型数据库基于不同业务，在性能、功能等方面的差异性，确定两种数据库分别适合的业务领域。

　　3.提供书面的NoSql数据库表建模参考文档，指导新增气象业务表模型建设。

　　4.设计气象业务模拟场景，进行基于NoSql数据库的大数据存取性能测试，并形成测试报告。

　　气象大数据云平台的搭建及测试工作

　　1.安装应用引擎软件，并验证项目自动编译、自动部署功能。

　　2.设计并验证基于开源软件Web容器自动扩展、自动负载功能。

　　3.提供书面安装及测试报告。

　　支撑环境选型测试

　　1.验证并测试虚拟化的相关功能。

　　2.测试应用引擎软件分别基于虚拟机和物理机运行的可行性及性能参数，并进行比较。

　　3.应用引擎与开源资源分配工具（如：cgroup等）的集成研究及应用。

　　通用服务验证

　　1.对广泛使用的开源搜索框架、开源消息中间件、开源日志组件进行功能、性能、兼容性等方面的测试，确定开源版本。

　　2.设计适用于气象大数据云平台的统一用户认证方案，并验证其可行性。

　　编写气象大数据平台技术白皮书

　　面向第三方，编写气象大数据云平台技术白皮书。涵盖包括：应用系统技术框架约定，使用NoSql数据库及分布式系统的方法及示例程序，编程规范，目录结构规范（包含用户可自由规划的目录），各平台软件的版本及后期集体升级的思路、办法等内容。

　　灾难测试

　　对分布式系统管理节点和数据节点进行灾难测试，包括节点恢复、数据恢复、磁盘恢复等测试。

　　大数据系列软件功能扩展开发

　　对大数据软件的功能进行扩展开发，包括HBase二级索引方案的设计及实现，并进行性能影响性分析。

　　气象大数据应用创新实验室吸引了行业优秀的专家学者和社会优秀人才共同开展气候大数据创新研究，承担了产品选型测试、软硬件测试、安全和风险测评、创新应用开发、新应用上线测试等任务，为气象大数据应用创新提供实验基地，为气象大数据核心技术实验和落地实施提供可靠保障，为贵州省气象大数据平台建设全面铺开奠定基础。