银兴智能：助力广发银行打造Hadoop资源管理平台

　　据深圳银兴智能数据有限公司(简称：银兴智能)介绍，随着广发银行大数据平台hadoop集群应用场景越来越多，研发中心、数据中心、卡中心和分行等部门均在大数据平台上进行数据开发和数据分析，由于数据开发和分析的场景各不相同，使用和购置的资源也不同。故需要通过多租户对不同用户资源进行管理。

　　广发银行拥有5个大数据平台hadoop集群，分别是CDH应用集群、CDH分析集群、CDP集群和FI分行集群和离线集群，使用的产品为华为的FusionInsight和Cloudera的CDH/CDP。两类集群在管理用户、租户以及数据授权时的操作方法差别较大。FI在管理页面配置，CDH需要登录服务器用命令行的方式配置，随着集群规模不断扩大，这种不同的配置方式给运维工作增加了很大的压力。在此背景下，银兴智能与广发银行签约合作，助力广发银行自研一套hadoop集群资源统一管理工具，提高运维工作的效率，简化资源管理工作。

　　项目目标

　　该需求投产上线后，可进一步提升大数据平台hadoop集群资源管理水平，快速实现复杂场景的业务需求的落地实现。

　　解决方案

　　源管理平台分为三大模块，一、资源管理模块，通过hadoop提供的接口和sdk，实现对多集群用户、用户组、角色和租户管理二、集群监控模块，通过hadoop提供的接口和sdk，对集群状态、租户信息和使用情况、Yarn任务和ACL目录授权监控信息进行采集，并通过可视化图表对上述采集到的信息进行展示三、平台管理模块，管理平台本身的用户、用户组、角色及平台的配置与权限，并实现审计管理等功能

　　项目成果

　　通过可视化界面进行集群管理，提高运维效率和准确率

　　通过集中化集群管理，提高对集群管控能力，减少生产事件

　　提供集群租户使用资源报表功能，拥有对集群租户使用情况的全景视野，实现租户精细化管理

　　Yarn任务监控和导出功能，实现集群大任务监控和定期任务优化

　　打通行内其它系统，与其它系统实现数据共享，增强集群上下游数据交互能力