大数据平台建设方案

“大数据是一种生产要素”，这对于新成立的互联网银行尤其如此，它们的整个业务都依赖于在线渠道。微焦点银行也不例外。基于数据驱动的交易、产品和模型，在每笔交易和客户服务的数据更新下不断优化：面向数据的风险控制策略有效地控制了交易风险；基于数据的客户画像提供了产品策略的雏形；数据应用衍生出泛智能客服平台、区块链全存储节点等新模式数据通过服务产生价值，价值的实现加速了数据与产业的迭代。在这一转变中，海量数据存储和计算的基础设施平台显得尤为重要。

传统银行基本上都是基于Teradata、Greenplum、SAS等平台，通过数据仓库的模式进行分析应用开发和数据挖掘。然而，这些平台不仅牌照昂贵，而且无法面对海量数据。而且，由于缺乏统一的数据建设标准，传统银行之间相互孤立，需要导入导出数据才能打通平台间的数据。基于海量数据和孤立数据的痛点，微焦点银行的商业模式要求大数据平台解决方案必须：

1、一站式数据存储和用户体验；

满足财务水平的可靠性和安全性要求；

1全面实施分布式产品核心清单报表统计；

在分布式核心系统中，单个数据库只有部分。为了统计完整的业务数据，必须汇总到大数据平台生成业务报表。这种架构不同于sharding的子数据库。没有用于拆分SQL的中间件，它不能一次查询或汇总结果。要实现这些功能，需要大数据平台的支持。在传统银行中，关系数据库支持的监管报告、会计日报、头寸管理、转移定价等也都有大数据平台的支持。

2、数据存储的统一

大数据的价值很大一部分取决于数据，数据量和数据完整性是要务。在传统模式下，银行大数据平台内部会形成多个数据孤岛，但多个平台之间的数据交换和共享形成了大量冗余的基础数据，如：每个孤岛都有一个完整的拷贝；另一方面也导致维护成本的上升。一些数据只有在ETL开发和导入后才能使用，而多个ETL和存储占用了存储资源，但往往会导致数据不一致，使得问题更加复杂。一个完整、独特的全行统一数据底层存储平台对于构建数据应用、实现数据价值至关重要。当然，这必须解决数据权限的控制，保证主备体系结构和远程容灾的可靠性，保证探索性应用和生产性应用的存储数据隔离。

3、数据计算操作的统一与资源调度的统一

基于开源组件的集成和封装，微焦点银行已经形成了自己的大数据平台能力。同时，它还面临着大数据开源生态碎片化的问题：每个开源组件都需要解决存储和计算本身的核心技术问题。数据权限、不同开放源代码组件之间的任务调度、用户定义的变量函数、运行上下文、计算程序部署和运行模式都是分散的、独立的。如果平台不能统一计算的入口、环境和资源，势必导致整个集群资源的竞争，各个应用团队为了解决组件间的调用和通信而重复创建轮子。这也是外部商业大数据套件带来的价值。对于微型公共银行的金融应用，统一计算是大数据平台应用的必然要求。它还包括跨所有组件的用户权限的统一和用户数据应用程序的数据权限的统一。

4、管理与运维一体化

因为大数据平台不支持简单的数据仓库，还包含了批量生产所需的批量业务。各种系统之间的耦合比较复杂。基于原生开源命令行模式的碎片化运维监控管理模式已不能满足银行高可用性的要求。因此，我们需要一个统一的运维管理平台，可以与银行的ITIL集成，对所有组件进行管理。这需要大量的工程开发工作。

在明确大数据平台的目标和要求后，威中银行在开业6年的时间里，通过反复迭代，形成了基于大数据生态的套件平台wedatasphere，解决了上述核心问题，有效支撑了业务的快速发展。整个套件平台的解决方案如下图所示：

在该方案中，所有的计算引擎和存储引擎是统一的，上层的应用开发工具是由渭中银行自主开发的。一是解决了统一存储问题；二是面对众多的计算客户端，银行在大数据领域开发了计算中间件linkis。通过对基础存储计算引擎和应用客户端的隔离，解决了每个客户端和应用所面临的权限控制、多租户隔离、多引擎支持、计算资源弹性伸缩等问题。此外，通过linkis中间件，可以连接不同客户端之间的数据交互和批量依赖，真正为业务用户提供一站式的大数据应用服务。所有工具都可以连接，共享用户权限、自定义变量和自定义函数，大大提高了数据应用的开发效率和运维效率。

从下图的逻辑架构图可以看出，如果没有这样的中间层，那么在所有工具和基础存储计算之间就会有一个混沌的网络结构。随着越来越多的工具和组件被访问，这只会使整个平台在未来很难操作和管理，并且无法有效地重用各种工具的开发结果。

通过linkis解决了计算的统一后，将应用开发工具统一到dataspherestudio中

这为整个数据开发提供了一站式解决方案。通过一个典型的数据流实例，阐述了datasphere Studio的数据应用解决方案：通过交换is将原始数据提取到大数据平台，然后根据财务需求，通过maskis（exploration platform Desensition，生产平台不脱敏），数据应用的开发和部署是通过scriptis进行的，而应用可以通过prophet来实现，就是调用机器学习的算法能力，应用输出的数据结果，通过quality来验证数据的质量，最后通过visuals生成图表给用户显示或进一步使用。所有这些跨工具和计算组件的任务都通过schedulis模块统一调度。所有基于schedulis的调度任务都可以被监控和可视化。

在dataspherestudio的设计中，充分考虑了平台的开放性和可扩展性。对于上层应用程序，每个组件提供一个API接口，可以灵活调用。方便数据开发者在整个一站式平台的基础上构建自己的垂直应用。这样就可以利用一个平台来有效地支持面向产品的应用和探索性应用。目前，在微焦点银行有许多基于dataspherestudio的数据应用工具，如用户行为数据可视化分析工具webboard、数据平台应用程序等。

整个平台的操作、维护和管理集成在managis中，完成了所有底层、工具和自主开发组件的操作和维护。同时，对监控信息进行汇总，集成了集群的部署和扩展，以及故障的自动处理。在数千台服务器和大量基础组件的情况下，集成化、自动化的统一运维管理工具必不可少，许多高风险的运维操作可以通过集成运维工具进行控制。这种安全控制是降低科技运行风险的重要手段。

在威达施派尔的整体解决方案下，威中银行建立了两个集群：

两个集群之间采用自主开发的transportis进行数据同步，生产集群的容灾集群也通过transportis进行远程增量同步，保证数据存储的统一性和一致性。满足金融数据应用的安全要求，包括高可用性。

伟中银行大数据平台支持的银行业务场景示例如下：

可以看出，在该方案下，wedatasphere完全支持基于生产的数据应用，从线下的风控分析到实时在线反欺诈、交易查询、操作查询、批量对账、监管报送等；对于数据仓库应用，微焦点银行也是基于同一方案，培训支持业务分析、客户画像，特别是模型，与银行风险业务人员最熟悉的SAS软件使用习惯相适应。我们开发了quickml平台，将风险用户SAS的使用场景切换到我们的大数据探索平台，并提供了更丰富的机器学习算法来支持业务模型构建和数据计算。我们已经完全脱离了所有国外商业银行在微型银行基础上的传统数据处理平台，利用大数据生态，可以提供100多倍于原有商业银行平台的分析和建模。目前，全套大数据平台支持每天60吨的数据增长和每天40万个数据任务的处理。

自2019年以来，wedatasphere一直是开源的，并反馈给开源社区。目前，核心组件已经是开源的，包括linkis、dataspherestudio、schedulis、qualtis、scriptis、visualis和exchangis。开源一年多来受到了各个行业的广泛欢迎。试点企业达到400多家，生产企业达到20多家，涉及互联网、金融、通信等行业。同时也吸引了一批优秀企业参与到开源生态系统中。

我要感谢许多为wedatasphere提交优化函数、补丁和问题的开发人员，我期待您在未来不断改进。

伟中银行和wedatasphere开源社区希望，这套安全可控的大数据解决方案不仅能服务于银行自身的业务和客户，也能促进数据作为生产要素在整个社会和行业的使用，为大众创造价值。