本系统设计之初为金融并行分布式存储引擎,2016理论设计,2018年实现并升级AFS可迭代并行超存储;同年导入8亿3个mysql数据库(1集群)用户到一单元集群vme 含1根+8虚拟机存储节点,每节点含16ppg引擎,每引擎含16AFS 数据row块存储,经测试秒存取用户数据无压力,这个技术在传统服务器是做不到的,只能堆砌硬件完成。
前言
随着大数据时代的到来,传统的关系型数据库越来越不能满足需求。
金融行业信息化已经逐渐普及,但是随着互联网技术和应用的飞速发展,尤其是发卡量和网
上交易量激增,如何对这些个性化的交易进行监管和交易行为进行分析,欺诈侦测,发现和
驱动新的业务,相关业务数据量急剧上升,是当前金融业在面临大数据的难题,同时由于关
系型数据库的架构在面临大数据处理的先天性不足的原因,金融业亟待新的方法和技术来解
决这些问题,以满足新的需求,推动业务持续快速的发展。
本文是为建立一个可靠,安全,可扩展的金融大数据结构化数据存储集群来满足大数据需求
而进行的设计。
大数据时代,正在重构新的金融体系
2012 年轰动科技界的一件大事是美国奥巴马政府公布的大数据(big data)计划。这条信
息被业界解读为大数据与互联网革命有着同等的地位。一向敏锐的全球金融业也已嗅到了大
数据的重要性,并主动的做出对大数据的挖掘和尝试。
在英国,一家叫做 Wonga 的公司正在利用海量数据挖掘算法来做贷款业务,他们大量
使用社交媒体和其他网络工具,将客户的信息碎片关联起来,预测客户的违约风险,为其信
贷业务提供依据。
在中国,阿里巴巴旗下的阿里信贷自 2012 年 8 月起全面向普通会员开放,提供无抵押、
无担保的低额贷款。而其依仗的正是掌握在手中的海量客户经营数据,这让阿里巴巴对客户
的资信状况了如指掌,从而最大程度的降低了信贷业务的风险。
随着大数据、移动互联网的来临,传统的金融体系和商业模式正在被重构。
国家政策大数据需求
党的十八届三中全会通过的《中共中央关于全面深化改革若干重大问题的决定》指出,
加强金融基础设施建设,保障金融市场安全高效运行和整体稳定。贯彻落实这一要求,加强
金融监管、防止发生系统性风险,需要借助大数据理念与技术的支持,构建稳定均衡的大金
融体系。
构建大金融体系必然离不开大数据服务需求。
系统特点
本系统是一个高可靠存储,支持分布式事务管理,支持大数据金融中心的存储器系统,支持
水平弹性扩展,支持一份数据 3 份拷贝,支持 failover.支持 RSA ,DES 加密认证算法,支持无限级
路由分离数据节点,支持结构化非结构化存储。支持秒计业务实时处理。
经过测算,单引擎每日消息调度速度可达 10 亿+,中等规模的集群配置,数据管理能力可达
500PB+ ,数据理论上日数据分析能力可达 4000TB+,可支持企业用户数据 1 亿+,支持个人用
户可达 40 亿+. 可通过增加集群节点动态无限制的扩大集群。
? 提供快速的服务交付。与传统的基础设施相比,云计算基础设施需要提供快速的服务交付能力,
要在最短的时间内为业务应用提供所需要的基础设施。
? 可灵活高效地分配资源。云计算基础设施应能动态地调整计算和存储资源,自动将工作负荷分配
到最适合的资源上运行,消除工作瓶颈,为业务提供符合 SLA 要求的运行环境。
? 提供不中断业务的设备更新。在云计算环境下,业务应用应可达到最高的可用性。业务运营不因
基础设施,如服务器和存储设施的变动而受到影响。
? 满足高性能压力。存储系统需要承受数千个客户端同时高速并发写入的压力。
? 保存海量信息。存储系统需要有横向的动态扩展能力,在单个文件系统内保存数亿文件,存储容量
可动态扩展到数个 PB 甚至几十 PB。
? 管理压力。需要具备对海量信息生命周期的管理能力,具备跨存储迁移信息,以及将过期的文件
信息进行自动删除能力。
? 成本压力。可将老旧信息迁移到磁带库等离线存储,最大限度地提升提交回报率。
? 绿色低碳,节省电力。通过消除信息孤岛,让服务器和存储资源得到更合理地利用,将有限的资
源配置发挥出最佳的服务能力。
AFS(myDDB)理论设计原理(2016) https://mbs.dohbon.com/resource/uploads/files/walksing/20230618/daae8911c488c01b2e 399370cd6ff7c6_de.pdf