返回首页

AFS(myDDB)理论设计原理(2016)

时间:2023-08-06 14:42来源:未知 作者:admin 点击:
本系统设计之初为金融并行分布式存储引擎 前言 随着大数据时代的到来,传统的关系型数据库越来越不能满足需求。 金融行业信息化已经逐渐普及,但是随着互联网技术和应用的飞速
  

本系统设计之初为金融并行分布式存储引擎,2016理论设计,2018年实现并升级AFS可迭代并行超存储;同年导入8亿3个mysql数据库(1集群)用户到一单元集群vme 含1根+8虚拟机存储节点,每节点含16ppg引擎,每引擎含16AFS 数据row块存储,经测试秒存取用户数据无压力,这个技术在传统服务器是做不到的,只能堆砌硬件完成。

前言

随着大数据时代的到来,传统的关系型数据库越来越不能满足需求。

金融行业信息化已经逐渐普及,但是随着互联网技术和应用的飞速发展,尤其是发卡量和网

上交易量激增,如何对这些个性化的交易进行监管和交易行为进行分析,欺诈侦测,发现和

驱动新的业务,相关业务数据量急剧上升,是当前金融业在面临大数据的难题,同时由于关

系型数据库的架构在面临大数据处理的先天性不足的原因,金融业亟待新的方法和技术来解

决这些问题,以满足新的需求,推动业务持续快速的发展。

本文是为建立一个可靠,安全,可扩展的金融大数据结构化数据存储集群来满足大数据需求

而进行的设计。

大数据时代,正在重构新的金融体系

 2012 年轰动科技界的一件大事是美国奥巴马政府公布的大数据(big data)计划。这条信

息被业界解读为大数据与互联网革命有着同等的地位。一向敏锐的全球金融业也已嗅到了大

数据的重要性,并主动的做出对大数据的挖掘和尝试。

 在英国,一家叫做 Wonga 的公司正在利用海量数据挖掘算法来做贷款业务,他们大量

使用社交媒体和其他网络工具,将客户的信息碎片关联起来,预测客户的违约风险,为其信

贷业务提供依据。

在中国,阿里巴巴旗下的阿里信贷自 2012 年 8 月起全面向普通会员开放,提供无抵押、

无担保的低额贷款。而其依仗的正是掌握在手中的海量客户经营数据,这让阿里巴巴对客户

的资信状况了如指掌,从而最大程度的降低了信贷业务的风险。

随着大数据、移动互联网的来临,传统的金融体系和商业模式正在被重构。

国家政策大数据需求

党的十八届三中全会通过的《中共中央关于全面深化改革若干重大问题的决定》指出,

加强金融基础设施建设,保障金融市场安全高效运行和整体稳定。贯彻落实这一要求,加强

金融监管、防止发生系统性风险,需要借助大数据理念与技术的支持,构建稳定均衡的大金

融体系。

构建大金融体系必然离不开大数据服务需求。

系统特点

本系统是一个高可靠存储,支持分布式事务管理,支持大数据金融中心的存储器系统,支持

水平弹性扩展,支持一份数据 3 份拷贝,支持 failover.支持 RSA ,DES 加密认证算法,支持无限级

路由分离数据节点,支持结构化非结构化存储。支持秒计业务实时处理。

经过测算,单引擎每日消息调度速度可达 10 亿+,中等规模的集群配置,数据管理能力可达

500PB+ ,数据理论上日数据分析能力可达 4000TB+,可支持企业用户数据 1 亿+,支持个人用

户可达 40 亿+. 可通过增加集群节点动态无限制的扩大集群。

? 提供快速的服务交付。与传统的基础设施相比,云计算基础设施需要提供快速的服务交付能力,

要在最短的时间内为业务应用提供所需要的基础设施。

? 可灵活高效地分配资源。云计算基础设施应能动态地调整计算和存储资源,自动将工作负荷分配

到最适合的资源上运行,消除工作瓶颈,为业务提供符合 SLA 要求的运行环境。

? 提供不中断业务的设备更新。在云计算环境下,业务应用应可达到最高的可用性。业务运营不因

基础设施,如服务器和存储设施的变动而受到影响。

? 满足高性能压力。存储系统需要承受数千个客户端同时高速并发写入的压力。

? 保存海量信息。存储系统需要有横向的动态扩展能力,在单个文件系统内保存数亿文件,存储容量

可动态扩展到数个 PB 甚至几十 PB。

? 管理压力。需要具备对海量信息生命周期的管理能力,具备跨存储迁移信息,以及将过期的文件

信息进行自动删除能力。

? 成本压力。可将老旧信息迁移到磁带库等离线存储,最大限度地提升提交回报率。

? 绿色低碳,节省电力。通过消除信息孤岛,让服务器和存储资源得到更合理地利用,将有限的资

源配置发挥出最佳的服务能力。

 AFS(myDDB)理论设计原理(2016) https://mbs.dohbon.com/resource/uploads/files/walksing/20230618/daae8911c488c01b2e 399370cd6ff7c6_de.pdf

顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
最新评论 查看所有评论
发表评论 查看所有评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 密码: 验证码:
发布者资料
runus 查看详细资料 发送留言 加为好友 用户等级:高级会员 注册时间:2020-01-01 00:01 最后登录:2024-08-27 19:08
推荐内容