当前位置:首页 > 数码 > 浅谈G行数据湖平台建设-实现数据共享与融合-赋能业务创新 (gr数据)

浅谈G行数据湖平台建设-实现数据共享与融合-赋能业务创新 (gr数据)

admin5个月前 (05-02)数码44

背景

随着移动互联网的飞速发展,对于短时间内产生的大规模、多种类数据的存储和分析要求越来越高。数据湖是一种支持结构化、半结构化、非结构化等大规模数据存储和计算的系统架构,能够高效地对原始数据进行存储和取用,解决了传统数据仓库需要预先定义数据结构、海量数据加载慢的问题。

系统架构

G行数据湖平台采用采集层、平台层、应用层的三层架构建设方案:

  • 采集层:负责对G行原始数据的统一采集管理。
  • 平台层:主要完成对入湖数据的存储管理、授权管理、元数据管理、任务管理等功能。
  • 应用层:主要基于G行的数据运营、营销拓展、个性化推荐等业务场景,利用Oozie、Spark等组件实现对数据批量任务的调度和加工计算。
gr数据

平台能力

数据采集

G行数据湖平台实现了对G行将近200个系统1万多张表的原始数据采集,并为约100个下游应用提供数据授权和调用。

数据存储

数据湖共设计了四种入湖模型,包括当日全量数据存储、当日增量数据存储、上日全量数据与当日更新增量数据合并存储、拉链表存储。

数据管理

平台的授权管理基于Ranger实现,让不同系统可通过数据湖进行数据共享。

元数据管理模块可以轻松实现对数据入湖、数据存储方式以及数据下线的管理。

任务管理模块实现了对数据入湖加载任务的状态查询、延迟查询、任务重调、时长统计等功能。

实时数据湖

随着数字化转型的不断深入和业务场景的不断丰富,对于数据分析的时效性要求越来越高。因此,G行建设了数据湖平台实时数据湖子系统,完成了实时数据的统一接入、统一管理和统一服务,同时实现了对T-1离线数据的比对修正,保证了数据一致性。

技术选型

实时数据湖子系统基于Hudi的技术方案,可以高效处理大规模数据集,支持HDFS、S3等多种数据存储方式,支持Spark、Flink计算引擎实时消费Kafka、Pulsar等消息队列的数据后入湖,支持Hive、Presto、Impala等引擎进行数据查询分析,并且通过索引构建,提升了计算引擎的查询性能。

平台建设

G行从作业管理、元数据管理、任务监控方面进行了实时数据湖平台的建设:

  • 作业管理:支持批量初始化、实时数据入湖的配置化开发以及数据比对作业提交。
  • 元数据管理:采用了基于HiveMetastore的元数据存储,实现元数据的统一管理。
  • 任务监控:提供了数据湖流式作业以及服务运行状态和性能的监控,并接入了G行分布式监控系统提供实时故障告警。

总结

G行数据湖平台的建设实践,为海量数据的存储、管理和分析提供了高效、可扩展的技术解决方案。实时数据湖的建设进一步提升了数据分析的时效性,满足了数字化转型和业务发展的需求。


如何夯实数字化转型基础?

新一轮科技革命和产业变革正在迅猛发展,全球经济正处于一个前所未有的变轨期。企业应当加速推进新技术创新、新产品研发、新模式扩散和新业态发展,推动企业更广、更深地融入并完善全球供给体系。随着《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》(简称“‘十四五’规划”)的正式发布,数字化转型也再次迎来热议。在信息技术和数字经济的发展下,企业需要主动把握和引领新一代信息技术变革趋势,通过加快数字化转型重构企业核心竞争力,确保在市场竞争中塑造新优势。近日,Gartner研究副总裁陈勇与高级研究总监季新苏结合“十四五”规划背景,为企业数字化转型以及CIO的发展提出建议。陈勇

Gartner研究副总裁

季新苏

Gartner高级研究总监

顺应政策导向,推动市场高质量发展陈勇指出,在企业推进数字化转型的过程中,CIO在政策层面的工作重点在于“Evaluate”(评估)。CIO应该学习并领会“十四五”规划的具体内容,分析其对于所处行业以及企业产生的影响。当今世界正经历百年未有之大变局,“十四五”规划中提出的诸多举措,包括“双循环”、继续加大改革开放、自主创新建立现代化的工业体系和产品体系、从“高速发展”转变成“高质量可持续的发展”,都是基于这一时代背景提出的。

当前,我国发展的外部环境日趋复杂。防范化解各类风险隐患、积极应对外部环境变化带来的冲击挑战,关键在于提高发展质量,提升国际竞争力,增强国家综合实力和抵御风险能力,有效维护国家安全,实现经济行稳致远。经济、社会、文化、生态等各领域都要体现高质量发展的要求。此外,还要构建以国内大循环为主体、国内国际双循环相互促进的新发展格局,这是提升经济发展水平的战略抉择,也是塑造国际经济合作和竞争新优势的战略抉择。

作为下一个五年及更长远国民经济发展的指引性文件,“十四五”规划既影响宏观经济结构调整,也影响产业及企业的转型升级。企业要着重关注疫情影响下的国内国际双循环及产业安全,切实地聚焦主业;要在经济业务活动中深入洞察科技对业务的影响,累计和提升科技在产业的应用及转化。CIO等企业管理者都需要思考,如何充分运用大数据、5G、区块链等新一代信息技术,做好行业领域和企业范围内的应用创新,推动企业的高质量发展。

把握四大方向,加快产业数字化创新在企业层面,CIO的工作重点在于“Influence”(影响)。CIO要帮助企业或者CEO做出长期的业务战略,利用科技支持业务发展。“十四五”期间,数字化转型是企业发展的重中之重。但对于很多企业来说,“转什么”“怎么转”成为当前最大的困惑。

国务院国资委印发的《关于加快推进国有企业数字化转型工作的通知》提出了四个数字化转型可行的方向,即国有企业要从真正获得转型价值出发,从产品、生产运营、用户服务、产业体系四个方面系统推进数字化转型。

建设银行强势打造智慧生态,全面解析建行非金融场景营销

在这个飞速发展的时代,互联网走进了家家户户的生活。

建行以客户为中心,用心为客户搭建互联网金融生态圈,将银行、客户、第三方服务商融为一体,互惠互利,共存共荣。

除了全渠道的金融服务,建设银行围绕客户衣食住行的生活需求,用互联网思维和技术改造传统商业模式和组织模式,践行综合性、多功能、集约化、创新银行、智慧银行的转型要求,构建全渠道产品和服务高度融合的建行金融生态圈,进一步扩大覆盖客户群体,完善金融服务和非金融服务,优化业务流程,提高服务质量,真正让客户享受到互联网金融发展的成果。

上一篇 《建设银行开启“第二曲线”,构建伙伴式智慧生态》 中,DMA数字化营销咨询团队,通过调研建设银行年度报告、建设银行手机银行APP、善融商务APP、微信公众号(建设银行、龙卡信用卡、建行龙支付等)、微信小程序等渠道的非金融场景生态建设现状,深入了解建设银行在非金融服务方面多功能、交互式的全渠道获客与客户服务模式。

本篇我们将对建行非金融场景生态进行研究分析,为大家继续解析建设银行非金融场景的战略规划与布局。

建设银行坚持纵深推进“三大战略”落地,通过 探索 智能化、场景化业务模式,开拓新金融发展路径,助力发展“第二曲线”。

住房租赁方面,建行以子公司建信住房服务有限责任公司为载体,参与住房租赁市场建设,加大 社会 租赁房源供给。如:

普惠金融方面,为改善农村金融服务“最后一公里”问题,建设银行创新打造乡村振兴综合服务平台“建行裕农通”,为县域乡村客户提供集智慧政务、便民事务、电子商务、金融服务于一体的一站式综合服务。

截至 2019 年末,“建行裕农通”普惠金融服务点已基本覆盖全国行政村,为数千万农户提供便民、政务及金融服务。

金融 科技 方面,建设银行积极推进服务平台建设,以金融 科技 支持业务发展。

在非金融场景生态过程中,住房租赁战略、浦惠金融战略的推进,促进了建设银行与政府、企业建立银企、银政联合服务关系,为进一步构建B端、G端生态奠定了基础。

而金融 科技 战略的推进,以技术驱动渠道平台建设,以平台聚合场景服务能力,以渠道扩大场景覆盖面,真正意义上实现了B端赋能、G端连接。可以说,住房租赁与普惠金融是非金融场景生态建设的业务原型与底层构想,而金融 科技 则是非金融场景生态建设的驱动因素与技术保障。

在构建非金融场景生态的过程中,建设银行采取了 三大措施 :

“善融商务”是建设银行自建的电子商务平台,也是银行业首家电商平台。目前,善融商务商城有个人商城、企业商城两个版本,分别面对个人用户和企业用户。

个人商城作为B2C线上消费平台,通过入驻商户、加盟商家向消费者提供产品、物流及售后服务,能满足个人用户的线上购物、公益扶贫等非金融需求及交易结算、消费分期等金融需求。

企业商城作为B2B电子采购平台,为买卖双方及专业市场管理方提供供求信息展示、企业商铺展示、专业市场展示、资讯展示、推荐信息展示等电商服务及支付、结算、融资等金融服务,很大程度上解决了供采双方在时间和空间上的距离,实现了信息流、物流和资金流“三流合一”。

图:善融商务个人商城

图:善融商务企业商城

智慧城市是运用信息和通信技术手段感测、分析、整合城市运行核心系统的各项关键信息,从而对包括民生、环保、公共安全、城市服务、工商业活动在内的各种需求做出智能响应。

其实质是利用先进的信息技术,实现城市智慧式管理和运行,进而为城市中的人创造更美好的生活,促进城市的和谐、可持续成长。

商业银行作为金融机构,在智慧城市建设过程中向智慧城市服务商、供应商、运营商提供金融服务,这有利于促进银行与非银机构进行深入合作、深度融合。

建设银行以“金融+产品+服务”为抓手,构建起了智慧政务、智慧生活、智慧社区、智慧菜篮、智慧医疗、智慧出行、智慧 旅游 、智慧教育、智慧商业、智慧公益10个领域的智慧生态圈,全方位实现B端赋能、G端链接。

G端方面,建设银行致力于围绕“智慧政务”密切政府 G 端链接。三大战略提出以来,建设银行 探索 新金融模式、利用金融 科技 打造了“智慧政务服务平台”,提供工商注册、公积金社保查询、税务登记、交通罚款缴纳等政务服务。

智慧政务通过银政系统对接的方式整合了“跨地区、跨部门、跨层级”的各类政务服务,在APP、自助终端、裕农通等多渠道实现了人民群众政务事务的“就近办、快速办”,联通了政府(G端)与人民群众(C端)。截至2019年末,智慧政务累计办理业务量超过 3000 万件。

B端方面,建设银行以多元化的智慧+服务实现社区、医疗、教育、 旅游 、出行等多行业外场景批量获客和金融服务输出。以智慧校园为例,建设银行通过对接幼儿园、中小学、大中专高校的缴费系统,向学生群体提供学杂费缴纳、校园一卡通充值等服务,相比传统缴费收费方式,智慧校园缴费具备方便、快捷、易操作等优点。

在智慧城市建设的背景下,银行提供的金融服务不再是单一的金融产品,而是将金融、产品、场景融为一体的场景式解决方案,既有利于在开放共享的模式下提升客户体验,也有利于在“智慧金融”服务中寻求新的业务增长点。

在场景生态建设过程中,建设银行与其他银行一样,也采取了“多方参与、优势互补”的开放式融合共建模式,通过引入第三方服务平台/企业构建场景生态。

通过第三方企业/平台与场景的融合情况来看,建设引入第三方可达成两大目标:

一是优化智慧生态,实现场景化一站式服务。

二是丰富场景类型,满足用户多样化需求。 如引入“管家帮”家政服务平台、“胖虎商城”、“齐家装修”“师傅邦”满足用户的便捷生活需求;引入“饿了么”外卖平台、“摩天轮”票务平台、“花加”鲜花订购服务商满足用户的 美食娱乐 需求。

通过引入外部平台达成智慧生态服务能力提升、场景类型逐渐丰富的目标,既有利于满足存量用户的需求,提升客户体验;又有利于从外部平台获取客户流量,增强场景获客能力。

建设银行场景相关的活动包括两大类,一是手机银行APP内围绕合作商户消费与互联网平台支付的满减活动,以提高持卡用户用卡量与活跃度为目标;二是善融商务APP内“善融寻宝记”活动平台内的签到、 游戏 、抽奖等活动,以APP拉新、促活为目标。

图:善融商务APP善融寻宝记活动平台

整体看来,手机银行APP通过与第三方商户/互联网平台合作推出活动,以满减折扣、限时领取优惠券等形式促进客户用卡,有利于提高信用卡消费量与消费额,但APP拉新、促活及其他场景相关的活动较少,需进一步加大APP运营与场景运营的力度。

善融商务APP围绕“善融寻宝记”活动平台推出系列活动,以新用户免费领取金币活动进行拉新,通过签到、 游戏 、抽奖、做任务等形式促活,同时以虚拟权益“金币”实现用户激励,极大程度上发挥了活动平台的运营价值,但缺乏与缴费、充值、购物等场景相关的活动。

建设银行APP内的权益包括券码、积分和虚拟权益3种。

券码 指在各类场景、活动中获取的商户代金券、优惠券、兑换券等。券码均需在APP内领取获得,在指定商户消费抵扣或兑换使用,能起到APP促活、提高用卡量与龙支付交易量等作用,同时消费成功后还可获取积分,通过权益循环实现了客户激励与促活;

积分 指通过消费、活动等方式获取的信用卡积分。积分权益通过用卡、消费等方式获取,可用于兑换商品或捐赠,与其他商业银行积分权益无甚差别;

虚拟权益 指用户在“善融寻宝记”活动平台中获得的奖励“金币”。虚拟权益“金币”在作为活动平台中的奖品,具有可兑换礼品的实际价值,能实现APP内的用户促活与激励。

从分析结果来看,建设银行在非金融生态建设中具备两大优势:

资源优势。 一方面,建行在多年的经营发展中积累了大量的政府客户、企业客户、零售客户资源,对场景生态的构建起到了重要推动作用;另一方面,建设银行作为国有商业银行,拥有雄厚的资金实力和大量的金融 科技 人才,为场景生态的构建与布局提供了财力、人力、物力等各方面的资源保障。

技术优势。 从数据驱动到能力开放,从渠道建设到场景布局,从打破部门数据壁垒到联动外部信息,人工智能领域、大数据领域、移动互联领域、物联网领域等各方面的技术对建行场景构建起到了重要的驱动、支撑、保障作用。

同时,建设银行在非金融生态建设中在活动运营、权益运营方面也需要进行持续优化:

活动运营。 目前建行APP内的活动主要围绕信用卡特约商户、惠生活商户,以促活与交易提升为目标,缺乏与生活缴费、商旅出行、 美食娱乐 等高频生活场景相关的活动,场景获客的能力没有得到充分发挥,可增设场景相关的优惠、推广活动。

权益运营。 与缺乏场景化活动相对应,建行权益与场景的结合度也有待提升,可针对饮食、 娱乐 等覆盖面广的场景增加一些定时发放的常态化权益,提高APP客户的活跃度;针对车主生态等新布局的成精,可限时发放一些免费权益进行场景拉新,实现存量客户与外部渠道客户的场景获客。

具体来看,通过聚焦用户需求,建立用户多场景网络,持续优化用户体验,各大银行都在积极不断探寻更加适合用户的定制化服务,最终在迭代中实现用户价值的持续挖掘。

免责声明:本文转载或采集自网络,版权归原作者所有。本网站刊发此文旨在传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及版权、内容等问题,请联系本网,我们将在第一时间删除。同时,本网站不对所刊发内容的准确性、真实性、完整性、及时性、原创性等进行保证,请读者仅作参考,并请自行核实相关内容。对于因使用或依赖本文内容所产生的任何直接或间接损失,本网站不承担任何责任。

标签: 数据湖

“浅谈G行数据湖平台建设-实现数据共享与融合-赋能业务创新 (gr数据)” 的相关文章

迎接数据价值释放的黄金时代-通用数据湖仓一体架构 (发挥数据价值)

迎接数据价值释放的黄金时代-通用数据湖仓一体架构 (发挥数据价值)

引言 组织的云数据之旅通常遵循一种熟悉的情节,奖章架构提供了一种概念化该过程的方法。现代数据栈通常通过将操作数据复制到云数据仓库中的青铜层来创建,然后对这些数据进行清理、质量审核和准备,形成...