聚焦主题业务系统建设,支持数字化转型
提供云原生架构解决规划
以数据中台为主题的数据全性命周期产品
覆盖智能风控、远程视频银行等场景化产品
通过盛开银行等延长互联网金融产品
覆盖信贷全流程,助力普惠金融
提供信誉风险与本钱计量产品
聚焦监管合规,强化金融系统安全性
散布式主题系统国产适配,构建金融安全底座
全栈式信创云平台,驱动多行业自主可控
云原生+AI驱动,全栈式火速部署与智能运维
量子密钥分发技术,构建金融级安全通讯网络
数字技术赋能农业产融,构建智慧村落生态
大数据风控+线上化服务,破解幼微融资难题
区块链+AIoT技术整合,优化产融协同效能
智能合约+多载体支付,拓展消费场景
面向银行11大领域32个征询产品
数字化战术、经营造模、零售与绿色信贷征询
科技战术与系统群架构及治理研发规划等
企业整体战术导向全局数据治理与利用规划
萦绕项目进行全性命周期管控与专家赋能
3-5年信创工作整体规划造订
泛行业AI数智化解决规划
散布式架构+智能运维平台,全性命周期IT治理
丰硕的IT治理解决规划,保险业务陆续性
科研知识产权规划,提升全性命周期治理能力
工业智能体+物联网优化出产,打造数智工厂
云原生+DevOps全性命周期平台
自动化建模、执杏注测试、业务流程自动化
AI+TMMi赋能全性命周期测试,智能天生用例
全性命周期IT服务,PMO征询与行业级交付

图数据库在大数据加工
过程中的利用设想
J9集团控股
成扬

1.
大数据加工过程
大数据指极度重大、复杂的数据集,出格是来自新数据源的数据集,其规模之大令传统数据处置软件束手无策,却能援手我们解决以往极度辣手的业务难题。面对这样的挑战,业务人员通;崾褂玫礁骼啻笫葜卫淼墓ぞ,最终加工形成基础库与主题库,供上层利用系统使用。
通常的数据加工过程是先构建基础库与主题库的模型,这两个模型通常被称为数据模型。遵循数据模型,借助大数据加工组件,将数据从贴源层加工到基础库或主题库的过程即为数据加工。在数据加工过程中,遵循的数据加工的加工规划、加工流程、加工蹊径,通常被称为数据加工模型。
2.
大数据加工过程中遇到的一些挑战
大数据的加工过程重要是萦绕数据模型和数据加工模型发展的。这个过程中有两个难点:一是若何规划数据模型以及数据加工模型;二是对于动态数据,若何调整与优化数据模型以及数据加工模型。
传统的做法是通过业务逻辑梳理,凭据对业务的理解水平以及数据梳理的经验,设计数据模型和数据加工模型,并萦绕这两个模型发展数据加工的工作。这样的做法,很难判定数据模型的设计的曲直,以及是否会增长数据加工模型的复杂度从而影响整个数据加工的过程。与此同时,面对新增的数据源,很难对数据模型以及数据加工模型进行动态的、实时的优化与调整。由于数据量大,在数据加工模型的优化过程中,未免会造成一些数据加工蹊径的疏漏,进而影响基础库与主题库的覆盖领域。
3.
图建模与数据模型的类似性
数据模型最终出现的了局有多种大局,最常见的是数据库E-R图(暗示实体及实体间关系的图)。凭据业务属性的分歧,将分歧的数据进行归类整合,形成基础表;”碛牖”碇渫ü谓幼侄谓邢谓。所有的数据,最终都能通过这种关联关系,与数据所描述的对象进行关联。这样的建模了局,就很类似于图数据库中的关系网。凭据与数据对象的关系远近,将数据进行了分类,统一类数据归并到一张基础表中。

而在图的理解下,数据加工模型相当于将相当于将多张图(贴源层业务数据),整合成一张图(基础库、主题库)的加工过程。

因而能够思考利用图数据库,构筑图模型的步骤,来实现传统数据模型以及数据加工模型搭建过程中遇到的难题。
利用图数据库构建数据模型的步骤
凭据图模型与数据模型的类似性,笔者提出了一种构建数据模型的步骤:
1、将贴源层的元数据信息导入到图数据库中。以元数据为节点,在统一张数据表中的元数据成立关系,关系的属职能够依照地点表定名。这样就得到了第一层的底图。这个底图有多张图组成,每张图代表一张贴源层的数据表。
好比从两张分歧的业务数据表:

将元数据信息导入到图数据库中,形成了两张图:

2、凭据已知的库表关联关系,在图层成立图与图之间的关系。当然这个关系是成立在图中某个节点与另一张图中的某个节点的关系连线的基础之上的。好比这两张表是通过字段zjhm和Cret_number进行关联的。

3、利用已梳理的数据尺度,数据尺度会映射到数据字段上,对应到图上就是特定的节点。好比用户的姓名,这个数据尺度映射到多张表的分歧字段上(name和User_name),在业务逻辑上,它们都是指用户的姓名信息,在后续的数据加工中,必要进行数据的融合。

4、凭据尺度中的字段名称,批改尺度所映射的节点名称。将这些的节点进行融合。这样就构筑成了第二个图层。

第一个图层,对应的是贴源层数据,第二个图层对应的是基础库或者主题库。
利用图库的中心算法,将第二个图层中的数据进行归类,凭据与中心节点的关系远近,形成分歧的数据团组;而数据团组进一步能够整顿形成基础数据表,即实现了数据模型的设计。
图层一造成图层二的过程即数据加工模型的过程。利用图模型反推、以及最幼蹊径算法,能够获得数据的加工模型。
利用图库构筑的数据模型。由于是通过图层一(贴源层)经过加工聚合后形成的图层二(基础库、主题库),所以在图层二中会最大可能的保留图层一种数据之间的内容逻辑关系。通过中心算法,构建的数据模型,会最大水平利用贴源层现有的数据结构,削减数据加工的处置步骤,从而降低数据加工模型设计的复杂度。
新增长的数据源,相当于图层一中新增长了几个数据节点,通过图的加工逻辑,能够实时的对图层二进行建改,从而急剧的推导出数据模型以及数据加工模型批改内容以及批改规划,预防手工优化模型的过程中产生的一些疏漏。
4.
结语
本文基于图模型与数据模型的类似性,设想了一种用图数据库来构建数据模型的步骤。利用这种步骤,得出的数据模型能够削减数据加工模型设计的复杂度;并且面对新增数据源时,对数据模型以及数据加工模型的优化、调整也越发轻便。

