J9集团

  • Modelb@nk5.0未来银行架构
  • “乾坤”企业级数智底座
  • 平台级产品
  • AI+金融解决规划
  • 银行行业解决规划
  • 其它沉要行业解决规划
银行行业解决规划
  • 主题利用产品族

    聚焦主题业务系统建设,支持数字化转型

  • 云推算产品族

    提供云原生架构解决规划

  • 数据智能产品族

    以数据中台为主题的数据全性命周期产品

  • 智能银行(网点)产品族

    覆盖智能风控、远程视频银行等场景化产品

  • 数字金融产品族

    通过盛开银行等延长互联网金融产品

  • 信贷治理产品族

    覆盖信贷全流程,助力普惠金融

  • 风险治理产品族

    提供信誉风险与本钱计量产品

  • 科技监管产品族

    聚焦监管合规,强化金融系统安全性

其它沉要行业解决规划
  • 金融信创

    散布式主题系统国产适配,构建金融安全底座

  • 行业信创

    全栈式信创云平台,驱动多行业自主可控

  • 基于云原生的智能服务

    云原生+AI驱动,全栈式火速部署与智能运维

  • 量子通讯

    量子密钥分发技术,构建金融级安全通讯网络

  • 农业村落场景金融

    数字技术赋能农业产融,构建智慧村落生态

  • 中幼微场景金融

    大数据风控+线上化服务,破解幼微融资难题

  • 数字供给链金融

    区块链+AIoT技术整合,优化产融协同效能

  • 数字人民币场景利用

    智能合约+多载体支付,拓展消费场景

  • 征询规划
  • 行业数字化转型
  • 软件及服务
征询规划
  • 金融征询服务

    面向银行11大领域32个征询产品

  • 业务征询

    数字化战术、经营造模、零售与绿色信贷征询

  • 数字化征询

    科技战术与系统群架构及治理研发规划等

  • 数据治理征询

    企业整体战术导向全局数据治理与利用规划

  • PMO治理征询

    萦绕项目进行全性命周期管控与专家赋能

  • 金融信创征询

    3-5年信创工作整体规划造订

行业数字化转型
  • 企业AI利用场景解决规划(建设中)

    泛行业AI数智化解决规划

  • 企业IT治理服务产品族

    散布式架构+智能运维平台,全性命周期IT治理

  • 企业IT治理服务解决规划

    丰硕的IT治理解决规划,保险业务陆续性

  • 企业数字化转型服务

    科研知识产权规划,提升全性命周期治理能力

  • 工业数字化转型服务

    工业智能体+物联网优化出产,打造数智工厂

软件及服务
  • 研发治理及DevOps

    云原生+DevOps全性命周期平台

  • 自动化产品

    自动化建模、执杏注测试、业务流程自动化

  • 测试解决规划

    AI+TMMi赋能全性命周期测试,智能天生用例

  • 征询及表包

    全性命周期IT服务,PMO征询与行业级交付

首页- J9集团国际站官网入口
数字中国·星火文集 | GitLab在CockroachDB和YugabyteDB上的兼容性对比测试
颁布功夫:2022-06-23

news_20220626_10_01

GitLab在CockroachDB

和YugabyteDB上的兼容性

J9集团数码集团

何傲

news_20220626_10_02

1.

测试布景

GitLab是一款在全球领域内都极度盛行的源代码治理工具,早期的版本傍边用户能够选择使用MySQL或PostgreSQL两种数据库,但是从12.1.0版本起头官方就齐全烧毁了对MySQL的支持。

news_20220626_10_03

GitLab新版本中好多职能都基于PostgreSQL的个性开发,它是多多使用了PostgreSQL作为底层数据存储的标杆产品。

我们试想一下这种用户场景,某大型集团分为多多事业部,每个事业部甚至幼团队可能都守护了自己的GitLab,从集团层面若何治理这些仓库就成了辣手的问题。好比:

• 版本问题(开源版和贸易版,高版本和低版本)

• 精密化权限节造

• 数据备份

• 基础设施利用率

若是能有一套统一的GitLab环境,同时又具备优良的可扩大性和高可用性,那无疑是最好的解决规划。但是传统单机PostgreSQL数据库并不能满足以上需要,那能否思考把GitLab跑在散布式数据库上?

CockroachDB和YugabyteDB是目前比力驰名的实现了PG和谈的新型开源散布式数据库,凭据各自官网的描述:

CockroachDB supports the PostgreSQL wire protocol and the majority of PostgreSQL syntax. This means that existing applications built on PostgreSQL can often be migrated to CockroachDB without changing application code.

原文出处:https://www.cockroachlabs.com/docs/v21.1/postgresql-compatibility.html

YugabyteDB is a high-performance, cloud-native distributed SQL database that aims to support all PostgreSQL features.

原文出处:https://github.com/yugabyte/yugabyte-db

CockroachDB说支持绝大无数的PG语法,YugabyteDB说支持所有的PG个性,本系列测评文章用于对比这两款数据库对GitLab的支持水平若何,肯定水平上能反映出对尺度PostgreSQL的兼容情况。

2.

系统初始化

测试环境

news_20220626_10_04

用尺度PostgreSQL部署的GitLab蕴含的数据库schema为:

news_20220626_10_05

CockroachDB启动流程

1、数据库初始化执行GitLab setup法式天生所必要的库表结构:

news_20220626_10_06

从上面的输出信息能够看到,GitLab初始化必要依赖PostgreSQL的Extension个性,但是很遗憾CockroachDB目前还不支持,在第一步就失败了,此时数据库中没有创建任何对象:

news_20220626_10_07

2、接见GitLab

news_20220626_10_08

从日志来看,是由于SQL执行的时辰找不到指标表报错:

news_20220626_10_09

3、更新数据库版本

思考到当前CockroachDB不是最新版本,有没有可能最新版已经支持extension职能,尝试升级一下版本到latest-v22.1:

news_20220626_10_10

再次执行setup创建数据库,发现还是报一样的问题“ActiveRecord::StatementInvalid: PG::FeatureNotSupported: ERROR: unimplemented: extension "pg_trgm" is not yet supported”,注明新版本也无法支持extension个性。

YugabyteDB启动流程

1、数据库初始化

批改GitLab配置文件把数据库衔接切换到YugabyteDB,用一样法子初始化一个新库:

news_20220626_10_11

从以上输出信息能够看出,刚起头setup运行正常,能够正常创建extension和table,持续约20分钟后际遇创建索引失败,原因是YugabyteDB不能鉴别“gin”类型的索引,取而代之的类型是“ybgin”。

看一下到这一步数据库天生了哪些对象:

news_20220626_10_12

情况看起来比CockroachDB要好一些,但是比齐全的库表结构还是差好多。

2、接见GitLab

此时依然无法接见GitLab主页面,从日志里面发现报错原因是短缺指标表:

news_20220626_10_13

news_20220626_10_14

3、更新数据库版本

同样地,我们尝试把YugabytesDB升级到最新版本,看是否已经实现了Gin索引兼容:

news_20220626_10_15

再次执行setup法式,这个过程比力顺利,约莫30分钟以来法式正常退出无报错。这时辰我们看一下数据库中的对象情况:

news_20220626_10_16

能够看到和尺度PostgreSQL库对比齐全一致。打开浏览器接见GitLab主页会自动跳转到登录页,查看日志无报错:

news_20220626_10_17

填写用户注册表单提交后新用户注册成功,自动跳转到GitLab主页面:

news_20220626_10_18

初步来看,GitLab职能没有受到切换数据库的影响,更具体的测试将鄙人一期中给各人出现。

测试幼结

1、CockroachDB v21.2不支持Extension职能,导致GitLab无法初始化数据库,最终启动失败,更新到最新版本v22.1后问题仍旧存在。

2、YugabyteDB v2.9不支持Gin Index(Generalized inverted indexes),导致创建一部门表后报错,同样无法启动,但是更新到最新版本v2.13后问题解决,能够正常接见GitLab页面以及注册用户。

3、YugabyteDB支持PostgreSQL Extension,CockroachDB不支持。

下一步我们将尝试绕过GitLab天生数据库这一步骤,把一个带数据的尺度GitLab库导入到CockroachDB和YugabyteDB中,拔取一部吩斓繁使用的读写场景,再对比两者的兼容性阐发。

3.

读写场景测试

测试环境

news_20220626_10_19

测试环境

news_20220626_10_20

测试过程

单一路见,我们直接使用pg_dump来做数据迁徙。

先从尺度库中把schema和数据导出到sql文件中:

pg_dump --host 10.3.70.132 --port 32298 --user postgres --no-owner -W gitlabhq_production > /root/gitlabhq_production.sql

1、CockroachDB数据迁徙

这里用psql客户端把备份出来的sql导入,若是执行过程中出现谬误会自动跳过,并把谬误信息打印出来:

psql --host 10.3.70.189 --port 26258 --user root gitlab -f /root/gitlabhq_production.sql > pg_import_crdb.log

从输出的谬误信息中观察重要蕴含以下两类:

描述: source SQL:

CREATE EXTENSION IF NOT EXISTS pg_trgm WITH SCHEMA public

^

提醒: You have attempted to use a feature that is not yet implemented.

See: https://go.crdb.dev/issue-v/74777/v22.1

psql:/root/gitlabhq_production.sql:30: ERROR: at or near "pg_trgm": syntax error: unimplemented: this syntax

描述: source SQL:

COMMENT ON EXTENSION pg_trgm IS 'text similarity measurement and index searching based on trigrams'

以上报错还是说extension不兼容的问题。

提醒: You have attempted to use a feature that is not yet implemented.

See: https://go.crdb.dev/issue-v/47420/v22.1

psql:/root/gitlabhq_production.sql:31396: ERROR: at or near ".": syntax error: unimplemented: this syntax

描述: source SQL:

CREATE INDEX index_issues_on_description_trigram ON public.issues USING gin (description public.gin_trgm_ops)

这个报错是由于CockroachDB还不支持operator class。不外这两个报错都是和索引有关,预计不会对DML操作有太大影响,临时先忽略。

看一下sql文件导入实现后数据库的情况:

news_20220626_10_21

除了差10个左右索引,其他都正常。这时辰把GitLab数据库指向到这个新库,启动法式看能否打开页面:

news_20220626_10_22

从日志来看正常跳转到登录页面无报错。再使用已有的用户看能否登录成功:

news_20220626_10_23

2、YugabyteDB数据库迁徙

用前面同样的步骤把sql文件导入到YugabyteDB中:

psql --host 10.3.70.189 --port 5434 --user postgres gitlab -f /root/gitlabhq_production.sql > pg_import_ygdb.log

约莫执行了1个多幼时,整个过程没报错,查抄一下数据库对象:

news_20220626_10_24

与尺度库一致。

批改数据库衔接沉启GitLab,再尝试打开页面登录已有效户,发现登录成功并跳转到首页。

news_20220626_10_25

3、场景对比

news_20220626_10_26

场景名称:Project View

CockroachDB

news_20220626_10_27

YugabyteDB

news_20220626_10_28

对比了局:两者都支持

场景名称:Repository View

CockroachDB

news_20220626_10_29

YugabyteDB

news_20220626_10_30

对比了局:两者都支持

场景名称:Branch List

CockroachDB

news_20220626_10_31

YugabyteDB

news_20220626_10_32

对比了局:两者都支持

场景名称:Issue List

CockroachDB

news_20220626_10_33

YugabyteDB

news_20220626_10_34

对比了局:两者都支持

场景名称:Issue View

CockroachDB

news_20220626_10_35

YugabyteDB

news_20220626_10_36

对比了局:两者都支持

场景名称:Merge Request List

CockroachDB

news_20220626_10_37

YugabyteDB

news_20220626_10_38

对比了局:两者都支持

场景名称:Merge Request View

CockroachDB

news_20220626_10_39

YugabyteDB

news_20220626_10_40

对比了局:两者都支持

场景名称:Project Members

CockroachDB

news_20220626_10_41

YugabyteDB

news_20220626_10_42

对比了局:两者都支持

场景名称:New Project

CockroachDB

news_20220626_10_43

YugabyteDB

news_20220626_10_44

对比了局:CockroachDB:进入到创建项目页面返回500异常,日志报错信息。“ActionView::Template::Error (PG::UndefinedColumn: ERROR: column “namespaces.rowid” does not exist”。YugabyteDB:提交导入要求后持续加载中,观察日志无报错,一段功夫后跳转到创建好的项目页面。

场景名称:GitLab Import

YugabyteDB

news_20220626_10_45

对比了局:CockroachDB:不能进去到新建项目页面,无法导入项目。YugabyteDB:提交导入要求后持续加载中,观察日志无报错R苫笫莋itlab权限问题,改用root用户沉启gitlab法式后导入成功。

场景名称:New Commit

CockroachDB

news_20220626_10_46

YugabyteDB

news_20220626_10_47

对比了局:两者都支持

场景名称:Create Branch

CockroachDB

news_20220626_10_48

YugabyteDB

news_20220626_10_49

对比了局:两者都支持

场景名称:Create Issue

CockroachDB

news_20220626_10_50

YugabyteDB

news_20220626_10_51

对比了局:两者都支持

场景名称:Create Merge Request

CockroachDB

news_20220626_10_52

YugabyteDB

news_20220626_10_53

对比了局:两者都支持

场景名称:PR Merge

CockroachDB

news_20220626_10_54

YugabyteDB

news_20220626_10_55

news_20220626_10_56

对比了局:CockroachDB和YugabyteDB出现一样的情况:提交Merge要求后持续加载中,一段功夫后页面出现报错提醒,无法再次提交merge,日志无异常。

场景名称:Add Project Member

CockroachDB

news_20220626_10_57

YugabyteDB

news_20220626_10_58

对比了局:两者都支持

测试幼结

1、CockroachDB在所有测试的场景中3个最终失败,别离是新建项目、导入已有GitLab项目、PR Merge。

2、YugabyteDB在所有测试场景中有1个最终失败,即PR Merge。

从本次测试了局来看,YugabyteDB对GitLab兼容性要好一些,关于PR Merge报错是否和数据库有关还必要进一步排查。

下一步打算

接下来会凭据本次测试发现的问题进行分析定位,再尝试最幼化刷新Gitlab源码看能否兼容测试失败的场景。

news_20220626_10_59

news_20220626_10_60

【网站地图】