StoneDB 为国产数据库添砖加瓦,基于 MySQL 的一体化实时 HTAP 数据库正式开源!

语言: CN / TW / HK

本场开源发布会全程回放,我们已经上传至 B 站,错过的同学可以前往 B 站回顾哦~

B 站地址:http://www.bilibili.com/video/BV1mt4y187ZG

StoneDB 官方介绍:StoneDB 是一款支持行列混存+内存计算的 HTAP 数据库。其采用完全自主研发的存储和计算引擎,可将 MySQL 的分析性能提高 100 倍;其创新的一体化 HTAP 架构,打破传统 TP 型数据库能力边界,为用户提供一站式 OLTP+OLAP 解决方案。

一句话概括:StoneDB 一体化实时 HTAP 开源数据库

下面,让我们一起来回顾一下本次开源发布会的内容吧~

归来仍是少年——我们为什么要做国产开源数据库

石原子科技 CEO-叶健林(自修)

可以注意到,我们强调了两点,一点是国产,一点是开源,当提到为什么我们要做国产开源数据库时,石原子科技 CEO 叶健林表示,其实考虑的因素是多样的:

从时代背景来说,面对当前复杂的国际形势,掐脖子的核心技术很容易受到西方单边主义激进国家的封锁,而且我们已经被这些发达国家封锁过一轮了,由此可见,中国必须要坚持自主创新,在核心技术上实现国产化替代。而数据库作为基础软件,必然要走上国产化的道路。

从企业发展来说,数据库作为数字经济的底座,可以说是一条“长坡厚雪”的赛道,有将近千亿规模的市场空间,在整个大数据产业发展过程中,国产大数据基础软件会越来越多,未来 OLAP 一定是一个增量市场,石原子作为面向全球、全场景的数据库 AP 服务商,我们希望让客户的数据分析达到“快、好、省”。“数据价值在线化,省钱省心更安全”这是石原子的公司使命,也是我们公司创始团队坚持了七年的梦想,七年磨一剑,我们少年时的梦想,如今依然在追求,这冥冥中给我们一种使命感。

我今天也非常高兴的跟大家宣布我们的 StoneDB 正式开源了,这是一款全面兼容 MySQL 生态的实时 HTAP 数据库,也是国内首款开源的行列混存+内存计算架构的 HTAP 数据库。针对大多数中等客户而言,MySQL 仍然是主流选择,而当这些客户需要分析功能时,StoneDB 优势就有所体现了,StoneDB 的分析性能比 MySQL 快 100 倍,而且其架构与运维上的设计也会让客户整体的成本降低 30%以上,StoneDB 的核心价值就是让所有客户用最小化的代价获得 MySQL 生态的 AP 能力,客户不需要修改业务的一行代码。

大家在宣传上可能还看到我们用了“真正的 HTAP”这句话,我们认为“真正的 HTAP”要满足以下四个核心特点:

  1. 同一个数据库系统,而不是由多个数据库系统拼接而成。

  2. 使用了行列混存+内存计算的核心技术:无论是 Oracle 的 Heatwave,还是像 SQL Server,都是采用这种架构来设计的。

  3. 同一份数据消除了不同数据库之间数据迁移的工作和时延。

  4. 可以同时支持 OLTP 和 OLAP 业务的负载。

只有具备以上四个特点的数据库,才能真正地称为“HTAP”数据库。

那么,我们做 HTAP 数据库为什么要依靠 MySQL 生态来做呢?原因还是因为客户和市场,不得不承认的一点是,当今 MySQL 依然是最为流行的开源数据库之一,不仅是表现在统计数据上,我们的同学也实地拜访过很多客户,其中有大量的客户在使用 MySQL 处理关键的数据逻辑,这些使用 MySQL 的客户其实对数据实时分析的需求是日益增强的。而 HTAP 在学术界和工业界近十年受到了非常多的关注,原生 MySQL 一直侧重的只是加强事务处理的能力,但是在分析能力上有所欠缺,这让我们看到了创新和突破的空间。我们认为,HTAP 数据库真正的价值就是“简单、通用”,那些小数据量场景尤其是 10TB 以下的中小型客户,其实只需要一套数据库系统即可,而对于大数据量的场景的客户,HTAP 的性能其实不如单一的 OLAP 数据库、实时数仓或者大数据平台的。由此,我们的目标客户群体也非常明确了。

为什么我们石原子要去开源 StoneDB?

我们认为开源的核心价值就是:开源能够快速的验证产品、打磨产品,让更多人使用、获益、并进一步反哺产品和社区,共创共建产品生态。开源是与生态紧密结合的,越往底层的软件,越适合开源;越容易形成网络效应的软件,越适合开源。仅仅是作为单个数据库开源,其实价值不大,在这里,我也代表石原子科技希望可以同数据库行业所有友商共同做大国产数据库的开源生态。

开源是我们非常重要的一个战略方向,我们也非常清晰地认识到,仅仅将内核代码贡献出去不叫开源,而是要形成“三个 C”,那就是我们做的开源一定要围绕我们的核心代码(Code)、围绕我们的用户(Consumer)、围绕我们的开源社区(Community),形成一系列的闭环发展。

开源软件的商业化目前来讲,大多还是以售卖服务为主,现在来看,大多数开源软件的背后其实一个服务行业,我们在初期也是这样,石原子会基于 StoneDB 的内核开源去做好服务,去满足付费客户的一系列需求。

这里补充一段小故事,2012 年时,我有幸见到了后来数据库图灵奖的获得者 Michael Stonebraker,老爷子当时和我们分享了他对列式数据库未来的看法和 C-store 的一些 Paper,以及他后面著名的《One Size Fits All》的理论雏形,列式数据库其实算是 HTAP 发展过程中一个重要的起点,没想到 10 年之后的今天,我又走在了 HTAP 的探索道路上,StoneDB 数据库当初起名时,我们的团队讨论了很久,最后定了这个名字,其实也有对 Stonebraker 的一些尊敬意味在里面。

一体化 HTAP 架构填补 MySQL 分析能力空白

StoneDB 首席架构师李浩指出,真正的 HTAP 并不是 TP 系统与 AP 系统的简单叠加,如今市场的商业需求,要求 HTAP 可以同时处理 TP 和 AP 负载,并要用更少的技术栈,更简化的业务架构,来实现更好的实时性。StoneDB 的架构就是在这样的要求下产生的全新 HTAP 数据库。

作为国内唯一基于 MySQL 的开源 HTAP 数据库,StoneDB 亮点众多:StoneDB 是一款全面兼容 MySQL 的 HTAP 数据库,可以实现从 MySQL 到 StoneDB 的无缝切换,让用户以最小化代价获得 AP 能力,不需要业务端一行代码的修改。为众多 MySQL 用户提供【通用、兼容】的一站式 AP 能力增强方案,相比 MySQL 原生分析能力提升 100 倍以上。

此外其优势还包括:

完全兼容 MySQL

StoneDB 完全兼容 MySQL,无论是语法还是生态,MySQL 用户均可以无缝切换至 StoneDB。

简化架构和管理

众多企业对业务数据进行分析时,都会选择通过 ETL 工具将 TP 数据库中的数据导入至 AP 型数据库进行分析。不仅耗时耗力,而且架构复杂,极易出错。使用 StoneDB 无需复杂的 ETL,实现 Singe Database for OLTP and OLAP 。

真正的实时 HTAP

在同一数据库内同时支持 TP 和 AP 双引擎,数据在 TP 和 AP 引擎之间实现无时延同步,提升了数据分析的时效性,最大化兑现数据的商业价值。

分析性能强劲

相较于 MySQL,StoneDB 提供 10-100 倍的 AP 能力。亿级多表关联,急速响应,决策结果无需等待。

节约成本

无缝的业务迁移,无任何学习成本,StoneDB 自带高效压缩算法,对全量数据压缩,最高 40 倍压缩比。

完全开源

核心代码及相关生态工具完全开源,遵循 GPL-2.0 开源协议,自主可控,产品快速迭代演进。

开源地址:http://github.com/stoneatom/stonedb

StoneDB V2.0 架构图

展望未来,为进一步提升 StoneDB 性能,同时也为了减少 AP 负载在执行时对 TP 负载的影响,李浩表示,将在后续推出基于 in-memory column store 引擎的全新架构。该版本基于 MySQL 8.0 构建,可以 AP 负载的全内存计算。数据加载的方式,由 InnoDB 并行加载至 in-memory column store 中。同时,提供导入行为的监控能力,基于代价的新查询引擎,以及并行查询和向量化等技术也将会得到持续的迭代。

“快好省”标杆案例鼓舞市场

本次发布会上,首席运营官马骏对 StoneDB 数据库在 CRM 系统、智慧医院产品、智能园区大屏等三个典型场景的应用进行了分享。

StoneDB 在这些应用场景中,体现出了极其优秀的性能:

  1. 在 CRM 系统的私有化部署中,为用户节省了 52% 的成本;业务吞吐量(DTU)提升 68%;技术运维难度下降 50%。

  2. 在智慧医院场景下,复杂查询的平均执行时间从秒级下降到毫秒级;核心数据节点故障恢复时间从分钟级到秒级,同时节省成本 36%。

  3. 在智慧园区大屏系统中,StoneDB 实现了存储+计算成本降低 72%;数据分析时间从分钟级降到秒级。

欢迎数据库同行、开源爱好者、创业企业关注 StoneDB 的社区网站:http://stonedb.io

也欢迎大家关注 StoneDB 的开源代码仓库:http://github.com/stoneatom/stonedb

开源是很多科技企业创新、崛起,突破垄断的关键。作为国内首款基于 MySQL 的一体化实时 HTAP 开源数据库,StoneDB 会不断迭代升级,让产品更加完善,同时也会依靠开源社区的力量,在国产数据库中闯出自己的一片天空~

 

欢迎参与问卷答题抽奖:http://lucky.nocode.com/v2/s/8heXp5pJyjd

添加小助理,加入社区交流群

 

 

公众号:StoneDB

官网http://stonedb.io/

Githubhttp://github.com/stoneatom/stonedb

Slackhttp://stonedb.slack.com/join/