从博士论文到被各大厂应用,Alluxio 如何走过 7 年创业路
![从博士论文到被各大厂应用,Alluxio 如何走过7年创业路](http://static001.infoq.cn/resource/image/47/31/47921d7d28cd2d62980437926574bb31.jpeg)
今年 2 月,Alluxio 宣布以实现收入同比增长 3 倍的成绩结束了 2022 财年。“这个财年的业绩进一步表明了市场需要更好的方法来访问大规模分析和 AI/ML 应用程序中的数据,尤其是在分布式混合云和多云环境中。”Alluxio 创始人兼 CEO 李浩源表示。
事实上,从当初一个论文项目到如今被市值最大的十家公司中的七家使用,李浩源用了九年的时间。那么,Alluxio 这样一个基础软件领域的创企,是如何从零成长至取得如今成绩?Alluxio 又会如何应对当前动荡的市场呢?
起步:另辟蹊径的数据架构
2000 年初期,大数据伴随着互联网的蓬勃发展应运而生,从而衍生出整个数据科技的发展。从宏观角度看,数据科技可以分成两层:上层的计算和下层的存储。一直以来,存储占据了整个数据生命周期的绝大部分。
2013 年,北大毕业后来到伯克利攻读博士学位的李浩源在准备毕业论文时,自然而然地想要做存储相关的选题。但在调研了存储行业的发展历程后,李浩源发现,这个行业每 5~10 年就会发生一次革新,新产品取代上一代产品。同时,存储市场极其分散,没有一家企业的市场份额能占到 25%以上,也没有一款产品的数据存储量能占整个全球数据量的 5%以上。
有鉴于此,在存储领域做到改变行业的颠覆性创新,在可预见的未来几乎是不可能的。”李浩源说道,“但是,我们可以把存储里面的数据管理好,让这些数据更好地来服务上层数据应用,从而提高整个社会效率。”
带着这个想法,李浩源提出了一种新的架构,即将虚拟分布式文件系统(Virtual Distibuted File Syestem)作为计算层和存储层之间的新层,为上层 Spark、Presto、Tensorflow、Pytorch 等计算框架提供服务。
这就是李浩源的博士论文《虚拟分布式文件系统》研究的主题。这个项目在当时被称为 Tachyon,也是如今 Alluxio 的前身。
伯克利大学一直有开源的传统,李浩源顺应了这一传统,在第一时间将这个项目开源。开源后,李浩源发现整个技术演进路线的确在往其预想的方向发展,项目也有了越来越多的用户,收到了越来越多业界的正向反馈。
不过,要想实现更宏大的愿景就需要更加体系化的公司化运营,因此,2015 年,李浩源选择了创业。
创业初期,很多事情都要李浩源亲力亲为,但最重要的还是按照规划把产品打磨到 1.0 版本。“我们要把代码写好,大家对代码有了反馈后去进行支持或回应,把产品打磨的越来越好。”李浩源说道。
2016 年,Alluxio 1.0 版本正式发布,这是首个以内存为中心的虚拟分布式存储系统,统一了数据访问的方式,在上层计算框架和底层存储系统之间搭建了桥梁。
与此同时,Alluxio 开源社区也在不断发展。社区日常管理由 PMC(项目管理委员会)负责。而在有了更多用户后,李浩源开始把更多时间用在与用户和开发者交流上,希望参与进来的人可以为社区做出贡献。据悉,Alluxio 目前在 GitHub 上的贡献者已超过 1,200 人,社区 Slack 频道成员接近 10,000 人。
开源助力商业化
产品逐渐成熟后,Alluxio 开始进入商业化阶段。早期没有客户时候的商业化很难,但好在 Alluxio 的开源社区获得了一些行业和社区的认可,因此当这些开发者有需求的时候便会主动找到 Alluxio。李浩源也很重视与潜在用户的交流,帮助解决用户具体痛点,建立信任后再进行更大的合作。这样的方式,帮助 Alluxio 完成了早期用户积累。
Alluxio 的商业化模型与其他开源产品差不多,都是在开源版本基础上添加商业化功能,并以付费的企业版输出,企业版根据客户使用的节点情况收取费用。
据悉, Alluxio 企业版在全球市场客单价从几十万美元到数百万美元规模不等,客户多集中在科技、金融、电信等行业。李浩源此前表示,Alluxio 90%的客户都是全球五百强,产品已经得到很好的市场验证。
随着企业的发展,李浩源开始将精力放在为公司的整体发展和方向做出决策,以确保制定最为有效的战略,让公司成长为一家全球领先的企业。
实际上,自 Alluxio 创立以来,数据生态系统发生了巨大的变化,越来越多的企业开始上云。与在传统数据仓库中提供托管分析工作不同,云中的数据服务变得更加遥远(如从 S3 传输)、孤立(如分布在多个不同的区域或存储服务中),并且通常在性能上存在很大差异。
为此,在 2019 年的纽约 AWS 峰会上,Alluxio 发布了大版本 2.0,针对多云增加了多项功能,包括支持跨本地和任意数量云进行自动数据分层等,还为云计算优化数据访问、与 AWS Elastic Map Reduce (EMR) 服务集成等。
而最近发布的2.9版本增加了跨环境集群同步功能,支持横向扩展的多租户架构,显著改进在 Kubernetes 上部署的工具集和指南,增强 Alluxio 的易管理性,并通过优化 S3 API 和 POSIX API 实现安全性和性能提升。
如今,全球头部互联网企业 Facebook、Airbnb、Uber、阿里巴巴、腾讯和字节跳动等已经在生产环境里部署了 Alluxio 的软件系统;全球前六名的云厂商中有五家云厂商已经嵌入了 Alluxio 的技术;全球前两名的芯片厂商英特尔、英伟达也在使用 Alluxio。
同时,Alluxio 也正在全球扩大目标市场规模和研发运营覆盖范围,其中包括大力拓展国内市场业务,将北京设立为中国区总部,并成立本地化的研发团队。今年 9 月,Alluxio 还与北京大学计算机学院签署产学研合作框架协议。
如何“过冬”
作为创业公司,Alluxio 在科研方面一直在进行大量投入,员工人数相比之前也实现了三倍增长,并且还在进一步扩大公司执行管理团队等。这些投入的背后主要来自 Alluxio 自身快速增长的营收和投资人的支持。
一方面,Alluxio 在前年营收实现了同比 3.5 倍的增长,去年实现 3 倍增长。另一方面,Alluxio 一步步兑现甚至超额完成预期也得到了投资人坚定支持,比如 a16z 一直在加磅 Alluxio。
不过当前受疫情影响,资本进入“寒冬”,全球企业都在面临着一场生死“大考”,Alluxio 也不例外。对此,李浩源的应对之道就是“练内功”。
“在市场动荡的情况下,企业更多还是要做好核心根基。正所谓‘集中力量练内功’,本质上就是把核心产品做得更好,为你的核心客户带来更多的价值,让已有客户更满意,在此基础之上再扩张。”李浩源补充道,“这也是 Alluxio 一直以来的发展策略。”
结束语
未来,Alluxio 将继续加强对大规模数据分析、人工智能技术的支持,通过加强与 Kubernetes 的整合等方式,优化用户使用体验。而对于其进一步深入扩展全球市场能做出什么样的成绩,李浩源很有信心。
“兵来将挡,水来土掩,面对未来的种种困难,只要一一处理就好了。”李浩源说道。
内容转载自:InfoQ
作者:褚杏娟
想要了解更多关于Alluxio的干货文章、热门活动、专家分享,可点击进入【Alluxio智库】:
![](http://pic4.zhimg.com/80/v2-f5fec136108eacfde7e78c4f85ac7067_720w.webp)
- Alluxio跨集群同步机制的设计与实现
- 如何借力Alluxio推动大数据产品性能提升与成本优化?
- 2023年五大趋势预测 | 大数据分析、人工智能和云产业展望
- 如何用Alluxio加速云上深度学习训练?
- 【蚂蚁】Alluxio在蚂蚁集团大规模训练中的应用
- 从博士论文到被各大厂应用,Alluxio 如何走过 7 年创业路
- Presto on Alluxio By Alluxio SDS 单节点搭建
- Alluxio Local Cache 监控指南 Alluxio Alluxio
- 帮助 Meta 解决 Presto 中的数据孤岛问题
- B站基于Iceberg Alluxio助力湖仓一体项目落地实践
- 【联通】数据编排技术在联通的应用
- 【联通】数据编排技术在联通的应用
- Alluxio 源码完整解析 | 你不知道的开源数据编排系统(下篇)
- Alluxio 源码完整解析 | 你不知道的开源数据编排系统 (上篇)
- Meta(Facebook): 基于Alluxio Shadow Cache优化Presto架构决策
- Apache顶级项目Ranger和Alluxio的最佳实践(附教程)
- 金山云团队分享 | 5000字读懂Presto如何与Alluxio搭配
- 2min速览:从设计、实现和优化角度浅谈Alluxio元数据同步
- 华能 Alluxio | 数字化浪潮下跨地域数据联邦访问与分析
- 什么是一致性哈希?可以应用在哪些场景?