English | 中文
Linkis 在上层应用和底层引擎之间构建了一层计算中间件,上层应用只需对接 Linkis 提供的 REST/WS/JDBC 等标准接口,就能连接到 MySQL/Spark/Hive/Presto/Flink 等各种底层计算存储引擎,并实现上层应用间的互通。
作为计算中间件,提供强大的连通,复用,扩展和管控能力。并通过解耦应用层和引擎层,简化复杂的网状调用关系,降低整体复杂度和开发、运维成本。
自2019年开源以来,累计试用企业近 700 家,沙箱试用用户 1000+,涉及 互联网、金融、通信等多个行业,被很多企业用作大数据平台底层计算存储引擎组件的统一入口。
没有 Linkis 之前如下:
有了 Linkis 之后如下:
基于Linkis计算中间件的架构设计理念,我们在上层构建了很多的应用系统。目前已开源的有:
更多工具准备开源中,敬请期待!
Engine | Description | Contributor | Version | 是否已发版? | 使用文档 |
---|---|---|---|---|---|
Flink | Flink引擎。支持提交 FlinkSQL 代码,也支持以 Flink Jar 的方式提交给 Linkis Manager 启动 Yarn 应用。 | hui zhu & WeDataSphere | Linkis-1.1.0 | 否,预计2021年中 | 待完善 |
Impala | Impala引擎。支持提交Impala SQL脚本。 | hui zhu | Linkis-0.12.0 | 否,预计4月 | 待完善 |
Presto | Presto引擎。支持提交PrestoSQL脚本。 | wForget | Linkis-0.11.0 | 已开源 | Presto 引擎使用文档 |
ElasticSearch | ElasticSearch引擎。支持提交 SQL 和 DSL语法。 | wForget | Linkis-0.11.0 | 已开源 | ElasticSearch 引擎使用文档 |
Shell | Shell引擎。支持提交Shell脚本 | WeDataSphere | Linkis-0.9.3 | 已开源 | Shell 引擎使用文档 |
MLSQL | MLSQL引擎。支持提交MLSQL脚本。 | WilliamZhu | Linkis-0.9.1 | 已开源 | MLSQL 引擎使用文档 |
JDBC | JDBC引擎。支持提交 MySQL、HiveSQL等脚本。 | WeDataSphere | Linkis-0.9.0 | 已开源 | JDBC 引擎使用文档 |
Spark | Spark引擎。支持提交 SQL、Scala、Pyspark、R等脚本。 | WeDataSphere | Linkis-0.5.0 | 已开源 | Spark 引擎使用文档 |
Hive | Hive引擎。支持提交HiveQL脚本。 | WeDataSphere | Linkis-0.5.0 | 已开源 | Hive 引擎使用文档 |
Python | Python引擎。支持提交Python脚本。 | WeDataSphere | Linkis-0.5.0 | 已开源 | Python 引擎使用文档 |
TiSpark | TiSpark引擎。支持以SparkSQL的方式查询TiDB数据 | WeDataSphere | Linkis-0.5.0 | 已开源 | 待完善 |
Linkis 统一使用 GitBook 进行管理,整个项目会整理成一个 GitBook 电子书,方便大家下载和使用。
WeDataSphere后续会提供统一的文档阅读入口,关于 GitBook 的使用方式,请参考:GitBook文档。
贡献文档和代码前,请先阅读 Linkis贡献规范,了解如何贡献,并提交您的贡献。
Linkis is under the Apache 2.0 license. See the License file for details.