Skip to content

Latest commit

 

History

History

zh_CN

Linkis

License

English | 中文

引言:

       Linkis 在上层应用和底层引擎之间构建了一层计算中间件,上层应用只需对接 Linkis 提供的 REST/WS/JDBC 等标准接口,就能连接到 MySQL/Spark/Hive/Presto/Flink 等各种底层计算存储引擎,并实现上层应用间的互通。

       作为计算中间件,提供强大的连通,复用,扩展和管控能力。并通过解耦应用层和引擎层,简化复杂的网状调用关系,降低整体复杂度和开发、运维成本。

       自2019年开源以来,累计试用企业近 700 家,沙箱试用用户 1000+,涉及 互联网、金融、通信等多个行业,被很多企业用作大数据平台底层计算存储引擎组件的统一入口。

       没有 Linkis 之前如下:

原大数据生态图

       有了 Linkis 之后如下:

Linkis效果图

       基于Linkis计算中间件的架构设计理念,我们在上层构建了很多的应用系统。目前已开源的有:

       更多工具准备开源中,敬请期待!


已集成引擎列表

Engine Description Contributor Version 是否已发版? 使用文档
Flink Flink引擎。支持提交 FlinkSQL 代码,也支持以 Flink Jar 的方式提交给 Linkis Manager 启动 Yarn 应用。 hui zhu & WeDataSphere Linkis-1.1.0 否,预计2021年中 待完善
Impala Impala引擎。支持提交Impala SQL脚本。 hui zhu Linkis-0.12.0 否,预计4月 待完善
Presto Presto引擎。支持提交PrestoSQL脚本。 wForget Linkis-0.11.0 已开源 Presto 引擎使用文档
ElasticSearch ElasticSearch引擎。支持提交 SQL 和 DSL语法。 wForget Linkis-0.11.0 已开源 ElasticSearch 引擎使用文档
Shell Shell引擎。支持提交Shell脚本 WeDataSphere Linkis-0.9.3 已开源 Shell 引擎使用文档
MLSQL MLSQL引擎。支持提交MLSQL脚本。 WilliamZhu Linkis-0.9.1 已开源 MLSQL 引擎使用文档
JDBC JDBC引擎。支持提交 MySQL、HiveSQL等脚本。 WeDataSphere Linkis-0.9.0 已开源 JDBC 引擎使用文档
Spark Spark引擎。支持提交 SQL、Scala、Pyspark、R等脚本。 WeDataSphere Linkis-0.5.0 已开源 Spark 引擎使用文档
Hive Hive引擎。支持提交HiveQL脚本。 WeDataSphere Linkis-0.5.0 已开源 Hive 引擎使用文档
Python Python引擎。支持提交Python脚本。 WeDataSphere Linkis-0.5.0 已开源 Python 引擎使用文档
TiSpark TiSpark引擎。支持以SparkSQL的方式查询TiDB数据 WeDataSphere Linkis-0.5.0 已开源 待完善

谁在使用 Linkis


文档说明

       Linkis 统一使用 GitBook 进行管理,整个项目会整理成一个 GitBook 电子书,方便大家下载和使用。

       WeDataSphere后续会提供统一的文档阅读入口,关于 GitBook 的使用方式,请参考:GitBook文档


文档贡献

       贡献文档和代码前,请先阅读 Linkis贡献规范,了解如何贡献,并提交您的贡献。


社区交流

交流


License

       Linkis is under the Apache 2.0 license. See the License file for details.