From 7028018120729c71dac27e027538b97b908b00cd Mon Sep 17 00:00:00 2001 From: binbincheng <106590848+binbinCheng@users.noreply.github.com> Date: Wed, 4 Jan 2023 16:00:03 +0800 Subject: [PATCH] [ISSUE-390]Optimize document details (#644) --- docs/about/configuration.md | 36 +-- docs/about/introduction.md | 24 +- .../service-architecture/service_isolation.md | 2 +- docs/deployment/deploy-quick.md | 6 +- docs/deployment/directory-linkis.md | 292 ------------------ docs/deployment/integrated/_category_.json | 2 +- docs/deployment/version-adaptation.md | 5 + docs/development/config.md | 4 +- docs/tuning-and-troubleshooting/overview.md | 2 +- docs/upgrade/upgrade-from-0.X-to-1.0-guide.md | 2 +- docs/user-guide/console-manual.md | 105 ------- docs/user-guide/dynamic-variables.md | 2 +- docs/user-guide/sdk-manual.md | 2 +- .../current/about/configuration.md | 36 +-- .../current/about/introduction.md | 54 ++-- .../service-architecture/service_isolation.md | 3 +- .../current/deployment/deploy-console.md | 2 - .../current/deployment/deploy-quick.md | 92 +++--- .../current/deployment/directory-linkis.md | 2 +- .../current/deployment/install-engineconn.md | 2 +- .../deployment/integrated/_category_.json | 2 +- .../current/deployment/version-adaptation.md | 5 + .../current/development/config.md | 2 +- .../how-to-write-unit-test-code.md | 2 +- .../tuning-and-troubleshooting/overview.md | 2 +- .../upgrade/upgrade-from-0.X-to-1.0-guide.md | 2 +- .../current/user-guide/console-manual.md | 198 ------------ .../current/user-guide/datasource-manual.md | 2 +- .../current/user-guide/sdk-manual.md | 2 +- .../version-1.0.2/introduction.md | 24 +- .../version-1.0.2/user-guide/sdk-manual.md | 2 +- .../version-1.0.3/user-guide/sdk-manual.md | 2 +- .../version-1.1.0/introduction.md | 2 +- .../version-1.1.0/user-guide/sdk-manual.md | 2 +- .../version-1.1.1/deployment/quick-deploy.md | 9 +- .../deployment/start-metadatasource.md | 2 +- .../development/linkis-config.md | 2 +- .../version-1.1.1/introduction.md | 54 ++-- .../version-1.1.1/user-guide/sdk-manual.md | 2 +- .../version-1.1.2/user-guide/sdk-manual.md | 2 +- .../version-1.1.3/user-guide/sdk-manual.md | 2 +- .../service_isolation.md | 3 +- .../version-1.2.0/deployment/quick-deploy.md | 9 +- .../deployment/start-metadatasource.md | 2 +- .../development/linkis-config.md | 2 +- .../version-1.2.0/introduction.md | 54 ++-- .../upgrade/upgrade-from-0.X-to-1.0-guide.md | 2 +- .../version-1.2.0/user-guide/sdk-manual.md | 2 +- .../service_isolation.md | 3 +- .../version-1.3.0/deployment/deploy-quick.md | 9 +- .../deployment/directory-linkis.md | 2 +- .../version-1.3.0/development/config.md | 2 +- .../version-1.3.0/introduction.md | 54 ++-- .../upgrade/upgrade-from-0.X-to-1.0-guide.md | 2 +- .../user-guide/datasource-manual.md | 2 +- .../version-1.3.0/user-guide/sdk-manual.md | 2 +- 56 files changed, 281 insertions(+), 866 deletions(-) delete mode 100644 docs/deployment/directory-linkis.md delete mode 100644 docs/user-guide/console-manual.md delete mode 100644 i18n/zh-CN/docusaurus-plugin-content-docs/current/user-guide/console-manual.md diff --git a/docs/about/configuration.md b/docs/about/configuration.md index 810c0d03aa8..b0f940d8e88 100644 --- a/docs/about/configuration.md +++ b/docs/about/configuration.md @@ -4,11 +4,11 @@ sidebar_position: 3 --- -# 1. Recommended configuration of hardware and software environment +## 1. Recommended configuration of hardware and software environment Linkis builds a layer of computing middleware between the upper application and the underlying engine. As an open source distributed computing middleware, it can be well deployed and run on Intel architecture servers and mainstream virtualization environments, and supports mainstream Linux operating system environments -## 1.1. Linux operating system version requirements +### 1.1. Linux operating system version requirements | OS | Version | | --- | --- | @@ -19,11 +19,11 @@ Linkis builds a layer of computing middleware between the upper application and > **Note:** The above Linux operating systems can run on physical servers and mainstream virtualization environments such as VMware, KVM, and XEN -## 1.2. Server recommended configuration +### 1.2. Server recommended configuration Linkis supports 64-bit general-purpose hardware server platforms running on the Intel x86-64 architecture. The following recommendations are made for the server hardware configuration of the production environment: -### Production Environment +#### Production Environment | **CPU** | **Memory** | **Disk type** | **Network** | **Number of instances** | | --- | --- | --- | --- | --- | @@ -34,7 +34,7 @@ Linkis supports 64-bit general-purpose hardware server platforms running on the > - The above recommended configuration is the minimum configuration for deploying Linkis, and a higher configuration is strongly recommended for production environments > - The hard disk size configuration is recommended to be 50GB+, and the system disk and data disk are separated -## 1.3. Software requirements +### 1.3. Software requirements Linkis binary packages are compiled based on the following software versions: @@ -53,14 +53,14 @@ Linkis binary packages are compiled based on the following software versions: > **Note:** > If the locally installed component version is inconsistent with the above, you need to modify the corresponding component version and compile the binary package yourself for installation. -## 1.4. Client web browser requirements +### 1.4. Client web browser requirements Linkis recommends Chrome version 73 for front-end access -# 2. Common scenarios +## 2. Common scenarios -## 2.1 Open test mode +### 2.1 Open test mode The development process requires a password-free interface, which can be replaced or appended to `linkis.properties` | parameter name | default value | description | @@ -71,7 +71,7 @@ The development process requires a password-free interface, which can be replace ![](./images/test-mode.png) -## 2.2 Login user settings +### 2.2 Login user settings Apache Linkis uses configuration files to manage admin users by default, and this configuration can be replaced or appended to `linkis-mg-gateway.properties`. For multi-user access LDAP implementation. | parameter name | default value | description | @@ -82,7 +82,7 @@ Apache Linkis uses configuration files to manage admin users by default, and thi ![](./images/login-user.png) -## 2.3 LDAP Settings +### 2.3 LDAP Settings Apache Linkis can access LDAP through parameters to achieve multi-user management, and this configuration can be replaced or added in `linkis-mg-gateway.properties`. | parameter name | default value | description | @@ -93,7 +93,7 @@ Apache Linkis can access LDAP through parameters to achieve multi-user managemen ![](./images/ldap.png) -## 2.4 Turn off resource checking +### 2.4 Turn off resource checking Apache Linkis sometimes debugs exceptions when submitting tasks, such as: insufficient resources; you can replace or append this configuration in `linkis-cg-linkismanager.properties`. | parameter name | default value | description | @@ -102,7 +102,7 @@ Apache Linkis sometimes debugs exceptions when submitting tasks, such as: insuff ![](./images/resource-enable.png) -## 2.5 Enable engine debugging +### 2.5 Enable engine debugging Apache Linkis EC can enable debugging mode, and this configuration can be replaced or added in `linkis-cg-linkismanager.properties`. | parameter name | default value | description | @@ -111,7 +111,7 @@ Apache Linkis EC can enable debugging mode, and this configuration can be replac ![](./images/engine-debug.png) -## 2.6 Hive metadata configuration +### 2.6 Hive metadata configuration The public-service service of Apache Linkis needs to read hive metadata; this configuration can be replaced or appended in `linkis-ps-publicservice.properties`. | parameter name | default value | description | @@ -122,7 +122,7 @@ The public-service service of Apache Linkis needs to read hive metadata; this co ![](./images/hive-meta.png) -## 2.7 Linkis database configuration +### 2.7 Linkis database configuration Apache Linkis access uses Mysql as data storage by default, you can replace or append this configuration in `linkis.properties`. | parameter name | default value | description | @@ -133,7 +133,7 @@ Apache Linkis access uses Mysql as data storage by default, you can replace or a ![](./images/linkis-db.png) -## 2.8 Linkis Session cache configuration +### 2.8 Linkis Session cache configuration Apache Linkis supports using redis for session sharing; this configuration can be replaced or appended in `linkis.properties`. | parameter name | default value | description | @@ -145,7 +145,7 @@ Apache Linkis supports using redis for session sharing; this configuration can b ![](./images/redis.png) -## 2.9 Linkis module development configuration +### 2.9 Linkis module development configuration When developing Apache Linkis, you can use this parameter to customize the database, Rest interface, and entity objects of the loading module; you can modify it in `linkis-ps-publicservice.properties`, and use commas to separate multiple modules. | parameter name | default value | description | @@ -157,7 +157,7 @@ When developing Apache Linkis, you can use this parameter to customize the datab ![](./images/deverlop-conf.png) -## 2.10 Linkis module development configuration +### 2.10 Linkis module development configuration This parameter can be used to customize the route of loading modules during Apache Linkis development; it can be modified in `linkis.properties`, and commas are used to separate multiple modules. | parameter name | default value | description | @@ -166,7 +166,7 @@ This parameter can be used to customize the route of loading modules during Apac ![](./images/list-conf.png) -## 2.11 Linkis file system and material storage path +### 2.11 Linkis file system and material storage path This parameter can be used to customize the route of loading modules during Apache Linkis development; it can be modified in `linkis.properties`, and commas are used to separate multiple modules. | parameter name | default value | description | diff --git a/docs/about/introduction.md b/docs/about/introduction.md index 1e881d2187b..9346e86ffa4 100644 --- a/docs/about/introduction.md +++ b/docs/about/introduction.md @@ -16,17 +16,17 @@ Since the first release of Linkis in 2019, it has accumulated more than **700** ## Features -- **Support for diverse underlying computation storage engines**. +- **Support for diverse underlying computation storage engines**： Currently supported computation/storage engines: Spark, Hive, Python, Presto, ElasticSearch, MLSQL, TiSpark, JDBC, Shell, etc; Computation/storage engines to be supported: Flink(Supported in version >=1.0.2), Impala, etc; Supported scripting languages: SparkSQL, HiveQL, Python, Shell, Pyspark, R, Scala and JDBC, etc. -- **Powerful task/request governance capabilities**. With services such as Orchestrator, Label Manager and customized Spring Cloud Gateway, Linkis is able to provide multi-level labels based, cross-cluster/cross-IDC fine-grained routing, load balance, multi-tenancy, traffic control, resource control, and orchestration strategies like dual-active, active-standby, etc. -- **Support full stack computation/storage engine**. As a computation middleware, it will receive, execute and manage tasks and requests for various computation storage engines, including batch tasks, interactive query tasks, real-time streaming tasks and storage tasks; -- **Resource management capabilities**. ResourceManager is not only capable of managing resources for Yarn and Linkis EngineManger as in Linkis 0.X, but also able to provide label-based multi-level resource allocation and recycling, allowing itself to have powerful resource management capabilities across multiple Yarn clusters and multiple computation resource types; -- **Unified Context Service**. Generate Context ID for each **task**/request, associate and manage user and system resource files (JAR, ZIP, Properties, etc.), result set, parameter variable, function, etc., across user, system, and computing engine. Set in one place, automatic reference everywhere; -- **Unified materials**. System and user-level unified material management, which can be shared and transferred across users and systems. -- **Unified Data Source Manage**. Provides functions such as adding, deleting, checking, and modifying data sources of hive, es, mysql, and kafka types, version control, and connection testing. -- **Unified MetaData Manage**. Provides database, table, and partition queries for hive, es, mysql, and kafka metadata. +- **Powerful task/request governance capabilities**： With services such as Orchestrator, Label Manager and customized Spring Cloud Gateway, Linkis is able to provide multi-level labels based, cross-cluster/cross-IDC fine-grained routing, load balance, multi-tenancy, traffic control, resource control, and orchestration strategies like dual-active, active-standby, etc. +- **Support full stack computation/storage engine**： As a computation middleware, it will receive, execute and manage tasks and requests for various computation storage engines, including batch tasks, interactive query tasks, real-time streaming tasks and storage tasks; +- **Resource management capabilities**： ResourceManager is not only capable of managing resources for Yarn and Linkis EngineManger as in Linkis 0.X, but also able to provide label-based multi-level resource allocation and recycling, allowing itself to have powerful resource management capabilities across multiple Yarn clusters and multiple computation resource types. +- **Unified Context Service**： Generate Context ID for each **task**/request, associate and manage user and system resource files (JAR, ZIP, Properties, etc.), result set, parameter variable, function, etc., across user, system, and computing engine. Set in one place, automatic reference everywhere. +- **Unified materials**： System and user-level unified material management, which can be shared and transferred across users and systems. +- **Unified Data Source Manage**： Provides functions such as adding, deleting, checking, and modifying data sources of hive, es, mysql, and kafka types, version control, and connection testing. +- **Unified MetaData Manage**： Provides database, table, and partition queries for hive, es, mysql, and kafka metadata. ## Supported engine types @@ -56,15 +56,15 @@ Please refer to [Deployment_Documents](../deployment/deploy-quick.md) to do the ## Examples and Guidance - [Engine Usage Guidelines](../engine-usage/overview.md) - [API Documentation](../api/overview.md) -- + ## Documentation The documentation of linkis is in [Linkis-WebSite](https://github.com/apache/linkis-website) ## Architecture Linkis services could be divided into three categories: computation governance services, public enhancement services and microservice governance services. -- The computation governance services, support the 3 major stages of processing a task/request: submission -> preparation -> execution; -- The public enhancement services, including the material library service, context service, and data source service; +- The computation governance services, support the 3 major stages of processing a task/request: submission -> preparation -> execution. +- The public enhancement services, including the material library service, context service, and data source service. - The microservice governance services, including Spring Cloud Gateway, Eureka and Open Feign. Below is the Linkis architecture diagram. You can find more detailed architecture docs in [Architecture](../architecture/overview.md). @@ -90,7 +90,7 @@ More projects upcoming, please stay tuned. ## Contributing -Contributions are always welcomed, we need more contributors to build Linkis together. either code, or doc, or other supports that could help the community. +Contributions are always welcomed, we need more contributors to build Linkis together. either code, or doc or other supports that could help the community. For code and documentation contributions, please follow the [contribution guide](/community/how-to-contribute). ## Contact Us diff --git a/docs/architecture/service-architecture/service_isolation.md b/docs/architecture/service-architecture/service_isolation.md index b9b3d6d0770..a31321bf6ac 100644 --- a/docs/architecture/service-architecture/service_isolation.md +++ b/docs/architecture/service-architecture/service_isolation.md @@ -6,7 +6,7 @@ sidebar_position: 9 ## 1. General ### 1.1 Requirements Background      Linkis now performs load balancing based on the ribbon when it forwards services in the Gateway, but in some cases, there are some important business tasks that want to achieve service level isolation, if the service is based on the ribbon There will be problems in equilibrium. For example, tenant A wants his tasks to be routed to a specific Linkis-CG-Entrance service, so that when other instances are abnormal, the Entrance of service A will not be affected. -     In addition, tenants and isolation of support services can also quickly isolate an abnormal service and support scenarios such as grayscale upgrades. +In addition, tenants and isolation of support services can also quickly isolate an abnormal service and support scenarios such as grayscale upgrades. ### 1.2 Target 1. Support forwarding the service according to the routing label by parsing the label of the request diff --git a/docs/deployment/deploy-quick.md b/docs/deployment/deploy-quick.md index 1d5cd31793b..c282884c808 100644 --- a/docs/deployment/deploy-quick.md +++ b/docs/deployment/deploy-quick.md @@ -18,7 +18,7 @@ Linkis supports specifying the user who submits and executes. The linkis main pr Take hadoop user as an example: -First check whether there is already a hadoop user in the system. If it already exists, you can directly authorize it; if not, create a user first, and then authorize. +First check whether there is already a hadoop user in the system. If it already exists, you can directly authorize it, if not, create a user first, and then authorize. Check if a hadoop user already exists ```shell script @@ -410,9 +410,7 @@ sh bin/linkis-cli -submitUser hadoop -engineType python-python2 -codeType python If the verification fails, please refer to [Step 8] for troubleshooting ## 6 Installation of development tool IDE (Scriptis) (optional) ->After installing the Scripti tool, it can support writing SQL, Pyspark, HiveQL and other scripts online on the web page - -For detailed instructions, see [Installation and Deployment of Tool Scriptis](integrated/install-scriptis) +After installing the Scripti tool, it can support writing SQL, Pyspark, HiveQL and other scripts online on the web page,For detailed instructions, see [Installation and Deployment of Tool Scriptis](integrated/install-scriptis) ## 7. Supported Engines diff --git a/docs/deployment/directory-linkis.md b/docs/deployment/directory-linkis.md deleted file mode 100644 index 38adfa7f1af..00000000000 --- a/docs/deployment/directory-linkis.md +++ /dev/null @@ -1,292 +0,0 @@ ---- -title: linkis directory structure -Sidebar position: 7 ---- - -> linkis code hierarchy structure, as well as package structure and deployment directory structure description description, if you explain, if you want to explain, if you want to know more about each module module module module -## 1. Source code directory structure - -```html -├── docs -│ ├── configuration //linkis configuration item documents for all modules -│ ├── errorcode // error code document of all modules of linkis -│ ├── configuration-change-records.md -│ ├── index.md -│ ├── info-1.1.3.md -│ ├── info-1.2.1.md -│ ├── info-1.3.1.md -│ └── trino-usage.md -├── linkis-commons //Core abstraction, which contains all common modules -│ ├── linkis-common //Common module, many built-in common tools -│ ├── linkis-hadoop-common -│ ├── linkis-httpclient //Java SDK top-level interface further encapsulates httpclient -│ ├── linkis-module // The top-level public module of linkis service involves parameters and service initialization when the service starts, unified Restful processing, login status verification, etc. -│ ├── linkis-mybatis //Mybatis module of SpringCloud -│ ├── linkis-protocol //Some interfaces and entity classes of service request/response -│ ├── linkis-rpc //RPC module, complex two-way communication based on Feign -│ ├── linkis-scheduler //General scheduling module -│ ├── linkis-storage //File operation tool set -├── linkis-computation-governance //Computation governance service -│ ├── linkis-client //Java SDK, users can directly access Linkis through Client -│ ├── linkis-computation-governance-common -│ ├── linkis-engineconn -│ ├── linkis-engineconn-manager -│ ├── linkis-entrance //General underlying entrance module -│ ├── linkis-jdbc-driver //You can use linkis to connect in a similar way to jdbc sdk -│ ├── linkis-manager -├── linkis-dist //The final step of compiling and packaging, integrating all lib packages and installation and deployment script configuration, etc. -│ ├── bin -│ │ ├── checkEnv.sh -│ │ ├── common.sh -│ │ └── install.sh //Installation script -│ ├── deploy-config -│ │ ├── db.sh //database configuration -│ │ └── linkis-env.sh //linkis startup related configuration -│ ├── docker -│ │ └── scripts -│ ├── helm -│ │ ├── charts -│ │ ├── scripts -│ │ ├── README_CN.md -│ │ └── README.md -│ ├── package -│ │ ├── bin -│ │ ├── conf -│ │ ├── db -│ │ └── sbin -│ ├── release-docs -│ │ ├── licenses -│ │ ├── LICENSE -│ │ └── NOTICE -│ ├── src -│ └── pom.xml -├── linkis-engineconn-plugins // engine -│ ├── elasticsearch -│ ├── flink -│ ├──hive -│ ├── io_file -│ ├── jdbc -│ ├── open look -│ ├── pipeline -│ ├── presto -│ ├── python -│ ├── seat tunnel -│ ├── shell -│ ├── spark -│ ├── sqoop -├── linkis-extensions // extension function enhancement plug-in module -│ ├── linkis-io-file-client // function extension to linkis-storage -├── linkis-orchestrator //Service orchestration -│ ├── linkis-code-orchestrator -│ ├── linkis-computation-orchestrator -│ ├── linkis-orchestrator-core -├── linkis-public-enhancements //public enhancement services -│ ├── linkis-baseddata-manager -│ ├── linkis-bml // material library -│ ├── linkis-configuration -│ ├── linkis-context-service //unified context -│ ├── linkis-datasource //data source service -│ ├── linkis-error-code -│ ├── linkis-instance-label -│ ├── linkis-jobhistory -│ ├── linkis-ps-common-lock -│ ├── linkis-script-dev -│ ├── linkis-udf -│ ├── linkis-variable -├── linkis-spring-cloud-services //Microservice Governance -│ ├── linkis-service-discovery -│ ├── linkis-service-gateway //Gateway Gateway -├── linkis-web //linkis management console code -│ ├── release-docs -│ │ ├── licenses -│ │ └── LICENSE -│ ├── src -│ ├── config.sh -│ ├── install.sh -│ ├── package.json -│ ├── pom.xml -│ └── vue.config.js -├── tool -│ ├── dependencies -│ │ ├── known-dependencies.txt -│ │ └── regenerate_konwn_dependencies_txt.sh -│ ├── code-style-idea.xml -│ ├── license-header -│ └── modify_license.sh -├── CONTRIBUTING_CN.md -├── CONTRIBUTING.md -├── DISCLAIMER -├── linkis-tree.txt -├── mvnw -├── mvnw.cmd -├── pom.xml -├── README_CN.md -├── README.md -└── scalastyle-config.xml - -``` - -## 2. Installation package directory structure -```html - -├── bin -│ ├── checkEnv.sh ── environment variable detection -│ ├── common.sh ── some public shell functions -│ └── install.sh ── Main script for Linkis installation -├── deploy-config -│ ├── db.sh //Database connection configuration -│ └── linkis-env.sh //Related environment configuration information -├── docker -├── helm -├── licenses -├── linkis-package //Microservice-related startup configuration files, dependencies, scripts, linkis-cli, etc. -│ ├── bin -│ ├── conf -│ ├── db -│ ├── lib -│ └── sbin -├── NOTICE -├── DISCLAIMER -├── LICENSE -├── README_CN.md -└── README.md - -``` - -## 3. Directory structure after deployment - - -```html -├── bin ── linkis-cli Shell command line program used to submit tasks to Linkis -│ ├── linkis-cli -│ ├── linkis-cli-hive -│ ├── linkis-cli-pre -│ ├── linkis-cli-spark-sql -│ ├── linkis-cli-spark-submit -│ └── linkis-cli-sqoop -├── conf configuration directory -│ ├── application-eureka.yml -│ ├── application-linkis.yml ── Microservice general yml -│ ├── linkis-cg-engineconnmanager.properties -│ ├── linkis-cg-engineplugin.properties -│ ├── linkis-cg-linkismanager.properties -│ │── linkis-cli -│ │ ├── linkis-cli.properties -│ │ └── log4j2.xml -│ ├── linkis-env.sh ── linkis environment variable configuration -│ ├── linkis-mg-gateway.properties -│ ├── linkis.properties ── The global coordination of linkis services, all microservices will be loaded and used when starting -│ ├── linkis-ps-publicservice.properties -│ ├── log4j2.xml -├── db Database DML and DDL file directory -│ ├── linkis_ddl.sql ── database table definition SQL -│ ├── linkis_dml.sql ── database table initialization SQL -│ └── module ── Contains DML and DDL files of each microservice -│ └── upgrade ── Incremental DML/DDL for each version -├── lib lib directory -│ ├── linkis-commons ── Public dependency package When most services start (except linkis-mg-gateway) -cp path parameter will load this directory -│ ├── linkis-computation-governance ── lib directory of computing governance module -│ ├── linkis-engineconn-plugins ── lib directory of all engine plugins -│ ├── linkis-public-enhancements ── lib directory of public enhancement services -│ └── linkis-spring-cloud-services ── SpringCloud lib directory -├── logs log directory -│ ├── linkis-cg-engineconnmanager-gc.log -│ ├── linkis-cg-engineconnmanager.log -│ ├── linkis-cg-engineconnmanager.out -│ ├── linkis-cg-engineplugin-gc.log -│ ├── linkis-cg-engineplugin.log -│ ├── linkis-cg-engineplugin.out -│ ├── linkis-cg-entrance-gc.log -│ ├── linkis-cg-entrance.log -│ ├── linkis-cg-entrance.out -│ ├── linkis-cg-linkismanager-gc.log -│ ├── linkis-cg-linkismanager.log -│ ├── linkis-cg-linkismanager.out -│ ├── linkis-cli -│ │ ├── linkis-client.hadoop.log.20220409162400037523664 -│ │ ├── linkis-client.hadoop.log.20220409162524417944443 -│ ├── linkis-mg-eureka-gc.log -│ ├── linkis-mg-eureka.log -│ ├── linkis-mg-eureka.out -│ ├── linkis-mg-gateway-gc.log -│ ├── linkis-mg-gateway.log -│ ├── linkis-mg-gateway.out -│ ├── linkis-ps-publicservice-gc.log -│ ├── linkis-ps-publicservice.log -│ └── linkis-ps-publicservice.out -├── pid The process ID of all microservices -│ ├── linkis_cg-engineconnmanager.pid ── engine manager microservice -│ ├── linkis_cg-engineconnplugin.pid ── engine plugin microservice -│ ├── linkis_cg-entrance.pid ── engine entry microservice -│ ├── linkis_cg-linkismanager.pid ── linkis manager microservice -│ ├── linkis_mg-eureka.pid ── eureka microservice -│ ├── linkis_mg-gateway.pid ──gateway microservice -│ └── linkis_ps-publicservice.pid ── public microservice -└── sbin Microservice startup and shutdown script directory -├── ext ──The start and stop script directory of each microservice -  ├── linkis-daemon.sh ── Quickly start, stop, and restart a single microservice script -├── linkis-start-all.sh ── Start all microservice scripts with one click -└── linkis-stop-all.sh ── Stop all microservice scripts with one click -``` -### 3.1 Configuration item modification - -After executing Linkis installation, all configuration items are located in the conf directory, -If you need to modify the configuration items, after modifying the `${LINKIS_HOME}/conf/*properties` file, restart the corresponding service, -For example: `sh sbin/linkis-daemon.sh start ps-publicservice`. -If you modify the public configuration file `application-eureka.yml/application-linkis.yml/linkis.properties`, you need to restart all services `sh sbin/linkis-start-all.sh` - -### 3.2 Microservice start and stop - -All microservice names are as follows: - ``` -├── linkis-cg-engineconnmanager engine management service -├── linkis-cg-engineplugin engine plugin management service -├── linkis-cg-entrance computing governance entry service -├── linkis-cg-linkismanager computing governance management service -├── linkis-mg-eureka microservice registry service -├── linkis-mg-gateway Linkis gateway service -├── linkis-ps-publicservice public service - ``` - -**Microservice Abbreviation**: - -| Abbreviation | Full name in English | Full name in Chinese | - |------|-------------------------|------------| -| cg | Computation Governance | Computing Governance | -| mg | Microservice Covernance | Microservice Governance | -| ps | Public Enhancement Service | Public Enhancement Service | - - - -``` -# Start all microservices at once: - - sh linkis-start-all.sh - -# Shut down all microservices at once - - sh linkis-stop-all.sh - -# Start a single microservice (the service name needs to remove the linkis prefix, such as: mg-eureka) - - sh linkis-daemon.sh start service-name - - For example: sh linkis-daemon.sh start mg-eureka - -# Shut down a single microservice - - sh linkis-daemon.sh stop service-name - - For example: sh linkis-daemon.sh stop mg-eureka - -# Restart a single microservice - - sh linkis-daemon.sh restart service-name - - For example: sh linkis-daemon.sh restart mg-eureka -# View the status of a single microservice - - sh linkis-daemon.sh status service-name - - For example: sh linkis-daemon.sh status mg-eureka -``` \ No newline at end of file diff --git a/docs/deployment/integrated/_category_.json b/docs/deployment/integrated/_category_.json index c77d6f1443e..1b016691ad9 100644 --- a/docs/deployment/integrated/_category_.json +++ b/docs/deployment/integrated/_category_.json @@ -1,4 +1,4 @@ { "label": "Integrated", - "position": 4 + "position": 9 } \ No newline at end of file diff --git a/docs/deployment/version-adaptation.md b/docs/deployment/version-adaptation.md index 8d78e9b29c1..6d510c3a530 100644 --- a/docs/deployment/version-adaptation.md +++ b/docs/deployment/version-adaptation.md @@ -1,3 +1,8 @@ +--- +title: Version Adaptation +sidebar_position: 8 +--- + # Version Adaptation ## 1. Function description diff --git a/docs/development/config.md b/docs/development/config.md index de82b513fbf..2e025aa039d 100644 --- a/docs/development/config.md +++ b/docs/development/config.md @@ -32,8 +32,8 @@ sidebar_position: 10.0 │ ├── linkis-ps-publicservice.properties │ ├── log4j2.xml ```` -Each service loads two property configuration files, a common main configuration file linkis.properties, and a service configuration file linkis-serviceName.properties. The priority of settings is that the service profile is higher than the main profile -It is recommended that common parameters be placed in the main configuration file, and individual configuration files are placed in the service configuration file +Each service will load two property configuration files, a common main configuration file linkis.properties, and a service configuration file linkis-serviceName.properties. The priority of the setting is that the service configuration file is higher than the main configuration file +It is recommended that general parameters be placed in the main configuration file, and personalized configuration files be placed in the service configuration file 2. Spring parameters         Linkis service is based on SpringBoot application, Spring related parameters can be set in application-linkis.yml or in linkis configuration file. The configuration in the linkis configuration file needs to be prefixed with spring. as follows: diff --git a/docs/tuning-and-troubleshooting/overview.md b/docs/tuning-and-troubleshooting/overview.md index 864c7148c64..d14e4026759 100644 --- a/docs/tuning-and-troubleshooting/overview.md +++ b/docs/tuning-and-troubleshooting/overview.md @@ -97,4 +97,4 @@ For problems that cannot be resolved according to the above process positioning ### Ⅵ. locate the source code by remote debug -Under normal circumstances, remote debugging of source code is the most effective way to locate problems, but compared to document review, users need to have a certain understanding of the source code structure. It is recommended that you check the [Linkis source code level detailed structure](../deployment/directory-linkis.md) in the Linkis WIKI before remote debugging.After having a certain degree of familiarity to the the source code structure of the project, after a certain degree of familiarity, you can refer to [How to Debug Linkis](development/debug.md). \ No newline at end of file +Under normal circumstances, remote debugging of source code is the most effective way to locate problems, but compared to document review, users need to have a certain understanding of the source code structure. It is recommended that you check the [Linkis source code level detailed structure](../development/directory-structure.md) in the Linkis WIKI before remote debugging.After having a certain degree of familiarity to the the source code structure of the project, after a certain degree of familiarity, you can refer to [How to Debug Linkis](development/debug.md). \ No newline at end of file diff --git a/docs/upgrade/upgrade-from-0.X-to-1.0-guide.md b/docs/upgrade/upgrade-from-0.X-to-1.0-guide.md index 8f852e21cb1..58de0639613 100644 --- a/docs/upgrade/upgrade-from-0.X-to-1.0-guide.md +++ b/docs/upgrade/upgrade-from-0.X-to-1.0-guide.md @@ -7,7 +7,7 @@ sidebar_position: 1 ## 1.Precautions -        **If you are using Linkis for the first time, you can ignore this chapter;**. +        **If you are using Linkis for the first time, you can ignore this chapter.**. ## 2. Service upgrade installation diff --git a/docs/user-guide/console-manual.md b/docs/user-guide/console-manual.md deleted file mode 100644 index 54dde946d4a..00000000000 --- a/docs/user-guide/console-manual.md +++ /dev/null @@ -1,105 +0,0 @@ ---- -title: Console Manual -sidebar_position: 4 ---- - -> Linkis1.0 has added a new Computation Governance Console page, which can provide users with an interactive UI interface for viewing the execution of Linkis tasks, custom parameter configuration, engine health status, resource surplus, etc, and then simplify user development and management efforts. - -## 1. Structure of Computation Governance Console - - -> The Computation Governance Console is mainly composed of the following functional pages: - -- Global History -- Resource Management -- Parameter Configuration -- Global Variables -- ECM Management (Only visible to linkis computing management console administrators) -- Microservice Management (Only visible to linkis computing management console administrators) - - - -Global history, resource management, parameter configuration, and global variables are visible to all users, while ECM management and microservice management are only visible to linkis computing management console administrators. - -The administrator of the Linkis computing management desk can configure through the following parameters in linkis.properties: - -wds.linkis.governance.station.admin=hadoop (multiple administrator usernames are separated by ‘,’) - - -## 2. Global history - -![](/Images/manual/global_history_interface.png) - - -The global history interface provides the user's own linkis task submission record. The execution status of each task can be displayed here, and the reason for the failure of task execution can also be queried by clicking the view button on the left side of the task - -![./media/image2.png](/Images/manual/global_history_query_button.png) - - -![./media/image3.png](/Images/manual/task_execution_log_of_a_single_task.png) - - -For linkis computing management console administrators, the administrator can view the historical tasks of all users by clicking the switch administrator view on the page. - -![./media/image4.png](/Images/manual/administrator_view.png) - - -## 3. Resource management - -In the resource management interface, the user can see the status of the engine currently started and the status of resource occupation, and can also stop the engine through the page. - -![./media/image5.png](/Images/manual/resource_management_interface.png) - - -## 4. Parameter configuration - -The parameter configuration interface provides the function of user-defined parameter management. The user can manage the related configuration of the engine in this interface, and the administrator can add application types and engines here. - -![./media/image6.png](/Images/manual/parameter_configuration_interface.png) - - -The user can expand all the configuration information in the directory by clicking on the application type at the top and then select the engine type in the application, modify the configuration information and click "Save" to take effect. - -Edit catalog and new application types are only visible to the administrator. Click the edit button to delete the existing application and engine configuration (note! Deleting the application directly will delete all engine configurations under the application and cannot be restored), or add an engine, or click "New Application" to add a new application type. - -![./media/image7.png](/Images/manual/edit_directory.png) - - -![./media/image8.png](/Images/manual/new_application_type.png) - - -## 5. Global variable - -In the global variable interface, users can customize variables for code writing, just click the edit button to add parameters. - -![./media/image9.png](/Images/manual/global_variable_interface.png) - - -## 6. ECM management - -The ECM management interface is used by the administrator to manage the ECM and all engines. This interface can view the status information of the ECM, modify the ECM label information, modify the ECM status information, and query all engine information under each ECM. And only the administrator can see, the administrator's configuration method can be viewed in the second chapter of this article. - -![./media/image10.png](/Images/manual/ECM_management_interface.png) - - -Click the edit button to edit the label information of the ECM (only part of the labels are allowed to be edited) and modify the status of the ECM. - -![./media/image11.png](/Images/manual/ECM_editing_interface.png) - - -Click the instance name of the ECM to view all engine information under the ECM. - -![](/Images/manual/click_the_instance_name_to_view_engine_information.png) - -![](/Images/manual/ECM_all_engine_information.png) - -Similarly, you can stop the engine on this interface, and edit the label information of the engine. - -## 7. Microservice management - -The microservice management interface can view all microservice information under Linkis, and this interface is only visible to the administrator. Linkis's own microservices can be viewed by clicking on the Eureka registration center. The microservices associated with linkis will be listed directly on this interface. - -![](/Images/manual/microservice_management_interface.png) - -![](/Images/manual/eureka_registration_center.png) - diff --git a/docs/user-guide/dynamic-variables.md b/docs/user-guide/dynamic-variables.md index 7d89a597e4b..c901317e1e1 100644 --- a/docs/user-guide/dynamic-variables.md +++ b/docs/user-guide/dynamic-variables.md @@ -1,5 +1,5 @@ --- -title: Linkis built-in time variable introduction +title: Built In Time Variable sidebar_position: 7 --- ## 1. General diff --git a/docs/user-guide/sdk-manual.md b/docs/user-guide/sdk-manual.md index 61624e8655f..0c28c800373 100644 --- a/docs/user-guide/sdk-manual.md +++ b/docs/user-guide/sdk-manual.md @@ -228,7 +228,7 @@ public class LinkisClientTest { ``` Run the above code to complete task submission/execution/log/result set acquisition, etc. -## 3. Scala test code: +## 3. Scala test code ```java package org.apache.linkis.client.test diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/about/configuration.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/about/configuration.md index 4128005d38f..1e85ceac4fb 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/about/configuration.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/about/configuration.md @@ -3,11 +3,11 @@ title: 建议配置 sidebar_position: 0.2 --- -# 一、软硬件环境建议配置 +## 1 软硬件环境建议配置 Linkis 在上层应用程序和底层引擎之间构建了一层计算中间件。 作为一款开源分布式计算中间件，可以很好地部署和运行在 Intel 架构服务器及主流虚拟化环境下，并支持主流的Linux操作系统环境 -## 1.1. Linux 操作系统版本要求 +### 1.1 Linux 操作系统版本要求 | 操作系统 | 版本 | | --- | --- | @@ -18,11 +18,11 @@ Linkis 在上层应用程序和底层引擎之间构建了一层计算中间件 > **注意：** 以上 Linux 操作系统可运行在物理服务器以及 VMware、KVM、XEN 主流虚拟化环境上 -## 1.2. 服务器建议配置 +### 1.2 服务器建议配置 Linkis 支持运行在 Intel x86-64 架构的 64 位通用硬件服务器平台。对生产环境的服务器硬件配置有以下建议： -### 生产环境 +#### 生产环境 | **CPU** | **内存** | **硬盘类型** | **网络** | **实例数量** | | --- | --- | --- | --- | --- | @@ -33,7 +33,7 @@ Linkis 支持运行在 Intel x86-64 架构的 64 位通用硬件服务器平台 > - 以上建议配置为部署 Linkis的最低配置，生产环境强烈推荐使用更高的配置 > - 硬盘大小配置建议 50GB+ ，系统盘和数据盘分开 -## 1.3. 软件要求 +### 1.3 软件要求 Linkis二进制包基于以下软件版本进行编译： @@ -52,14 +52,14 @@ Linkis二进制包基于以下软件版本进行编译： > **注意：** > 如果本地安装组件版本与上述不一致，需要进行修改对应组件版本，自行编译二进制包进行安装。 -## 1.4. 客户端 Web 浏览器要求 +### 1.4 客户端 Web 浏览器要求 Linkis推荐 Chrome 73版本进行前端访问 -# 二、 常用场景 +## 2 常用场景 -## 2.1 开启测试模式 +### 2.1 开启测试模式 开发过程需要免密接口，可在`linkis.properties`替换或追加此配置 | 参数名 | 默认值 | 描述 | @@ -70,7 +70,7 @@ Linkis推荐 Chrome 73版本进行前端访问 ![](./images/test-mode.png) -## 2.2 登录用户设置 +### 2.2 登录用户设置 Apache Linkis 默认使用配置文件来管理admin用户，可以在`linkis-mg-gateway.properties`替换或追加此配置。如需多用户可接入LDAP实现。 | 参数名 | 默认值 | 描述 | @@ -81,7 +81,7 @@ Apache Linkis 默认使用配置文件来管理admin用户，可以在`linkis-mg ![](./images/login-user.png) -## 2.3 LDAP设置 +### 2.3 LDAP设置 Apache Linkis 可以通过参数接入LDAP实现多用户管理，可以在`linkis-mg-gateway.properties`替换或追加此配置。 | 参数名 | 默认值 | 描述 | @@ -92,7 +92,7 @@ Apache Linkis 可以通过参数接入LDAP实现多用户管理，可以在`link ![](./images/ldap.png) -## 2.4 关闭资源检查 +### 2.4 关闭资源检查 Apache Linkis 提交任务时有时会调试异常，如：资源不足；可以在`linkis-cg-linkismanager.properties`替换或追加此配置。 | 参数名 | 默认值 | 描述 | @@ -101,7 +101,7 @@ Apache Linkis 提交任务时有时会调试异常，如：资源不足；可以 ![](./images/resource-enable.png) -## 2.5 开启引擎调试 +### 2.5 开启引擎调试 Apache Linkis EC可以开启调试模式，可以在`linkis-cg-linkismanager.properties`替换或追加此配置。 | 参数名 | 默认值 | 描述 | @@ -110,7 +110,7 @@ Apache Linkis EC可以开启调试模式，可以在`linkis-cg-linkismanager.pro ![](./images/engine-debug.png) -## 2.6 Hive元数据配置 +### 2.6 Hive元数据配置 Apache Linkis 的public-service服务需要读取hive的元数据；可以在`linkis-ps-publicservice.properties`替换或追加此配置。 | 参数名 | 默认值 | 描述 | @@ -121,7 +121,7 @@ Apache Linkis 的public-service服务需要读取hive的元数据；可以在`li ![](./images/hive-meta.png) -## 2.7 Linkis 数据库配置 +### 2.7 Linkis 数据库配置 Apache Linkis 访问默认使用Mysql作为数据存储，可以在`linkis.properties`替换或追加此配置。 | 参数名 | 默认值 | 描述 | @@ -132,7 +132,7 @@ Apache Linkis 访问默认使用Mysql作为数据存储，可以在`linkis.prope ![](./images/linkis-db.png) -## 2.8 Linkis Session 缓存配置 +### 2.8 Linkis Session 缓存配置 Apache Linkis 支持使用redis进行session的共享；可以在`linkis.properties`替换或追加此配置。 | 参数名 | 默认值 | 描述 | @@ -144,7 +144,7 @@ Apache Linkis 支持使用redis进行session的共享；可以在`linkis.propert ![](./images/redis.png) -## 2.9 Linkis 模块开发配置 +### 2.9 Linkis 模块开发配置 Apache Linkis 开发时可通过此参数，自定义加载模块的数据库、Rest接口、实体对象；可以在`linkis-ps-publicservice.properties`进行修改，多个模块之间使用逗号分割。 | 参数名 | 默认值 | 描述 | @@ -156,7 +156,7 @@ Apache Linkis 开发时可通过此参数，自定义加载模块的数据库、 ![](./images/deverlop-conf.png) -## 2.10 Linkis 模块开发配置 +### 2.10 Linkis 模块开发配置 Apache Linkis 开发时可通过此参数，自定义加载模块的路由；可以在`linkis.properties`进行修改，多个模块之间使用逗号分割。 | 参数名 | 默认值 | 描述 | @@ -165,7 +165,7 @@ Apache Linkis 开发时可通过此参数，自定义加载模块的路由；可 ![](./images/list-conf.png) -## 2.11 Linkis 文件系统及物料存放路径 +### 2.11 Linkis 文件系统及物料存放路径 Apache Linkis 开发时可通过此参数，自定义加载模块的路由；可以在`linkis.properties`进行修改，多个模块之间使用逗号分割。 | 参数名 | 默认值 | 描述 | diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/about/introduction.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/about/introduction.md index 647edb9fff6..8f3d468e709 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/about/introduction.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/about/introduction.md @@ -13,36 +13,36 @@ Linkis 自2019年开源发布以来，已累计积累了700多家试验企业和 ![有了Linkis 之后](/Images-zh/after_linkis_cn.png) ## 核心特点 -- **丰富的底层计算存储引擎支持**。 +- **丰富的底层计算存储引擎支持**： **目前支持的计算存储引擎**：Spark、Hive、Flink、Python、Pipeline、Sqoop、openLooKeng、Presto、ElasticSearch、JDBC和Shell等。 **正在支持中的计算存储引擎**：Trino(计划1.3.1)、SeaTunnel(计划1.3.1)等。 **支持的脚本语言**：SparkSQL, HiveQL, Python, Shell, Pyspark, R, Scala 和JDBC 等。 -- **强大的计算治理能力** 基于Orchestrator、Label Manager和定制的Spring Cloud Gateway等服务，Linkis能够提供基于多级标签的跨集群/跨IDC 细粒度路由、负载均衡、多租户、流量控制、资源控制和编排策略(如双活、主备等)支持能力。 -- **全栈计算存储引擎架构支持** 能够接收、执行和管理针对各种计算存储引擎的任务和请求，包括离线批量任务、交互式查询任务、实时流式任务和存储型任务； -- **资源管理能力** ResourceManager 不仅具备对 Yarn 和 Linkis EngineManager 的资源管理能力，还将提供基于标签的多级资源分配和回收能力，让 ResourceManager 具备跨集群、跨计算资源类型的强大资源管理能力。 -- **统一上下文服务** 为每个计算任务生成context id，跨用户、系统、计算引擎的关联管理用户和系统资源文件（JAR、ZIP、Properties等），结果集，参数变量，函数等，一处设置，处处自动引用； -- **统一物料** 系统和用户级物料管理，可分享和流转，跨用户、系统共享物料。 -- **统一数据源管理** 提供了hive、es、mysql、kafka类型数据源的增删查改、版本控制、连接测试等功能。 -- **数据源对应的元数据查询** 提供了hive、es、mysql、kafka元数据的数据库、表、分区查询。 +- **强大的计算治理能力**： 基于Orchestrator、Label Manager和定制的Spring Cloud Gateway等服务，Linkis能够提供基于多级标签的跨集群/跨IDC 细粒度路由、负载均衡、多租户、流量控制、资源控制和编排策略(如双活、主备等)支持能力。 +- **全栈计算存储引擎架构支持**： 能够接收、执行和管理针对各种计算存储引擎的任务和请求，包括离线批量任务、交互式查询任务、实时流式任务和存储型任务。 +- **资源管理能力**： ResourceManager 不仅具备对 Yarn 和 Linkis EngineManager 的资源管理能力，还将提供基于标签的多级资源分配和回收能力，让 ResourceManager 具备跨集群、跨计算资源类型的强大资源管理能力。 +- **统一上下文服务**：为每个计算任务生成context id，跨用户、系统、计算引擎的关联管理用户和系统资源文件（JAR、ZIP、Properties等），结果集，参数变量，函数等，一处设置，处处自动引用。 +- **统一物料**： 系统和用户级物料管理，可分享和流转，跨用户、系统共享物料。 +- **统一数据源管理**： 提供了hive、es、mysql、kafka类型数据源的增删查改、版本控制、连接测试等功能。 +- **数据源对应的元数据查询**： 提供了hive、es、mysql、kafka元数据的数据库、表、分区查询。 ## 支持的引擎类型 | **引擎名** | **支持底层组件版本
(默认依赖版本)** | **Linkis 1.X 版本要求** | **是否默认包含在发布包中** | **说明** | |:---- |:---- |:---- |:---- |:---- | -|Spark|Apache 2.0.0~2.4.7,
CDH >= 5.4.0,
（默认Apache Spark 2.4.3）|\>=1.0.0_rc1|是|Spark EngineConn， 支持SQL, Scala, Pyspark 和R 代码| -|Hive|Apache >= 1.0.0,
CDH >= 5.4.0,
（默认Apache Hive 2.3.3）|\>=1.0.0_rc1|是|Hive EngineConn， 支持HiveQL 代码| -|Python|Python >= 2.6,
（默认Python2*）|\>=1.0.0_rc1|是|Python EngineConn， 支持python 代码| -|Shell|Bash >= 2.0|\>=1.0.0_rc1|是|Shell EngineConn， 支持Bash shell 代码| -|JDBC|MySQL >= 5.0, Hive >=1.2.1,
(默认Hive-jdbc 2.3.4)|\>=1.0.0_rc1|否|JDBC EngineConn， 已支持MySQL 和HiveQL，可快速扩展支持其他有JDBC Driver 包的引擎, 如Oracle| -|Flink |Flink >= 1.12.2,
(默认Apache Flink 1.12.2)|\>=1.0.2|否|Flink EngineConn， 支持FlinkSQL 代码，也支持以Flink Jar 形式启动一个新的Yarn 应用程序| -|Pipeline|-|\>=1.0.2|否|Pipeline EngineConn， 支持文件的导入和导出| -|openLooKeng|openLooKeng >= 1.5.0,
(默认openLookEng 1.5.0)|\>=1.1.1|否|openLooKeng EngineConn， 支持用Sql查询数据虚拟化引擎openLooKeng| -|Sqoop| Sqoop >= 1.4.6,
(默认Apache Sqoop 1.4.6)|\>=1.1.2|否|Sqoop EngineConn， 支持 数据迁移工具 Sqoop 引擎| -|Presto|Presto >= 0.180|\>=1.2.0|否|Presto EngineConn， 支持Presto SQL 代码| -|ElasticSearch|ElasticSearch >=6.0|\>=1.2.0|否|ElasticSearch EngineConn， 支持SQL 和DSL 代码| -|Impala|Impala >= 3.2.0, CDH >=6.3.0|ongoing|-|Impala EngineConn，支持Impala SQL 代码| -|MLSQL| MLSQL >=1.1.0|ongoing|-|MLSQL EngineConn， 支持MLSQL 代码.| -|Hadoop|Apache >=2.6.0,
CDH >=5.4.0|ongoing|-|Hadoop EngineConn， 支持Hadoop MR/YARN application| -|TiSpark|1.1|ongoing|-|TiSpark EngineConn， 支持用SparkSQL 查询TiDB| +|Spark|Apache 2.0.0~2.4.7,
CDH >= 5.4.0,
（默认Apache Spark 2.4.3）|\>=1.0.0_rc1|是|Spark EngineConn， 支持SQL, Scala, Pyspark 和R 代码。| +|Hive|Apache >= 1.0.0,
CDH >= 5.4.0,
（默认Apache Hive 2.3.3）|\>=1.0.0_rc1|是|Hive EngineConn， 支持HiveQL 代码。| +|Python|Python >= 2.6,
（默认Python2*）|\>=1.0.0_rc1|是|Python EngineConn， 支持python 代码。| +|Shell|Bash >= 2.0|\>=1.0.0_rc1|是|Shell EngineConn， 支持Bash shell 代码。| +|JDBC|MySQL >= 5.0, Hive >=1.2.1,
(默认Hive-jdbc 2.3.4)|\>=1.0.0_rc1|否|JDBC EngineConn， 已支持MySQL 和HiveQL，可快速扩展支持其他有JDBC Driver 包的引擎, 如Oracle。| +|Flink |Flink >= 1.12.2,
(默认Apache Flink 1.12.2)|\>=1.0.2|否|Flink EngineConn， 支持FlinkSQL 代码，也支持以Flink Jar 形式启动一个新的Yarn 应用程序。| +|Pipeline|-|\>=1.0.2|否|Pipeline EngineConn， 支持文件的导入和导出。| +|openLooKeng|openLooKeng >= 1.5.0,
(默认openLookEng 1.5.0)|\>=1.1.1|否|openLooKeng EngineConn， 支持用Sql查询数据虚拟化引擎openLooKeng。| +|Sqoop| Sqoop >= 1.4.6,
(默认Apache Sqoop 1.4.6)|\>=1.1.2|否|Sqoop EngineConn， 支持 数据迁移工具 Sqoop 引擎。| +|Presto|Presto >= 0.180|\>=1.2.0|否|Presto EngineConn， 支持Presto SQL 代码。| +|ElasticSearch|ElasticSearch >=6.0|\>=1.2.0|否|ElasticSearch EngineConn， 支持SQL 和DSL 代码。| +|Impala|Impala >= 3.2.0, CDH >=6.3.0|ongoing|-|Impala EngineConn，支持Impala SQL 代码。| +|MLSQL| MLSQL >=1.1.0|ongoing|-|MLSQL EngineConn， 支持MLSQL 代码。| +|Hadoop|Apache >=2.6.0,
CDH >=5.4.0|ongoing|-|Hadoop EngineConn， 支持Hadoop MR/YARN application。| +|TiSpark|1.1|ongoing|-|TiSpark EngineConn， 支持用SparkSQL 查询TiDB。| @@ -62,11 +62,11 @@ Linkis 自2019年开源发布以来，已累计积累了700多家试验企业和 ## 架构概要 Linkis 基于微服务架构开发，其服务可以分为3类:计算治理服务、公共增强服务和微服务治理服务。 -- 计算治理服务，支持计算任务/请求处理流程的3个主要阶段:提交->准备->执行; -- 公共增强服务，包括上下文服务、物料管理服务及数据源服务等; +- 计算治理服务，支持计算任务/请求处理流程的3个主要阶段:提交->准备->执行。 +- 公共增强服务，包括上下文服务、物料管理服务及数据源服务等。 - 微服务治理服务，包括定制化的Spring Cloud Gateway、Eureka、Open Feign。 -下面是Linkis 的架构概要图. 更多详细架构文档请见 [Linkis/Architecture](../architecture/overview.md). +下面是Linkis的架构概要图，更多详细架构文档请见 [Linkis/Architecture](../architecture/overview.md)。 ![architecture](/Images/Linkis_1.0_architecture.png) 基于Linkis 计算中间件，我们在大数据平台套件[WeDataSphere](https://github.com/WeBankFinTech/WeDataSphere) 中构建了许多应用和工具系统，下面是目前可用的开源项目。 @@ -88,7 +88,7 @@ Linkis 基于微服务架构开发，其服务可以分为3类:计算治理服 更多项目开源准备中，敬请期待。 ## 贡献 -我们非常欢迎和期待更多的贡献者参与共建Linkis, 不论是代码、文档，或是其他能够帮助到社区的贡献形式。 +我们非常欢迎和期待更多的贡献者参与共建Linkis, 不论是代码、文档或是其他能够帮助到社区的贡献形式。 代码和文档相关的贡献请参照[贡献指引](/community/how-to-contribute)。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/architecture/service-architecture/service_isolation.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/architecture/service-architecture/service_isolation.md index 800936a91be..f0a51748f1f 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/architecture/service-architecture/service_isolation.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/architecture/service-architecture/service_isolation.md @@ -5,8 +5,7 @@ sidebar_position: 9 ## 1. 总述 ### 1.1 需求背景 -     Linkis在Gateway进行服务转发时是基于ribbon进行负载均衡的，但是有些情况下存在一些重要业务的任务希望做到服务级别的隔离，如果基于ribbon进行服务在均衡就会存在问题。比如租户A希望他的任务都路由到特定的Linkis-CG-Entrance服务，这样当其他的实例出现异常时可以不会影响到A服务的Entrance。 -     另外支持服务的租户及隔离也可以做到快速隔离某个异常服务，支持灰度升级等场景。 +     Linkis在Gateway进行服务转发时是基于ribbon进行负载均衡的，但是有些情况下存在一些重要业务的任务希望做到服务级别的隔离，如果基于ribbon进行服务在均衡就会存在问题。比如租户A希望他的任务都路由到特定的Linkis-CG-Entrance服务，这样当其他的实例出现异常时可以不会影响到A服务的Entrance。另外支持服务的租户及隔离也可以做到快速隔离某个异常服务，支持灰度升级等场景。 ### 1.2 目标 1. 支持通过解析请求的标签按照路由标签对服务进行转发 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/deploy-console.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/deploy-console.md index 3d1f3213cac..127e9ae32d1 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/deploy-console.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/deploy-console.md @@ -167,8 +167,6 @@ wds.linkis.admin.user= #用户 wds.linkis.admin.password= #密码 ``` -管理台使用指引见[使用手册](../user-guide/console-manual.md) - ## 4 注意事项 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/deploy-quick.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/deploy-quick.md index 0f1c00396aa..5926b6f8868 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/deploy-quick.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/deploy-quick.md @@ -8,17 +8,17 @@ sidebar_position: 1 ### 1.1 Linux服务器 **硬件要求** -安装linkis 微服务近10个，至少3G内存。每个微服务默认配置启动的jvm -Xmx 内存大小为 512M（内存不够的情况下，可以尝试调小至256/128M，内存足够情况下也可以调大） +安装linkis 微服务近10个，至少3G内存。每个微服务默认配置启动的jvm -Xmx 内存大小为 512M（内存不够的情况下，可以尝试调小至256/128M，内存足够情况下也可以调大）。 ### 1.2 添加部署用户 >部署用户: linkis核心进程的启动用户，同时此用户会默认作为管理员权限，部署过程中会生成对应的管理员登录密码，位于`conf/linkis-mg-gateway.properties`文件中 -Linkis支持指定提交、执行的用户。linkis主要进程服务会通过`sudo -u ${linkis-user}` 切换到对应用户下，然后执行对应的引擎启动命令，所以引擎`linkis-engine`进程归属的用户是任务的执行者（因此部署用户需要有sudo权限，而且是免密的） +Linkis支持指定提交、执行的用户。linkis主要进程服务会通过`sudo -u ${linkis-user}` 切换到对应用户下，然后执行对应的引擎启动命令，所以引擎`linkis-engine`进程归属的用户是任务的执行者（因此部署用户需要有sudo权限，而且是免密的）。 以hadoop用户为例: -先查看系统中是否已经有 hadoop 用户，若已经存在，则直接授权即可；若不存在，先创建用户，再授权。 +先查看系统中是否已经有 hadoop 用户，若已经存在，则直接授权即可，若不存在，先创建用户，再授权。 查看是否已存在 hadoop 用户 ```shell script @@ -43,8 +43,8 @@ hadoop ALL=(ALL) NOPASSWD: NOPASSWD: ALL ### 2.1 安装包准备 - 方式1：从官网[下载地址](https://linkis.apache.org/zh-CN/download/main):https://linkis.apache.org/zh-CN/download/main -，下载对应的安装包（项目安装包和管理台安装包） -- 方式2：根据[Linkis 编译打包](../development/build)和[前端管理台编译](../development/build-console) 自行编译出项目安装包和管理台安装包 +，下载对应的安装包（项目安装包和管理台安装包）。 +- 方式2：根据[Linkis 编译打包](../development/build)和[前端管理台编译](../development/build-console) 自行编译出项目安装包和管理台安装包。 上传安装包`apache-linkis-x.x.x-incubating-bin.tar.gz`后，进行解压安装包 @@ -89,7 +89,7 @@ HIVE_META_PASSWORD=demo123 # HiveMeta元数据库的密码 ### 2.3 配置基础变量 -文件位于`deploy-config/linkis-env.sh` +文件位于`deploy-config/linkis-env.sh`。 #### 部署用户 ```shell script @@ -134,7 +134,7 @@ YARN_RESTFUL_URL=http://xx.xx.xx.xx:8088 #### 基础组件环境信息 :::caution 注意 -可以通过用户的系统环境变量配置, 如果通过系统环境变量配置的，deploy-config/linkis-env.sh配置文件中可以不进行配置 直接注释掉 +可以通过用户的系统环境变量配置, 如果通过系统环境变量配置的，deploy-config/linkis-env.sh配置文件中可以不进行配置 直接注释掉。 ::: ```shell script @@ -157,7 +157,11 @@ SPARK_CONF_DIR=/appcom/config/spark-config #### LDAP 登录配置（可选） :::caution 注意 +<<<<<<< HEAD +默认是使用静态用户和密码,静态用户即部署用户，静态密码会在执行部署是随机生成一个密码串，存储于`{LINKIS_HOME}/conf/linkis-mg-gateway.properties`(>=1.0.3版本)。 +======= 默认是使用静态用户和密码,静态用户即部署用户，静态密码会在执行部署是随机生成一个密码串，存储于`${LINKIS_HOME}/conf/linkis-mg-gateway.properties`(>=1.0.3版本) +>>>>>>> origin/dev ::: @@ -223,8 +227,8 @@ install.sh脚本会询问您是否需要初始化数据库并导入元数据。 **第一次安装必须选清空数据库** :::tip 注意 -- 如果出现报错，又不清楚具体是执行什么命令报错，可以加 -x 参数`sh -x bin/install.sh`，将shell脚本执行过程日志打印出来，方便定位问题 -- 权限问题:`mkdir: cannot create directory ‘xxxx’: Permission denied`,请确认部署用户是否拥有该路径的读写权限 +- 如果出现报错，又不清楚具体是执行什么命令报错，可以加 -x 参数`sh -x bin/install.sh`，将shell脚本执行过程日志打印出来，方便定位问题。 +- 权限问题:`mkdir: cannot create directory ‘xxxx’: Permission denied`,请确认部署用户是否拥有该路径的读写权限。 ::: 执行成功提示如下: @@ -236,7 +240,7 @@ Your default account password is [hadoop/5e8e312b4]` ### 3.2 添加mysql驱动包 :::caution 注意 -因为mysql-connector-java驱动是GPL2.0协议，不满足Apache开源协议关于license的政策，因此从1.0.3版本开始，提供的Apache版本官方部署包，默认是没有mysql-connector-java-x.x.x.jar的依赖包（**若是通过集成的全家桶物料包安装，则无需手动添加**），安装部署时需要自行添加依赖到对应的lib包中。 可以在对应的目录下查看是否存在，如果不存在则需要添加 +因为mysql-connector-java驱动是GPL2.0协议，不满足Apache开源协议关于license的政策，因此从1.0.3版本开始，提供的Apache版本官方部署包，默认是没有mysql-connector-java-x.x.x.jar的依赖包（**若是通过集成的全家桶物料包安装，则无需手动添加**），安装部署时需要自行添加依赖到对应的lib包中。 可以在对应的目录下查看是否存在，如果不存在则需要添加。 ::: @@ -256,10 +260,10 @@ cp mysql-connector-java-5.1.49.jar ${LINKIS_HOME}/lib/linkis-commons/public-mod 执行spark任务时，需要使用到yarn的ResourceManager，通过配置项`YARN_RESTFUL_URL=http://xx.xx.xx.xx:8088 `控制。 执行安装部署时，会将`YARN_RESTFUL_URL=http://xx.xx.xx.xx:8088` 信息更新到数据库表中 `linkis_cg_rm_external_resource_provider`中时候，默认访问yarn资源是不需权限验证的， 如果yarn的ResourceManager开启了密码权限验证，请安装部署后，修改数据库表 `linkis_cg_rm_external_resource_provider` 中生成的yarn数据信息, -详细可以参考[查看yarn地址是否配置正确](#811-查看yarn地址是否配置正确) +详细可以参考[查看yarn地址是否配置正确](#811-查看yarn地址是否配置正确)。 #### 3.3.2 session -如果您是对Linkis的升级。同时部署DSS或者其他项目，但其它软件中引入的依赖linkis版本<1.1.1(主要看lib包中，所依赖的Linkis的linkis-module-x.x.x.jar包 <1.1.1），则需要修改位于`${LINKIS_HOME}/conf/linkis.properties`文件 +如果您是对Linkis的升级。同时部署DSS或者其他项目，但其它软件中引入的依赖linkis版本<1.1.1(主要看lib包中，所依赖的Linkis的linkis-module-x.x.x.jar包 <1.1.1），则需要修改位于`${LINKIS_HOME}/conf/linkis.properties`文件。 ```shell echo "wds.linkis.session.ticket.key=bdp-user-ticket-id" >> linkis.properties ``` @@ -270,12 +274,12 @@ sh sbin/linkis-start-all.sh ``` ### 3.5 安装后配置的修改 -安装完成后，如果需要修改配置（因端口冲突或则某些配置有问题需要调整配置），可以重新执行安装，或则修改对应服务的配置`${LINKIS_HOME}/conf/*properties`文件后，重启对应的服务，如：`sh sbin/linkis-daemon.sh start ps-publicservice` +安装完成后，如果需要修改配置（因端口冲突或则某些配置有问题需要调整配置），可以重新执行安装，或则修改对应服务的配置`${LINKIS_HOME}/conf/*properties`文件后，重启对应的服务，如：`sh sbin/linkis-daemon.sh start ps-publicservice`。 ### 3.6 检查服务是否正常启动 访问eureka服务页面（http://eurekaip:20303）， -默认会启动6个 Linkis 微服务，其中下图linkis-cg-engineconn服务为运行任务才会启动 +默认会启动6个 Linkis 微服务，其中下图linkis-cg-engineconn服务为运行任务才会启动。 ![Linkis1.0_Eureka](./images/eureka.png) ```shell script @@ -364,17 +368,21 @@ nginx的日志文件在 `/var/log/nginx/access.log` 和`/var/log/nginx/error.log 如果需要修改端口或则静态资源目录等，请修改`/etc/nginx/conf.d/linkis.conf` 文件后执行 `sudo nginx -s reload` 命令 :::caution 注意 -- 目前暂未集成visualis功能，安装过程中如果提示安装linkis/visualis失败，可以忽略 -- 查看nginx是否正常启动：检查nginx进程是否存在 `ps -ef |grep nginx` -- 检查nginx的配置是否正确 `sudo nginx -T ` -- 如果端口被占用，可以修改nginx启动的服务端口`/etc/nginx/conf.d/linkis.conf`listen端口值，保存后重新启动 -- 如果访问管理台出现接口502，或则`Unexpected token < in JSON at position 0`异常，请确认linkis-mg-gateway是否正常启动，如果正常启动，查看nginx配置文件中配置的linkis-mg-gateway服务地址是否正确 +- 目前暂未集成visualis功能，安装过程中如果提示安装linkis/visualis失败，可以忽略 。 +- 查看nginx是否正常启动：检查nginx进程是否存在 `ps -ef |grep nginx` 。 +- 检查nginx的配置是否正确 `sudo nginx -T ` 。 +- 如果端口被占用，可以修改nginx启动的服务端口`/etc/nginx/conf.d/linkis.conf`listen端口值，保存后重新启动。 +- 如果访问管理台出现接口502，或则`Unexpected token < in JSON at position 0`异常，请确认linkis-mg-gateway是否正常启动，如果正常启动，查看nginx配置文件中配置的linkis-mg-gateway服务地址是否正确。 ::: ### 4.4 登录管理台 浏览器登陆 `http://xx.xx.xx.xx:8188/#/login` +<<<<<<< HEAD +用户名/密码在`{LINKIS_HOME}/conf/linkis-mg-gateway.properties`中查看。 +======= 用户名/密码在`${LINKIS_HOME}/conf/linkis-mg-gateway.properties`中查看 + ```shell script wds.linkis.admin.user= #用户 wds.linkis.admin.password= #密码 @@ -398,18 +406,16 @@ sh bin/linkis-cli -submitUser hadoop -engineType spark-2.4.3 -codeType sql -c #python引擎任务 sh bin/linkis-cli -submitUser hadoop -engineType python-python2 -codeType python -code 'print("hello, world!")' ``` -如果验证失败，请参考【步骤8】进行排查 - -## 6 开发工具IDE（Scriptis）的安装(可选) ->安装Scripti工具后，可以支持在web页面在线写SQL、Pyspark、HiveQL等脚本 +如果验证失败，请参考【步骤8】进行排查。 -详细指引见[工具Scriptis的安装部署](integrated/install-scriptis) +## 6. 开发工具IDE（Scriptis）的安装(可选) +安装Scripti工具后，可以支持在web页面在线写SQL、Pyspark、HiveQL等脚本，详细指引见[工具Scriptis的安装部署](integrated/install-scriptis)。 ## 7. 支持的引擎 ### 7.1 引擎适配列表 -请注意：Linkis的单独安装包默认只包含的：Python/Shell/Hive/Spark四个引擎，如果有其他的引擎(如jdbc/flink/sqoop等引擎)使用场景，可以手动安装，具体请参考 [EngineConnPlugin引擎插件安装文档](install-engineconn)。 +请注意：Linkis的单独安装包默认只包含Python、Shell、Hive、Spark四个引擎，如果有其他的引擎(如jdbc/flink/sqoop等引擎)使用场景，可以手动安装，具体请参考 [EngineConnPlugin引擎插件安装文档](install-engineconn)。 本版本已适配的支持引擎列表如下： @@ -467,7 +473,8 @@ select * from linkis_cg_engine_conn_plugin_bml_resources >如果需要使用到spark/hive/flink引擎 -登录后查看能否正常显示yarn队列资源(点击页面右下角按钮)(需要先安装前端) +登录后查看能否正常显示yarn队列资源(点击页面右下角按钮)(需要先安装前端)。 + 正常如下图所示: ![yarn-normal](images/yarn-normal.png) @@ -492,15 +499,15 @@ config字段属性 "pwd":"pwd"//密码 ``` -更新后，因为程序中有使用到缓存，想要立即生效，需要重启linkis-cg-linkismanager服务 +更新后，因为程序中有使用到缓存，想要立即生效，需要重启linkis-cg-linkismanager服务。 ```shell script sh sbin/linkis-daemon.sh restart cg-linkismanager ``` #### 8.1.2 查看yarn队列是否存在 -异常信息:`desc: queue ide is not exists in YARN.`表明配置的yarn队列不存在，需要进行调整 +异常信息:`desc: queue ide is not exists in YARN.`表明配置的yarn队列不存在，需要进行调整。 -修改方式:`linkis管理台/参数配置>全局设置>yarn队列名[wds.linkis.rm.yarnqueue]`，修改一个可以使用的yarn队列，以使用的yarn 队列可以在 `rmWebAddress:http://xx.xx.xx.xx:8088/cluster/scheduler` 上查看到 +修改方式:`linkis管理台/参数配置>全局设置>yarn队列名[wds.linkis.rm.yarnqueue]`，修改一个可以使用的yarn队列，以使用的yarn 队列可以在 `rmWebAddress:http://xx.xx.xx.xx:8088/cluster/scheduler` 上查看到。 查看可用的yarn队列 - 查看yarn队列地址：http://ip:8888/cluster/scheduler @@ -515,13 +522,13 @@ select * from linkis_cg_engine_conn_plugin_bml_resources 正常如下： ![bml](images/bml.png) -查看引擎的物料记录是否存在(如果有更新,查看更新时间是否正确)。 +查看引擎的物料记录是否存在(如果有更新,查看更新时间是否正确) - 如果不存在或则未更新，先尝试手动刷新物料资源(详细见[引擎物料资源刷新](install-engineconn#23-引擎刷新))。 -- 通过`log/linkis-cg-linkismanager.log`日志，查看物料失败的具体原因，很多时候可能是hdfs目录没有权限导致 -- 检查gateway地址配置是否正确`conf/linkis.properties`的配置项`wds.linkis.gateway.url` +- 通过`log/linkis-cg-linkismanager.log`日志，查看物料失败的具体原因，很多时候可能是hdfs目录没有权限导致。 +- 检查gateway地址配置是否正确`conf/linkis.properties`的配置项`wds.linkis.gateway.url`。 -引擎的物料资源默认上传到hdfs目录为 `/apps-data/${deployUser}/bml` +引擎的物料资源默认上传到hdfs目录为 `/apps-data/${deployUser}/bml`。 ```shell script hdfs dfs -ls /apps-data/hadoop/bml @@ -533,16 +540,17 @@ hdfs dfs -chown hadoop:hadoop /apps-data ### 8.3 登陆密码问题 linkis默认是使用静态用户和密码,静态用户即部署用户，静态密码会在执行部署是随机生成一个密码串，存储于 -`${LINKIS_HOME}/conf/linkis-mg-gateway.properties`（>=1.0.3版本） + +`${LINKIS_HOME}/conf/linkis-mg-gateway.properties`（>=1.0.3版本）。 ### 8.4 版本兼容性问题 -linkis默认支持的引擎，与dss兼容关系可以查看[此文档](https://github.com/apache/linkis/blob/master/README.md) +linkis默认支持的引擎，与dss兼容关系可以查看[此文档](https://github.com/apache/linkis/blob/master/README.md) 。 ### 8.5 如何定位服务端异常日志 -linkis的微服务比较多，若对系统不熟悉，有时候无法定位到具体哪个模块出现了异常，可以通过全局日志搜索方式 +linkis的微服务比较多，若对系统不熟悉，有时候无法定位到具体哪个模块出现了异常，可以通过全局日志搜索方式。 ```shell script tail -f log/* |grep -5n exception(或则tail -f log/* |grep -5n ERROR) less log/* |grep -5n exception(或则less log/* |grep -5n ERROR) @@ -582,6 +590,7 @@ sh -x engineConnExec.sh ### 8.7 如何修改注册中心eureka的端口 有时候当eureka的端口被其他服务占用,无法使用默认的eureka端口的时候,需要对eureka端口进行修改,这里把对eureka端口的修改分为执行安装之前和执行安装之后两种情况。 + 1.执行安装之前修改注册中心eureka端口 ``` 1. 进入apache-linkis-x.x.x-incubating-bin.tar.gz的解压目录 @@ -632,18 +641,19 @@ Token-User:hadoop ### 8.10 异常问题的排查流程 -首先要按上述步骤检查服务/环境等是否都正常启动 -按上述罗列的一些场景的方式进行基础问题的排查 +首先要按上述步骤检查服务/环境等是否都正常启动,然后按上述罗列的一些场景的方式进行基础问题的排查 。 + [QA文档](https://docs.qq.com/doc/DSGZhdnpMV3lTUUxq)中查找是否有解决方案，链接：https://docs.qq.com/doc/DSGZhdnpMV3lTUUxq -通过搜索issue中的内容,看是否能找到解决方案 +通过搜索issue中的内容,看是否能找到解决方案。 ![issues](images/issues.png) 通过官网文档搜索，对于某些问题，可以通过官网搜索关键字进行查询，比如搜索"部署"相关。(如果出现404,请浏览器中刷新一下) ![search](images/search.png) ## 9. 相关的资料如何获取 -linkis官网文档正在不断的完善,可以在本官网查看/关键字搜索相关文档。 -相关博文链接 +linkis官网文档正在不断的完善,可以在本官网查看相关文档。 + +相关博文链接如下。 - Linkis的技术博文集 https://github.com/apache/linkis/issues/1233 - 公众号技术博文https://mp.weixin.qq.com/mp/homepage?__biz=MzI4MDkxNzUxMg==&hid=1&sn=088cbf2bbed1c80d003c5865bc92ace8&scene=18 - 官网文档 https://linkis.apache.org/zh-CN/docs/latest/introduction diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/directory-linkis.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/directory-linkis.md index 33880197d94..29469b85280 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/directory-linkis.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/directory-linkis.md @@ -1,5 +1,5 @@ --- -title: linkis目录结构 +title: 目录结构 sidebar_position: 7 --- diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/install-engineconn.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/install-engineconn.md index 467f05f8163..0622eff2e71 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/install-engineconn.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/install-engineconn.md @@ -5,7 +5,7 @@ sidebar_position: 4 > 本文主要介绍对于官方安装包中，未包含的引擎物料(jdbc/sqoop/flink等)/或则自定义实现的新引擎，如何进行安装部署，以支持对应的任务 -## 1 引擎插件目录结构 +## 1. 引擎插件目录结构 Linkis的引擎物料包安装目录为`${LINKIS_HOME}/lib/linkis-engineconn-plugins`，目录结构如下: diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/integrated/_category_.json b/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/integrated/_category_.json index ec6dd4365b9..7cd78cc67d9 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/integrated/_category_.json +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/integrated/_category_.json @@ -1,4 +1,4 @@ { "label": "集成", - "position": 5 + "position": 9 } \ No newline at end of file diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/version-adaptation.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/version-adaptation.md index fb19a0d5e2b..44b6a413bee 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/version-adaptation.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/deployment/version-adaptation.md @@ -1,3 +1,8 @@ +--- +title: 版本适配 +sidebar_position: 8 +--- + # 版本适配 ## 1. 功能说明 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/development/config.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/development/config.md index 0d17e50629f..a0b86b0d18a 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/development/config.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/development/config.md @@ -33,7 +33,7 @@ Linkis配置文件格式如下所示： │ ├── log4j2.xml ``` 每个服务会加载两个属性配置文件，一个为公用的主配置文件linkis.properties，以及服务配置文件linkis-serviceName.properties。设置的优先级为服务配置文件高于主配置文件 -建议通用的参数放置在主配置文件，个性话配置文件放在服务配置文件 +建议通用的参数放置在主配置文件，个性化配置文件放在服务配置文件 2. Spring 参数 Linkis服务是基于SpringBoot应用的，Spring相关的参数支持在application-linkis.yml进行设置，也支持在linkis配置文件里面进行配置。在linkis配置文件里面配置需要加上spring.的前缀。如下： diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/development/development-specification/how-to-write-unit-test-code.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/development/development-specification/how-to-write-unit-test-code.md index 8e7b58c4a0f..af8faa8bd56 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/development/development-specification/how-to-write-unit-test-code.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/development/development-specification/how-to-write-unit-test-code.md @@ -281,7 +281,7 @@ mock模拟数据示例: - util工具功能类 常用的功能工具 - exception类 自定义的异常类 - enum类 枚举类 -- entity类 用于DB交互以及方法处理的参数VO对象等实体类（若除了正常得get set外还有其他自定义函数的需要进行单元测试） +- entity类 用于DB交互以及方法处理的参数VO对象等实体类（若除了正常的get set外还有其他自定义函数的需要进行单元测试） ### 5.2 Controller类的单元测试 使用Mockmvc diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/tuning-and-troubleshooting/overview.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/tuning-and-troubleshooting/overview.md index bca745ee045..158e556a4eb 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/tuning-and-troubleshooting/overview.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/tuning-and-troubleshooting/overview.md @@ -165,6 +165,6 @@ sh -x engineConnExec.sh ### 5. 定位源码远程debug 通常情况下，对源码远程debug是定位问题最有效的方式，但相对查阅文档来说，需要用户对源码结构有一定的了解， -这里建议您在远程debug前查阅《 [Linkis源码层级结构详解](../deployment/directory-linkis.md) 》,对项目的源码结构进行初步的了解， +这里建议您在远程debug前查阅《 [Linkis源码层级结构详解](../development/directory-structure.md) 》,对项目的源码结构进行初步的了解， 有一定程度上的熟悉之后，可以参考《 [如何DebugLinkis](../development/debug.md) 》一文 调试对应微服务下的代码。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/upgrade/upgrade-from-0.X-to-1.0-guide.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/upgrade/upgrade-from-0.X-to-1.0-guide.md index 49e0a36755c..6712753c386 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/upgrade/upgrade-from-0.X-to-1.0-guide.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/upgrade/upgrade-from-0.X-to-1.0-guide.md @@ -7,7 +7,7 @@ sidebar_position: 1 ## 1. 注意事项 -**如果您是首次接触并使用Linkis，您可以忽略该章节；**。 +**如果您是首次接触并使用Linkis，您可以忽略该章节。**。 ## 2. 服务升级安装 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/user-guide/console-manual.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/user-guide/console-manual.md deleted file mode 100644 index 6ef2ec0b820..00000000000 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/user-guide/console-manual.md +++ /dev/null @@ -1,198 +0,0 @@ ---- -title: 管理台的使用 -sidebar_position: 4 ---- - -> Linkis1.0新增了计算治理台页面，可以提供给用户交互式的UI界面，用于查看Linkis任务的执行情况、自定义参数配置、引擎健康状态、资源剩余情况等等便于用户进行开发和管理的页面。 - -## 1. 管理台结构 - - -计算治理台主要由以下几个功能页组成： - -- 全局历史 -- 资源管理 -- 参数配置 -- 全局变量 -- ECM管理](仅linkis计算治理台管理员可见) -- 微服务管理(仅linkis计算治理台管理员可见) - -其中全局历史、资源管理、参数配置、全局变量是所有用户可见，而ECM管理和微服务管理仅仅对linkis计算治理台管理员可见。 - -Linkis计算治理台管理员可以通过linkis.properties中的下方参数配置： - -`wds.linkis.governance.station.admin=hadoop (多位管理员用户名通过‘,’分隔)` - - -## 2. 全局历史 -> ![](images/global-history-interface.png) - -全局历史界面提供了用户自身的linkis任务提交记录，各个任务的执行状态都可以在此显示，任务执行的失败原因也可以点击任务左侧的查看按钮查询 - -![./media/image2.png](images/global-history-query-button.png) - - -![./media/image3.png](images/task-log-single.png) - - -对于linkis计算治理台管理员来说，管理员可以通过点击页面的切换管理员视图查看所有用户的历史任务。 - -![./media/image4.png](images/administrator-view.png) - - -## 3. 资源管理 - - -> 在资源管理界面，用户可以看到自己当前启动的引擎状态，以及占用资源的情况，也能够通过页面停止引擎。 - -![./media/image5.png](images/resource-management-interface.png) - - -## 4. 参数配置 - -> 参数配置界面提供了用户自定义参数管理的功能，用户可以在该界面管理引擎的相关配置，管理员还能在这里新增应用类型和引擎。 - - -![./media/image6.png](images/configuration-interface.png) - - -用户通过点击上方的应用类型，接着选择应用中拥有的引擎类型，即可展开该目录下的所有配置信息，修改配置信息点击保存即可生效。 - -编辑目录和新增应用类型仅管理员可见，点击编辑按钮可以删除已有的应用和引擎配置（注意！直接删除应用会删除该应用下所有的引擎配置，并且不可恢复），或者添加引擎，点击新增应用可以添加应用类型。 - -![./media/image7.png](images/edit-directory.png) - - - ![./media/image8.png](images/new-application-type.png) - - -## 5. 全局变量 - - -> 全局变量界面用户可以自定义变量用于代码编写，点击编辑按钮新增参数即可。 - -![./media/image9.png](images/global-variable-interface.png) - - -## 6. ECM管理 -> **仅linkis计算治理台管理员可见** - -ECM管理界面是用于管理员管理ECM和所有引擎的地方，该界面可以查看到ECM的状态信息、修改ECM标签信息、修改ECM状态信息以及查询各个ECM下的所有引擎信息。且仅管理员可见，管理员的配置方式可以在本文章第二大章节查看。 - -![./media/image10.png](images/management-interface.png) - - -点击编辑按钮，可以编辑ECM的标签信息（仅允许编辑部分标签），以及修改ECM的状态。 - -![./media/image11.png](images/editing-interface.png) - - -点击ECM的实例名称，可以查看该ECM下所有的引擎信息。 - -![](images/view-engine-information.png) - -![](images/engine-information.png) - -同样地，可以在该界面停止引擎，并且可以编辑引擎的标签信息。 - -## 7. 微服务管理 - ->**仅linkis计算治理台管理员可见** - -微服务管理界面可以查看Linkis下的所有微服务信息，该界面也仅允许管理员可见。linkis自身的微服务可以点击Eureka注册中心查看，与linkis关联的微服务会直接在该界面列出。 - -![](images/microservice-Interface.png) - -![](images/eureka-registration-center.png) - -## 8. 管理台主要接口以及功能介绍 -### 1 全局历史 -#### 1.1 主要功能 -- 执行任务的查询:支持根据时间/任务ID/引擎类型/任务状态查询历史任务。 -- 运行态任务的强制停止 -- 管理员用户可以切换管理员视图，查看所有的用户任务 -- 查看任务详细执行日志以及执行结果 - -#### 1.2 主要接口 - -- 历史任务的分页查询 /api/rest_j/v1/jobhistory/list -- 历史任务的详细查询 /api/rest_j/v1/jobhistory/{taskId}/get -- 日志的查看 /api/rest_j/v1/filesystem/openLog?path=hdfs:%2F%2F%2Ftmp%2Flinkis%2Flog%2F2022-04-12%2FIDE%2Fhadoop%2F466.log -- 结果集文件列表 /api/rest_j/v1/filesystem/getDirFileTrees?path=hdfs:%2F%2F%2Ftmp%2Flinkis%2Fhadoop%2Flinkis%2F20220412_173302%2FIDE%2F466 -- 执行结果集数据 /api/rest_j/v1/filesystem/openFile?path=hdfs:%2F%2F%2Ftmp%2Flinkis%2Fhadoop%2Flinkis%2F20220412_173302%2FIDE%2F466%2F_0.dolphin&page=1&pageSize=5000 -- 任务的强制kill接口 /api/rest_j/v1/entrance/killJobs - - -### 2 资源管理 -#### 2.1 主要功能 -- 查看登录用户当前启动的引擎状态，占用资源情况 -- 能够通过界面操作停止引擎 -- 管理员用户可以切换管理员视图，查看yarn队列资源，以及资源重置 - -#### 2.2 主要接口 -- 资源查询接口 /api/rest_j/v1/linkisManager/rm/userresources -- 详细的资源使用的引擎实例信息 api/rest_j/v1/linkisManager/rm/applicationlist -- 引擎停止接口 /api/rest_j/v1/linkisManager/rm/enginekill -- 资源重置接口 /api/rest_j/v1/linkisManager/rm/resetResource?resourceId=2 -- 所有使用资源列表 /api/rest_j/v1/linkisManager/rm/allUserResource?page=1&size=15 - - - -### 3 参数配置 -#### 3.1 主要功能 -- 用户自定义参数管理的功能 -- 用户可以在该界面管理引擎的相关配置 -- 管理员还能在这里新增应用类型和引擎 - -#### 3.2 主要接口 -- 查看配置的树形列表 /api/rest_j/v1/configuration/getFullTreesByAppName?creator=%E5%85%A8%E5%B1%80%E8%AE%BE%E7%BD%AE -- 新建二级引擎配置 /api/rest_j/v1/configuration/createSecondCategory -- 配置的保存/api/rest_j/v1/configuration/saveFullTree - - -### 4 全局变量 -#### 4.1 主要功能 -- 支持用户可以自定义变量的新增和修改，在任务提交时能够根据配置的变量值进行自动替换。能够进行常用变量的复用 - -#### 4.2 主要接口 -- 全局变量的保存 /api/rest_j/v1/variable/saveGlobalVariable -- 全局变量的查询 /api/rest_j/v1/variable/listGlobalVariable - -### 5 ECM管理 -> **仅linkis计算治理台管理员可见** -#### 5.1 主要功能 -- 管理员可以管理ECM和所有引擎， -- 可以查看到ECM的状态信息、修改ECM标签信息、修改ECM状态信息以及查询各个ECM下的所有引擎信息 -- 可以编辑ECM的标签信息（仅允许编辑部分标签），以及修改ECM的状态。 -- 可以查看该ECM下所有的引擎信息，以及可以针对单个引擎进行的停止操作，查看运行日志，并且可以编辑引擎的标签信息。 - -最大可用资源通过配置文件参数配置 默认值 -wds.linkis.ecm.memory.max 100g -wds.linkis.ecm.cores.max 100 -wds.linkis.ecm.engineconn.instances.max 50 - - -#### 5.2 主要接口 -- 查询ECM列表 api/rest_j/v1/linkisManager/listAllEMs -- 修改ECM信息 api/rest_j/v1/linkisManager/modifyEMInfo -- 查询ecm下的引擎数据 /api/rest_j/v1/linkisManager/listEMEngines -- 修改引擎信息 api/rest_j/v1/linkisManager/modifyEngineInfo -- 引擎停止接口 /api/rest_j/v1/linkisManager/rm/enginekill -- 引擎日志查询接口 /api/rest_j/v1/linkisManager/openEngineLog - - -### 6 微服务管理 - -#### 6.1 主要功能 - -可以查看Linkis下的所有微服务信息，仅linkis计算治理台管理员可见。 - -#### 6.2 主要接口 -- 服务查询 /api/rest_j/v1/microservice/allInstance -- label的更新 api/rest_j/v1/microservice/instanceLabel - - - - - - diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/user-guide/datasource-manual.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/user-guide/datasource-manual.md index 5c79f7b7ab3..c62f0b00530 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/user-guide/datasource-manual.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/user-guide/datasource-manual.md @@ -9,7 +9,7 @@ sidebar_position: 4 ### 1.1 概念 -- 数据源:我们将能提供数据存储的数据库服务称为数据库，如mysql/hive/kafka，数据源定义的是连接到实际数据库的配置信息，配置信息主要是是连接需要的地址，用户认证信息，连接参数等。存储与linkis的数据库的linkis_ps_dm_datasource_*相关的表中 +- 数据源:我们将能提供数据存储的数据库服务称为数据库，如mysql/hive/kafka，数据源定义的是连接到实际数据库的配置信息，配置信息主要是连接需要的地址，用户认证信息，连接参数等。存储与linkis的数据库的linkis_ps_dm_datasource_*相关的表中 - 元数据:单指数据库的元数据，是指定义数据结构的数据，数据库各类对象结构的数据。 例如数据库中的数据库名，表名，列名，字段的长度、类型等信息数据。 ### 1.2 三个主要模块 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/user-guide/sdk-manual.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/user-guide/sdk-manual.md index 7205b53248e..c7ba225577d 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/user-guide/sdk-manual.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/user-guide/sdk-manual.md @@ -234,7 +234,7 @@ public class LinkisClientTest { 运行上述的代码即可以完成任务提交/执行/日志/结果集获取等 -## 3. Scala测试代码： +## 3. Scala测试代码 ```scala package org.apache.linkis.client.test diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.0.2/introduction.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.0.2/introduction.md index 25123ba648d..a144bcd4ac5 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.0.2/introduction.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.0.2/introduction.md @@ -12,26 +12,26 @@ Linkis 自2019年开源发布以来，已累计积累了700多家试验企业和 ![有了Linkis 之后](/Images-zh/after_linkis_cn.png) ## 核心特点 -- **丰富的底层计算存储引擎支持**。 +- **丰富的底层计算存储引擎支持**： **目前支持的计算存储引擎**：Spark、Hive、Python、Presto、ElasticSearch、MLSQL、TiSpark、JDBC和Shell等。 **正在支持中的计算存储引擎**：Flink、Impala等。 **支持的脚本语言**：SparkSQL, HiveQL, Python, Shell, Pyspark, R, Scala 和JDBC 等。 -- **强大的计算治理能力**。基于Orchestrator、Label Manager和定制的Spring Cloud Gateway等服务，Linkis能够提供基于多级标签的跨集群/跨IDC 细粒度路由、负载均衡、多租户、流量控制、资源控制和编排策略(如双活、主备等)支持能力。 -- **全栈计算存储引擎架构支持**。能够接收、执行和管理针对各种计算存储引擎的任务和请求，包括离线批量任务、交互式查询任务、实时流式任务和存储型任务； -- **资源管理能力**。 ResourceManager 不仅具备 Linkis0.X 对 Yarn 和 Linkis EngineManager 的资源管理能力，还将提供基于标签的多级资源分配和回收能力，让 ResourceManager 具备跨集群、跨计算资源类型的强大资源管理能力。 -- **统一上下文服务**。为每个计算任务生成context id，跨用户、系统、计算引擎的关联管理用户和系统资源文件（JAR、ZIP、Properties等），结果集，参数变量，函数等，一处设置，处处自动引用； -- **统一物料**。系统和用户级物料管理，可分享和流转，跨用户、系统共享物料。 +- **强大的计算治理能力**：基于Orchestrator、Label Manager和定制的Spring Cloud Gateway等服务，Linkis能够提供基于多级标签的跨集群/跨IDC 细粒度路由、负载均衡、多租户、流量控制、资源控制和编排策略(如双活、主备等)支持能力。 +- **全栈计算存储引擎架构支持**：能够接收、执行和管理针对各种计算存储引擎的任务和请求，包括离线批量任务、交互式查询任务、实时流式任务和存储型任务。 +- **资源管理能力**：ResourceManager 不仅具备 Linkis0.X 对 Yarn 和 Linkis EngineManager 的资源管理能力，还将提供基于标签的多级资源分配和回收能力，让 ResourceManager 具备跨集群、跨计算资源类型的强大资源管理能力。 +- **统一上下文服务**：为每个计算任务生成context id，跨用户、系统、计算引擎的关联管理用户和系统资源文件（JAR、ZIP、Properties等），结果集，参数变量，函数等，一处设置，处处自动引用。 +- **统一物料**：系统和用户级物料管理，可分享和流转，跨用户、系统共享物料。 ## 支持的引擎类型 | **引擎** | **引擎版本** | **Linkis 0.X 版本要求**| **Linkis 1.X 版本要求** | **说明** | |:---- |:---- |:---- |:---- |:---- | |Flink |1.12.2|\>=dev-0.12.0, PR #703 尚未合并|>=1.0.2| Flink EngineConn。支持FlinkSQL 代码，也支持以Flink Jar 形式启动一个新的Yarn 应用程序。| -|Impala|\>=3.2.0, CDH >=6.3.0"|\>=dev-0.12.0, PR #703 尚未合并|ongoing|Impala EngineConn. 支持Impala SQL 代码.| -|Presto|\>= 0.180|\>=0.11.0|ongoing|Presto EngineConn. 支持Presto SQL 代码.| -|ElasticSearch|\>=6.0|\>=0.11.0|ongoing|ElasticSearch EngineConn. 支持SQL 和DSL 代码.| -|Shell|Bash >=2.0|\>=0.9.3|\>=1.0.0_rc1|Shell EngineConn. 支持Bash shell 代码.| -|MLSQL|\>=1.1.0|\>=0.9.1|ongoing|MLSQL EngineConn. 支持MLSQL 代码.| -|JDBC|MySQL >=5.0, Hive >=1.2.1|\>=0.9.0|\>=1.0.0_rc1|JDBC EngineConn. 已支持MySQL 和HiveQL，可快速扩展支持其他有JDBC Driver 包的引擎, 如Oracle. +|Impala|\>=3.2.0, CDH >=6.3.0"|\>=dev-0.12.0, PR #703 尚未合并|ongoing|Impala EngineConn. 支持Impala SQL 代码。| +|Presto|\>= 0.180|\>=0.11.0|ongoing|Presto EngineConn. 支持Presto SQL 代码。| +|ElasticSearch|\>=6.0|\>=0.11.0|ongoing|ElasticSearch EngineConn. 支持SQL 和DSL 代码。| +|Shell|Bash >=2.0|\>=0.9.3|\>=1.0.0_rc1|Shell EngineConn. 支持Bash shell 代码。| +|MLSQL|\>=1.1.0|\>=0.9.1|ongoing|MLSQL EngineConn. 支持MLSQL 代码。| +|JDBC|MySQL >=5.0, Hive >=1.2.1|\>=0.9.0|\>=1.0.0_rc1|JDBC EngineConn. 已支持MySQL 和HiveQL，可快速扩展支持其他有JDBC Driver 包的引擎, 如Oracle.| |Spark|Apache 2.0.0~2.4.7, CDH >=5.4.0|\>=0.5.0|\>=1.0.0_rc1|Spark EngineConn. 支持SQL, Scala, Pyspark 和R 代码.| |Hive|Apache >=1.0.0, CDH >=5.4.0|\>=0.5.0|\>=1.0.0_rc1|Hive EngineConn. 支持HiveQL 代码.| |Hadoop|Apache >=2.6.0, CDH >=5.4.0|\>=0.5.0|ongoing|Hadoop EngineConn. 支持Hadoop MR/YARN application.| diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.0.2/user-guide/sdk-manual.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.0.2/user-guide/sdk-manual.md index aaa8eb7d18b..df5f36ceb79 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.0.2/user-guide/sdk-manual.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.0.2/user-guide/sdk-manual.md @@ -176,7 +176,7 @@ public class JavaClientTest { 运行上述的代码即可以完成任务提交/执行/日志/结果集获取等 -## 3. Scala测试代码： +## 3. Scala测试代码 ```scala package com.webank.wedatasphere.linkis.client.test diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.0.3/user-guide/sdk-manual.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.0.3/user-guide/sdk-manual.md index 599de273270..47a1dfc9b0e 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.0.3/user-guide/sdk-manual.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.0.3/user-guide/sdk-manual.md @@ -172,7 +172,7 @@ public class LinkisClientTest { 运行上述的代码即可以完成任务提交/执行/日志/结果集获取等 -## 3. Scala测试代码： +## 3. Scala测试代码 ```scala package org.apache.linkis.client.test diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.0/introduction.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.0/introduction.md index d4fc7fc8716..12d88f80535 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.0/introduction.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.0/introduction.md @@ -59,7 +59,7 @@ Linkis 基于微服务架构开发，其服务可以分为3类:计算治理服 - 公共增强服务，包括上下文服务、物料管理服务及数据源服务等; - 微服务治理服务，包括定制化的Spring Cloud Gateway、Eureka、Open Feign。 -下面是Linkis 的架构概要图. 更多详细架构文档请见 [Linkis/Architecture](architecture/overview.md). +下面是Linkis 的架构概要图，更多详细架构文档请见 [Linkis/Architecture](architecture/overview.md). ![architecture](/Images/Linkis_1.0_architecture.png) 基于Linkis 计算中间件，我们在大数据平台套件[WeDataSphere](https://github.com/WeBankFinTech/WeDataSphere) 中构建了许多应用和工具系统，下面是目前可用的开源项目。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.0/user-guide/sdk-manual.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.0/user-guide/sdk-manual.md index 599de273270..47a1dfc9b0e 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.0/user-guide/sdk-manual.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.0/user-guide/sdk-manual.md @@ -172,7 +172,7 @@ public class LinkisClientTest { 运行上述的代码即可以完成任务提交/执行/日志/结果集获取等 -## 3. Scala测试代码： +## 3. Scala测试代码 ```scala package org.apache.linkis.client.test diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/quick-deploy.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/quick-deploy.md index 0accd79549a..5f9980c7bd1 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/quick-deploy.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/quick-deploy.md @@ -18,7 +18,7 @@ Linkis支持指定提交、执行的用户。linkis主要进程服务会通过`s 以hadoop用户为例: -先查看系统中是否已经有 hadoop 用户，若已经存在，则直接授权即可；若不存在，先创建用户，再授权。 +先查看系统中是否已经有 hadoop 用户，若已经存在，则直接授权即可，若不存在，先创建用户，再授权。 查看是否已存在 hadoop 用户 ```shell script @@ -406,15 +406,13 @@ sh bin/linkis-cli -submitUser hadoop -engineType python-python2 -codeType pyth 如果验证失败，请参考【步骤6】进行排查 ## 6 开发工具IDE（Scriptis）的安装(可选) ->安装Scripti工具后，可以支持在web页面在线写SQL、Pyspark、HiveQL等脚本 - -详细指引见[工具Scriptis的安装部署](./linkis-scriptis-install) +安装Scripti工具后，可以支持在web页面在线写SQL、Pyspark、HiveQL等脚本，详细指引见[工具Scriptis的安装部署](./linkis-scriptis-install) ## 7 支持的引擎 ### 7.1 引擎适配列表 -请注意：Linkis的单独安装包默认只包含的：Python/Shell/Hive/Spark四个引擎，如果有其他的引擎(如jdbc/flink/sqoop等引擎)使用场景，可以手动安装，具体请参考 [EngineConnPlugin引擎插件安装文档](engine-conn-plugin-installation)。 +请注意：Linkis的单独安装包默认只包含Python、Shell、Hive、Spark四个引擎，如果有其他的引擎(如jdbc/flink/sqoop等引擎)使用场景，可以手动安装，具体请参考 [EngineConnPlugin引擎插件安装文档](engine-conn-plugin-installation)。 本版本已适配的支持引擎列表如下： @@ -586,6 +584,7 @@ sh -x engineConnExec.sh ### 8.7 如何修改注册中心eureka的端口 有时候当eureka的端口被其他服务占用,无法使用默认的eureka端口的时候,需要对eureka端口进行修改,这里把对eureka端口的修改分为执行安装之前和执行安装之后两种情况。 + 1.执行安装之前修改注册中心eureka端口 ``` 1. 进入apache-linkis-x.x.x-incubating-bin.tar.gz的解压目录 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/start-metadatasource.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/start-metadatasource.md index 8e497a801e5..4f5e3f04442 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/start-metadatasource.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/deployment/start-metadatasource.md @@ -9,7 +9,7 @@ sidebar_position: 7 ### 1.1 概念 -- 数据源:我们将能提供数据存储的数据库服务称为数据库，如mysql/hive/kafka，数据源定义的是连接到实际数据库的配置信息，配置信息主要是是连接需要的地址，用户认证信息，连接参数等。存储与linkis的数据库的linkis_ps_dm_datasource_*相关的表中 +- 数据源:我们将能提供数据存储的数据库服务称为数据库，如mysql/hive/kafka，数据源定义的是连接到实际数据库的配置信息，配置信息主要是连接需要的地址，用户认证信息，连接参数等。存储与linkis的数据库的linkis_ps_dm_datasource_*相关的表中 - 元数据:单指数据库的元数据，是指定义数据结构的数据，数据库各类对象结构的数据。 例如数据库中的数据库名，表名，列名，字段的长度、类型等信息数据。 ### 1.2 三个主要模块 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/development/linkis-config.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/development/linkis-config.md index 73c768ed395..307881fef1d 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/development/linkis-config.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/development/linkis-config.md @@ -33,7 +33,7 @@ Linkis配置文件格式如下所示： │ ├── log4j2.xml ``` 每个服务会加载两个属性配置文件，一个为公用的主配置文件linkis.properties，以及服务配置文件linkis-serviceName.properties。设置的优先级为服务配置文件高于主配置文件 -建议通用的参数放置在主配置文件，个性话配置文件放在服务配置文件 +建议通用的参数放置在主配置文件，个性化配置文件放在服务配置文件 2. Spring 参数         Linkis服务是基于SpringBoot应用的，Spring相关的参数支持在application-linkis.yml进行设置，也支持在linkis配置文件里面进行配置。在linkis配置文件里面配置需要加上spring.的前缀。如下： diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/introduction.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/introduction.md index ff0ede4ab8a..87141c3fa0a 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/introduction.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/introduction.md @@ -12,36 +12,36 @@ Linkis 自2019年开源发布以来，已累计积累了700多家试验企业和 ![有了Linkis 之后](/Images-zh/after_linkis_cn.png) ## 核心特点 -- **丰富的底层计算存储引擎支持**。 +- **丰富的底层计算存储引擎支持**： **目前支持的计算存储引擎**：Spark、Hive、Flink、Python、Pipeline、Sqoop、openLooKeng、JDBC和Shell等。 **正在支持中的计算存储引擎**：Presto(计划1.2.0)、ElasticSearch(计划1.2.0)等。 **支持的脚本语言**：SparkSQL, HiveQL, Python, Shell, Pyspark, R, Scala 和JDBC 等。 -- **强大的计算治理能力**。基于Orchestrator、Label Manager和定制的Spring Cloud Gateway等服务，Linkis能够提供基于多级标签的跨集群/跨IDC 细粒度路由、负载均衡、多租户、流量控制、资源控制和编排策略(如双活、主备等)支持能力。 -- **全栈计算存储引擎架构支持**。能够接收、执行和管理针对各种计算存储引擎的任务和请求，包括离线批量任务、交互式查询任务、实时流式任务和存储型任务； -- **资源管理能力**。 ResourceManager 不仅具备对 Yarn 和 Linkis EngineManager 的资源管理能力，还将提供基于标签的多级资源分配和回收能力，让 ResourceManager 具备跨集群、跨计算资源类型的强大资源管理能力。 -- **统一上下文服务**。为每个计算任务生成context id，跨用户、系统、计算引擎的关联管理用户和系统资源文件（JAR、ZIP、Properties等），结果集，参数变量，函数等，一处设置，处处自动引用； -- **统一物料**。系统和用户级物料管理，可分享和流转，跨用户、系统共享物料。 -- **统一数据源管理**。提供了hive、es、mysql、kafka类型数据源的增删查改、版本控制、连接测试等功能。 -- **数据源对应的元数据查询**。提供了hive、es、mysql、kafka元数据的数据库、表、分区查询。 +- **强大的计算治理能力**：基于Orchestrator、Label Manager和定制的Spring Cloud Gateway等服务，Linkis能够提供基于多级标签的跨集群/跨IDC 细粒度路由、负载均衡、多租户、流量控制、资源控制和编排策略(如双活、主备等)支持能力。 +- **全栈计算存储引擎架构支持**：能够接收、执行和管理针对各种计算存储引擎的任务和请求，包括离线批量任务、交互式查询任务、实时流式任务和存储型任务。 +- **资源管理能力**： ResourceManager 不仅具备对 Yarn 和 Linkis EngineManager 的资源管理能力，还将提供基于标签的多级资源分配和回收能力，让 ResourceManager 具备跨集群、跨计算资源类型的强大资源管理能力。 +- **统一上下文服务**：为每个计算任务生成context id，跨用户、系统、计算引擎的关联管理用户和系统资源文件（JAR、ZIP、Properties等），结果集，参数变量，函数等，一处设置，处处自动引用。 +- **统一物料**：系统和用户级物料管理，可分享和流转，跨用户、系统共享物料。 +- **统一数据源管理**：提供了hive、es、mysql、kafka类型数据源的增删查改、版本控制、连接测试等功能。 +- **数据源对应的元数据查询**：提供了hive、es、mysql、kafka元数据的数据库、表、分区查询。 ## 支持的引擎类型 | **引擎名** | **支持底层组件版本
(默认依赖版本)** | **Linkis 1.X 版本要求** | **是否默认包含在发布包中** | **说明** | |:---- |:---- |:---- |:---- |:---- | -|Spark|Apache 2.0.0~2.4.7,
CDH >= 5.4.0,
（默认Apache Spark 2.4.3）|\>=1.0.0_rc1|是|Spark EngineConn， 支持SQL, Scala, Pyspark 和R 代码| -|Hive|Apache >= 1.0.0,
CDH >= 5.4.0,
（默认Apache Hive 2.3.3）|\>=1.0.0_rc1|是|Hive EngineConn， 支持HiveQL 代码| -|Python|Python >= 2.6,
（默认Python2*）|\>=1.0.0_rc1|是|Python EngineConn， 支持python 代码| -|Shell|Bash >= 2.0|\>=1.0.0_rc1|是|Shell EngineConn， 支持Bash shell 代码| -|JDBC|MySQL >= 5.0, Hive >=1.2.1,
(默认Hive-jdbc 2.3.4)|\>=1.0.0_rc1|否|JDBC EngineConn， 已支持MySQL 和HiveQL，可快速扩展支持其他有JDBC Driver 包的引擎, 如Oracle| -|Flink |Flink >= 1.12.2,
(默认Apache Flink 1.12.2)|\>=1.0.2|否|Flink EngineConn， 支持FlinkSQL 代码，也支持以Flink Jar 形式启动一个新的Yarn 应用程序| -|Pipeline|-|\>=1.0.2|否|Pipeline EngineConn， 支持文件的导入和导出| -|openLooKeng|openLooKeng >= 1.5.0,
(默认openLookEng 1.5.0)|\>=1.1.1|否|openLooKeng EngineConn， 支持用Sql查询数据虚拟化引擎openLooKeng| -|Sqoop| Sqoop >= 1.4.6,
(默认Apache Sqoop 1.4.6)|\>=1.1.2|否|Sqoop EngineConn， 支持 数据迁移工具 Sqoop 引擎| -|Impala|Impala >= 3.2.0, CDH >=6.3.0|ongoing|-|Impala EngineConn，支持Impala SQL 代码| -|Presto|Presto >= 0.180|ongoing|-|Presto EngineConn， 支持Presto SQL 代码| -|ElasticSearch|ElasticSearch >=6.0|ongoing|-|ElasticSearch EngineConn， 支持SQL 和DSL 代码| -|MLSQL| MLSQL >=1.1.0|ongoing|-|MLSQL EngineConn， 支持MLSQL 代码.| -|Hadoop|Apache >=2.6.0,
CDH >=5.4.0|ongoing|-|Hadoop EngineConn， 支持Hadoop MR/YARN application| -|TiSpark|1.1|ongoing|-|TiSpark EngineConn， 支持用SparkSQL 查询TiDB| +|Spark|Apache 2.0.0~2.4.7,
CDH >= 5.4.0,
（默认Apache Spark 2.4.3）|\>=1.0.0_rc1|是|Spark EngineConn， 支持SQL, Scala, Pyspark 和R 代码。| +|Hive|Apache >= 1.0.0,
CDH >= 5.4.0,
（默认Apache Hive 2.3.3）|\>=1.0.0_rc1|是|Hive EngineConn， 支持HiveQL 代码。| +|Python|Python >= 2.6,
（默认Python2*）|\>=1.0.0_rc1|是|Python EngineConn， 支持python 代码。| +|Shell|Bash >= 2.0|\>=1.0.0_rc1|是|Shell EngineConn， 支持Bash shell 代码。| +|JDBC|MySQL >= 5.0, Hive >=1.2.1,
(默认Hive-jdbc 2.3.4)|\>=1.0.0_rc1|否|JDBC EngineConn， 已支持MySQL 和HiveQL，可快速扩展支持其他有JDBC Driver 包的引擎, 如Oracle。| +|Flink |Flink >= 1.12.2,
(默认Apache Flink 1.12.2)|\>=1.0.2|否|Flink EngineConn， 支持FlinkSQL 代码，也支持以Flink Jar 形式启动一个新的Yarn 应用程序。| +|Pipeline|-|\>=1.0.2|否|Pipeline EngineConn， 支持文件的导入和导出。| +|openLooKeng|openLooKeng >= 1.5.0,
(默认openLookEng 1.5.0)|\>=1.1.1|否|openLooKeng EngineConn， 支持用Sql查询数据虚拟化引擎openLooKeng。| +|Sqoop| Sqoop >= 1.4.6,
(默认Apache Sqoop 1.4.6)|\>=1.1.2|否|Sqoop EngineConn， 支持 数据迁移工具 Sqoop 引擎。| +|Impala|Impala >= 3.2.0, CDH >=6.3.0|ongoing|-|Impala EngineConn，支持Impala SQL 代码。| +|Presto|Presto >= 0.180|ongoing|-|Presto EngineConn， 支持Presto SQL 代码。| +|ElasticSearch|ElasticSearch >=6.0|ongoing|-|ElasticSearch EngineConn， 支持SQL 和DSL 代码。| +|MLSQL| MLSQL >=1.1.0|ongoing|-|MLSQL EngineConn， 支持MLSQL 代码。| +|Hadoop|Apache >=2.6.0,
CDH >=5.4.0|ongoing|-|Hadoop EngineConn， 支持Hadoop MR/YARN application。| +|TiSpark|1.1|ongoing|-|TiSpark EngineConn， 支持用SparkSQL 查询TiDB。| @@ -62,11 +62,11 @@ Linkis 自2019年开源发布以来，已累计积累了700多家试验企业和 ## 架构概要 Linkis 基于微服务架构开发，其服务可以分为3类:计算治理服务、公共增强服务和微服务治理服务。 -- 计算治理服务，支持计算任务/请求处理流程的3个主要阶段:提交->准备->执行; -- 公共增强服务，包括上下文服务、物料管理服务及数据源服务等; +- 计算治理服务，支持计算任务/请求处理流程的3个主要阶段:提交->准备->执行。 +- 公共增强服务，包括上下文服务、物料管理服务及数据源服务等。 - 微服务治理服务，包括定制化的Spring Cloud Gateway、Eureka、Open Feign。 -下面是Linkis 的架构概要图. 更多详细架构文档请见 [Linkis/Architecture](architecture/overview.md). +下面是Linkis 的架构概要图. 更多详细架构文档请见 [Linkis/Architecture](architecture/overview.md)。 ![architecture](/Images/Linkis_1.0_architecture.png) 基于Linkis 计算中间件，我们在大数据平台套件[WeDataSphere](https://github.com/WeBankFinTech/WeDataSphere) 中构建了许多应用和工具系统，下面是目前可用的开源项目。 @@ -88,7 +88,7 @@ Linkis 基于微服务架构开发，其服务可以分为3类:计算治理服 更多项目开源准备中，敬请期待。 ## 贡献 -我们非常欢迎和期待更多的贡献者参与共建Linkis, 不论是代码、文档，或是其他能够帮助到社区的贡献形式。 +我们非常欢迎和期待更多的贡献者参与共建Linkis, 不论是代码、文档或是其他能够帮助到社区的贡献形式。 代码和文档相关的贡献请参照[贡献指引](/community/how-to-contribute)。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/user-guide/sdk-manual.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/user-guide/sdk-manual.md index 3a7db6550d9..9380a5daee7 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/user-guide/sdk-manual.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.1/user-guide/sdk-manual.md @@ -172,7 +172,7 @@ public class LinkisClientTest { 运行上述的代码即可以完成任务提交/执行/日志/结果集获取等 -## 3. Scala测试代码： +## 3. Scala测试代码 ```scala package org.apache.linkis.client.test diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.2/user-guide/sdk-manual.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.2/user-guide/sdk-manual.md index 3a7db6550d9..9380a5daee7 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.2/user-guide/sdk-manual.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.2/user-guide/sdk-manual.md @@ -172,7 +172,7 @@ public class LinkisClientTest { 运行上述的代码即可以完成任务提交/执行/日志/结果集获取等 -## 3. Scala测试代码： +## 3. Scala测试代码 ```scala package org.apache.linkis.client.test diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.3/user-guide/sdk-manual.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.3/user-guide/sdk-manual.md index 3a7db6550d9..9380a5daee7 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.3/user-guide/sdk-manual.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.1.3/user-guide/sdk-manual.md @@ -172,7 +172,7 @@ public class LinkisClientTest { 运行上述的代码即可以完成任务提交/执行/日志/结果集获取等 -## 3. Scala测试代码： +## 3. Scala测试代码 ```scala package org.apache.linkis.client.test diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/architecture/microservice-governance-services/service_isolation.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/architecture/microservice-governance-services/service_isolation.md index 8a3a916d24f..bf0ecb95c54 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/architecture/microservice-governance-services/service_isolation.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/architecture/microservice-governance-services/service_isolation.md @@ -5,8 +5,7 @@ sidebar_position: 2 ## 1. 总述 ### 1.1 需求背景 -     Linkis在Gateway进行服务转发时是基于ribbon进行负载均衡的，但是有些情况下存在一些重要业务的任务希望做到服务级别的隔离，如果基于ribbon进行服务在均衡就会存在问题。比如租户A希望他的任务都路由到特定的Linkis-CG-Entrance服务，这样当其他的实例出现异常时可以不会影响到A服务的Entrance。 -     另外支持服务的租户及隔离也可以做到快速隔离某个异常服务，支持灰度升级等场景。 +     Linkis在Gateway进行服务转发时是基于ribbon进行负载均衡的，但是有些情况下存在一些重要业务的任务希望做到服务级别的隔离，如果基于ribbon进行服务在均衡就会存在问题。比如租户A希望他的任务都路由到特定的Linkis-CG-Entrance服务，这样当其他的实例出现异常时可以不会影响到A服务的Entrance。另外支持服务的租户及隔离也可以做到快速隔离某个异常服务，支持灰度升级等场景。 ### 1.2 目标 1. 支持通过解析请求的标签按照路由标签对服务进行转发 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/deployment/quick-deploy.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/deployment/quick-deploy.md index 6ed9dc7fe9f..357ca068841 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/deployment/quick-deploy.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/deployment/quick-deploy.md @@ -18,7 +18,7 @@ Linkis支持指定提交、执行的用户。linkis主要进程服务会通过`s 以hadoop用户为例: -先查看系统中是否已经有 hadoop 用户，若已经存在，则直接授权即可；若不存在，先创建用户，再授权。 +先查看系统中是否已经有 hadoop 用户，若已经存在，则直接授权即可，若不存在，先创建用户，再授权。 查看是否已存在 hadoop 用户 ```shell script @@ -410,15 +410,13 @@ sh bin/linkis-cli -submitUser hadoop -engineType python-python2 -codeType pyth 如果验证失败，请参考【步骤8】进行排查 ## 6 开发工具IDE（Scriptis）的安装(可选) ->安装Scripti工具后，可以支持在web页面在线写SQL、Pyspark、HiveQL等脚本 - -详细指引见[工具Scriptis的安装部署](./linkis-scriptis-install) +安装Scripti工具后，可以支持在web页面在线写SQL、Pyspark、HiveQL等脚本，详细指引见[工具Scriptis的安装部署](./linkis-scriptis-install) ## 7. 支持的引擎 ### 7.1 引擎适配列表 -请注意：Linkis的单独安装包默认只包含的：Python/Shell/Hive/Spark四个引擎，如果有其他的引擎(如jdbc/flink/sqoop等引擎)使用场景，可以手动安装，具体请参考 [EngineConnPlugin引擎插件安装文档](engine-conn-plugin-installation)。 +请注意：Linkis的单独安装包默认只包含Python、Shell、Hive、Spark四个引擎，如果有其他的引擎(如jdbc/flink/sqoop等引擎)使用场景，可以手动安装，具体请参考 [EngineConnPlugin引擎插件安装文档](engine-conn-plugin-installation)。 本版本已适配的支持引擎列表如下： @@ -591,6 +589,7 @@ sh -x engineConnExec.sh ### 8.7 如何修改注册中心eureka的端口 有时候当eureka的端口被其他服务占用,无法使用默认的eureka端口的时候,需要对eureka端口进行修改,这里把对eureka端口的修改分为执行安装之前和执行安装之后两种情况。 + 1.执行安装之前修改注册中心eureka端口 ``` 1. 进入apache-linkis-x.x.x-incubating-bin.tar.gz的解压目录 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/deployment/start-metadatasource.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/deployment/start-metadatasource.md index 6e58618411e..09582710b8b 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/deployment/start-metadatasource.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/deployment/start-metadatasource.md @@ -9,7 +9,7 @@ sidebar_position: 7 ### 1.1 概念 -- 数据源:我们将能提供数据存储的数据库服务称为数据库，如mysql/hive/kafka，数据源定义的是连接到实际数据库的配置信息，配置信息主要是是连接需要的地址，用户认证信息，连接参数等。存储与linkis的数据库的linkis_ps_dm_datasource_*相关的表中 +- 数据源:我们将能提供数据存储的数据库服务称为数据库，如mysql/hive/kafka，数据源定义的是连接到实际数据库的配置信息，配置信息主要是连接需要的地址，用户认证信息，连接参数等。存储与linkis的数据库的linkis_ps_dm_datasource_*相关的表中 - 元数据:单指数据库的元数据，是指定义数据结构的数据，数据库各类对象结构的数据。 例如数据库中的数据库名，表名，列名，字段的长度、类型等信息数据。 ### 1.2 三个主要模块 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/development/linkis-config.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/development/linkis-config.md index 73c768ed395..307881fef1d 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/development/linkis-config.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/development/linkis-config.md @@ -33,7 +33,7 @@ Linkis配置文件格式如下所示： │ ├── log4j2.xml ``` 每个服务会加载两个属性配置文件，一个为公用的主配置文件linkis.properties，以及服务配置文件linkis-serviceName.properties。设置的优先级为服务配置文件高于主配置文件 -建议通用的参数放置在主配置文件，个性话配置文件放在服务配置文件 +建议通用的参数放置在主配置文件，个性化配置文件放在服务配置文件 2. Spring 参数         Linkis服务是基于SpringBoot应用的，Spring相关的参数支持在application-linkis.yml进行设置，也支持在linkis配置文件里面进行配置。在linkis配置文件里面配置需要加上spring.的前缀。如下： diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/introduction.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/introduction.md index 2ee34ba7d45..f0cab7db980 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/introduction.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/introduction.md @@ -12,36 +12,36 @@ Linkis 自2019年开源发布以来，已累计积累了700多家试验企业和 ![有了Linkis 之后](/Images-zh/after_linkis_cn.png) ## 核心特点 -- **丰富的底层计算存储引擎支持**。 +- **丰富的底层计算存储引擎支持**： **目前支持的计算存储引擎**：Spark、Hive、Flink、Python、Pipeline、Sqoop、openLooKeng、Presto、ElasticSearch、JDBC和Shell等。 **正在支持中的计算存储引擎**：Trino(计划1.3.1)、SeaTunnel(计划1.3.1)等。 **支持的脚本语言**：SparkSQL, HiveQL, Python, Shell, Pyspark, R, Scala 和JDBC 等。 -- **强大的计算治理能力** 基于Orchestrator、Label Manager和定制的Spring Cloud Gateway等服务，Linkis能够提供基于多级标签的跨集群/跨IDC 细粒度路由、负载均衡、多租户、流量控制、资源控制和编排策略(如双活、主备等)支持能力。 -- **全栈计算存储引擎架构支持** 能够接收、执行和管理针对各种计算存储引擎的任务和请求，包括离线批量任务、交互式查询任务、实时流式任务和存储型任务； -- **资源管理能力** ResourceManager 不仅具备对 Yarn 和 Linkis EngineManager 的资源管理能力，还将提供基于标签的多级资源分配和回收能力，让 ResourceManager 具备跨集群、跨计算资源类型的强大资源管理能力。 -- **统一上下文服务** 为每个计算任务生成context id，跨用户、系统、计算引擎的关联管理用户和系统资源文件（JAR、ZIP、Properties等），结果集，参数变量，函数等，一处设置，处处自动引用； -- **统一物料** 系统和用户级物料管理，可分享和流转，跨用户、系统共享物料。 -- **统一数据源管理** 提供了hive、es、mysql、kafka类型数据源的增删查改、版本控制、连接测试等功能。 -- **数据源对应的元数据查询** 提供了hive、es、mysql、kafka元数据的数据库、表、分区查询。 +- **强大的计算治理能力**： 基于Orchestrator、Label Manager和定制的Spring Cloud Gateway等服务，Linkis能够提供基于多级标签的跨集群/跨IDC 细粒度路由、负载均衡、多租户、流量控制、资源控制和编排策略(如双活、主备等)支持能力。 +- **全栈计算存储引擎架构支持**： 能够接收、执行和管理针对各种计算存储引擎的任务和请求，包括离线批量任务、交互式查询任务、实时流式任务和存储型任务。 +- **资源管理能力**： ResourceManager 不仅具备对 Yarn 和 Linkis EngineManager 的资源管理能力，还将提供基于标签的多级资源分配和回收能力，让 ResourceManager 具备跨集群、跨计算资源类型的强大资源管理能力。 +- **统一上下文服务**： 为每个计算任务生成context id，跨用户、系统、计算引擎的关联管理用户和系统资源文件（JAR、ZIP、Properties等），结果集，参数变量，函数等，一处设置，处处自动引用。 +- **统一物料**： 系统和用户级物料管理，可分享和流转，跨用户、系统共享物料。 +- **统一数据源管理**： 提供了hive、es、mysql、kafka类型数据源的增删查改、版本控制、连接测试等功能。 +- **数据源对应的元数据查询**：提供了hive、es、mysql、kafka元数据的数据库、表、分区查询。 ## 支持的引擎类型 | **引擎名** | **支持底层组件版本
(默认依赖版本)** | **Linkis 1.X 版本要求** | **是否默认包含在发布包中** | **说明** | |:---- |:---- |:---- |:---- |:---- | -|Spark|Apache 2.0.0~2.4.7,
CDH >= 5.4.0,
（默认Apache Spark 2.4.3）|\>=1.0.0_rc1|是|Spark EngineConn， 支持SQL, Scala, Pyspark 和R 代码| -|Hive|Apache >= 1.0.0,
CDH >= 5.4.0,
（默认Apache Hive 2.3.3）|\>=1.0.0_rc1|是|Hive EngineConn， 支持HiveQL 代码| -|Python|Python >= 2.6,
（默认Python2*）|\>=1.0.0_rc1|是|Python EngineConn， 支持python 代码| -|Shell|Bash >= 2.0|\>=1.0.0_rc1|是|Shell EngineConn， 支持Bash shell 代码| -|JDBC|MySQL >= 5.0, Hive >=1.2.1,
(默认Hive-jdbc 2.3.4)|\>=1.0.0_rc1|否|JDBC EngineConn， 已支持MySQL 和HiveQL，可快速扩展支持其他有JDBC Driver 包的引擎, 如Oracle| -|Flink |Flink >= 1.12.2,
(默认Apache Flink 1.12.2)|\>=1.0.2|否|Flink EngineConn， 支持FlinkSQL 代码，也支持以Flink Jar 形式启动一个新的Yarn 应用程序| -|Pipeline|-|\>=1.0.2|否|Pipeline EngineConn， 支持文件的导入和导出| -|openLooKeng|openLooKeng >= 1.5.0,
(默认openLookEng 1.5.0)|\>=1.1.1|否|openLooKeng EngineConn， 支持用Sql查询数据虚拟化引擎openLooKeng| -|Sqoop| Sqoop >= 1.4.6,
(默认Apache Sqoop 1.4.6)|\>=1.1.2|否|Sqoop EngineConn， 支持 数据迁移工具 Sqoop 引擎| -|Presto|Presto >= 0.180|\>=1.2.0|否|Presto EngineConn， 支持Presto SQL 代码| -|ElasticSearch|ElasticSearch >=6.0|\>=1.2.0|否|ElasticSearch EngineConn， 支持SQL 和DSL 代码| -|Impala|Impala >= 3.2.0, CDH >=6.3.0|ongoing|-|Impala EngineConn，支持Impala SQL 代码| -|MLSQL| MLSQL >=1.1.0|ongoing|-|MLSQL EngineConn， 支持MLSQL 代码.| -|Hadoop|Apache >=2.6.0,
CDH >=5.4.0|ongoing|-|Hadoop EngineConn， 支持Hadoop MR/YARN application| -|TiSpark|1.1|ongoing|-|TiSpark EngineConn， 支持用SparkSQL 查询TiDB| +|Spark|Apache 2.0.0~2.4.7,
CDH >= 5.4.0,
（默认Apache Spark 2.4.3）|\>=1.0.0_rc1|是|Spark EngineConn， 支持SQL, Scala, Pyspark 和R 代码。| +|Hive|Apache >= 1.0.0,
CDH >= 5.4.0,
（默认Apache Hive 2.3.3）|\>=1.0.0_rc1|是|Hive EngineConn， 支持HiveQL 代码。| +|Python|Python >= 2.6,
（默认Python2*）|\>=1.0.0_rc1|是|Python EngineConn， 支持python 代码。| +|Shell|Bash >= 2.0|\>=1.0.0_rc1|是|Shell EngineConn， 支持Bash shell 代码。| +|JDBC|MySQL >= 5.0, Hive >=1.2.1,
(默认Hive-jdbc 2.3.4)|\>=1.0.0_rc1|否|JDBC EngineConn， 已支持MySQL 和HiveQL，可快速扩展支持其他有JDBC Driver 包的引擎, 如Oracle。| +|Flink |Flink >= 1.12.2,
(默认Apache Flink 1.12.2)|\>=1.0.2|否|Flink EngineConn， 支持FlinkSQL 代码，也支持以Flink Jar 形式启动一个新的Yarn 应用程序。| +|Pipeline|-|\>=1.0.2|否|Pipeline EngineConn， 支持文件的导入和导出。| +|openLooKeng|openLooKeng >= 1.5.0,
(默认openLookEng 1.5.0)|\>=1.1.1|否|openLooKeng EngineConn， 支持用Sql查询数据虚拟化引擎openLooKeng。| +|Sqoop| Sqoop >= 1.4.6,
(默认Apache Sqoop 1.4.6)|\>=1.1.2|否|Sqoop EngineConn， 支持 数据迁移工具 Sqoop 引擎。| +|Presto|Presto >= 0.180|\>=1.2.0|否|Presto EngineConn， 支持Presto SQL 代码。| +|ElasticSearch|ElasticSearch >=6.0|\>=1.2.0|否|ElasticSearch EngineConn， 支持SQL 和DSL 代码。| +|Impala|Impala >= 3.2.0, CDH >=6.3.0|ongoing|-|Impala EngineConn，支持Impala SQL 代码。| +|MLSQL| MLSQL >=1.1.0|ongoing|-|MLSQL EngineConn， 支持MLSQL 代码。| +|Hadoop|Apache >=2.6.0,
CDH >=5.4.0|ongoing|-|Hadoop EngineConn， 支持Hadoop MR/YARN application。| +|TiSpark|1.1|ongoing|-|TiSpark EngineConn， 支持用SparkSQL 查询TiDB。| @@ -62,11 +62,11 @@ Linkis 自2019年开源发布以来，已累计积累了700多家试验企业和 ## 架构概要 Linkis 基于微服务架构开发，其服务可以分为3类:计算治理服务、公共增强服务和微服务治理服务。 -- 计算治理服务，支持计算任务/请求处理流程的3个主要阶段:提交->准备->执行; -- 公共增强服务，包括上下文服务、物料管理服务及数据源服务等; +- 计算治理服务，支持计算任务/请求处理流程的3个主要阶段:提交->准备->执行。 +- 公共增强服务，包括上下文服务、物料管理服务及数据源服务等。 - 微服务治理服务，包括定制化的Spring Cloud Gateway、Eureka、Open Feign。 -下面是Linkis 的架构概要图. 更多详细架构文档请见 [Linkis/Architecture](architecture/overview.md). +下面是Linkis 的架构概要图，更多详细架构文档请见 [Linkis/Architecture](architecture/overview.md)。 ![architecture](/Images/Linkis_1.0_architecture.png) 基于Linkis 计算中间件，我们在大数据平台套件[WeDataSphere](https://github.com/WeBankFinTech/WeDataSphere) 中构建了许多应用和工具系统，下面是目前可用的开源项目。 @@ -88,7 +88,7 @@ Linkis 基于微服务架构开发，其服务可以分为3类:计算治理服 更多项目开源准备中，敬请期待。 ## 贡献 -我们非常欢迎和期待更多的贡献者参与共建Linkis, 不论是代码、文档，或是其他能够帮助到社区的贡献形式。 +我们非常欢迎和期待更多的贡献者参与共建Linkis, 不论是代码、文档或是其他能够帮助到社区的贡献形式。 代码和文档相关的贡献请参照[贡献指引](/community/how-to-contribute)。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/upgrade/upgrade-from-0.X-to-1.0-guide.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/upgrade/upgrade-from-0.X-to-1.0-guide.md index ded1dc0fb80..68e853948f1 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/upgrade/upgrade-from-0.X-to-1.0-guide.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/upgrade/upgrade-from-0.X-to-1.0-guide.md @@ -7,7 +7,7 @@ sidebar_position: 1 ## 1. 注意事项 -**如果您是首次接触并使用Linkis，您可以忽略该章节；如果您已经是 Linkis 的使用用户，安装或升级前建议先阅读：[Linkis1.0 与 Linkis0.X 的区别简述](architecture/difference-between-1.0-and-0.x.md)**。 +**如果您是首次接触并使用Linkis，您可以忽略该章节，如果您已经是 Linkis 的使用用户，安装或升级前建议先阅读：[Linkis1.0 与 Linkis0.X 的区别简述](architecture/difference-between-1.0-and-0.x.md)**。 ## 2. 服务升级安装 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/user-guide/sdk-manual.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/user-guide/sdk-manual.md index 4215d7b56d5..0f4afb2af15 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/user-guide/sdk-manual.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2.0/user-guide/sdk-manual.md @@ -138,7 +138,7 @@ public class LinkisClientTest { 运行上述的代码即可以完成任务提交/执行/日志/结果集获取等 -## 3. Scala测试代码： +## 3. Scala测试代码 ```scala package org.apache.linkis.client.test diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/architecture/microservice-governance-services/service_isolation.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/architecture/microservice-governance-services/service_isolation.md index 8a3a916d24f..bf0ecb95c54 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/architecture/microservice-governance-services/service_isolation.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/architecture/microservice-governance-services/service_isolation.md @@ -5,8 +5,7 @@ sidebar_position: 2 ## 1. 总述 ### 1.1 需求背景 -     Linkis在Gateway进行服务转发时是基于ribbon进行负载均衡的，但是有些情况下存在一些重要业务的任务希望做到服务级别的隔离，如果基于ribbon进行服务在均衡就会存在问题。比如租户A希望他的任务都路由到特定的Linkis-CG-Entrance服务，这样当其他的实例出现异常时可以不会影响到A服务的Entrance。 -     另外支持服务的租户及隔离也可以做到快速隔离某个异常服务，支持灰度升级等场景。 +     Linkis在Gateway进行服务转发时是基于ribbon进行负载均衡的，但是有些情况下存在一些重要业务的任务希望做到服务级别的隔离，如果基于ribbon进行服务在均衡就会存在问题。比如租户A希望他的任务都路由到特定的Linkis-CG-Entrance服务，这样当其他的实例出现异常时可以不会影响到A服务的Entrance。另外支持服务的租户及隔离也可以做到快速隔离某个异常服务，支持灰度升级等场景。 ### 1.2 目标 1. 支持通过解析请求的标签按照路由标签对服务进行转发 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/deployment/deploy-quick.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/deployment/deploy-quick.md index cd0b88c5894..7c64b259116 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/deployment/deploy-quick.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/deployment/deploy-quick.md @@ -18,7 +18,7 @@ Linkis支持指定提交、执行的用户。linkis主要进程服务会通过`s 以hadoop用户为例: -先查看系统中是否已经有 hadoop 用户，若已经存在，则直接授权即可；若不存在，先创建用户，再授权。 +先查看系统中是否已经有 hadoop 用户，若已经存在，则直接授权即可，若不存在，先创建用户，再授权。 查看是否已存在 hadoop 用户 ```shell script @@ -410,15 +410,13 @@ sh bin/linkis-cli -submitUser hadoop -engineType python-python2 -codeType pyth 如果验证失败，请参考【步骤8】进行排查 ## 6 开发工具IDE（Scriptis）的安装(可选) ->安装Scripti工具后，可以支持在web页面在线写SQL、Pyspark、HiveQL等脚本 - -详细指引见[工具Scriptis的安装部署](./install-scriptis) +安装Scripti工具后，可以支持在web页面在线写SQL、Pyspark、HiveQL等脚本，详细指引见[工具Scriptis的安装部署](./install-scriptis) ## 7. 支持的引擎 ### 7.1 引擎适配列表 -请注意：Linkis的单独安装包默认只包含的：Python/Shell/Hive/Spark四个引擎，如果有其他的引擎(如jdbc/flink/sqoop等引擎)使用场景，可以手动安装，具体请参考 [EngineConnPlugin引擎插件安装文档](install-engineconn)。 +请注意：Linkis的单独安装包默认只包含Python、Shell、Hive、Spark四个引擎，如果有其他的引擎(如jdbc/flink/sqoop等引擎)使用场景，可以手动安装，具体请参考 [EngineConnPlugin引擎插件安装文档](install-engineconn)。 本版本已适配的支持引擎列表如下： @@ -591,6 +589,7 @@ sh -x engineConnExec.sh ### 8.7 如何修改注册中心eureka的端口 有时候当eureka的端口被其他服务占用,无法使用默认的eureka端口的时候,需要对eureka端口进行修改,这里把对eureka端口的修改分为执行安装之前和执行安装之后两种情况。 + 1.执行安装之前修改注册中心eureka端口 ``` 1. 进入apache-linkis-x.x.x-incubating-bin.tar.gz的解压目录 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/deployment/directory-linkis.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/deployment/directory-linkis.md index 33880197d94..29469b85280 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/deployment/directory-linkis.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/deployment/directory-linkis.md @@ -1,5 +1,5 @@ --- -title: linkis目录结构 +title: 目录结构 sidebar_position: 7 --- diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/development/config.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/development/config.md index 21ae5a85df8..b63e97e10f6 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/development/config.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/development/config.md @@ -33,7 +33,7 @@ Linkis配置文件格式如下所示： │ ├── log4j2.xml ``` 每个服务会加载两个属性配置文件，一个为公用的主配置文件linkis.properties，以及服务配置文件linkis-serviceName.properties。设置的优先级为服务配置文件高于主配置文件 -建议通用的参数放置在主配置文件，个性话配置文件放在服务配置文件 +建议通用的参数放置在主配置文件，个性化配置文件放在服务配置文件 2. Spring 参数 Linkis服务是基于SpringBoot应用的，Spring相关的参数支持在application-linkis.yml进行设置，也支持在linkis配置文件里面进行配置。在linkis配置文件里面配置需要加上spring.的前缀。如下： diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/introduction.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/introduction.md index d9ca2e6c6ca..2ef1317b164 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/introduction.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/introduction.md @@ -12,36 +12,36 @@ Linkis 自2019年开源发布以来，已累计积累了700多家试验企业和 ![有了Linkis 之后](/Images-zh/after_linkis_cn.png) ## 核心特点 -- **丰富的底层计算存储引擎支持**。 +- **丰富的底层计算存储引擎支持**： **目前支持的计算存储引擎**：Spark、Hive、Flink、Python、Pipeline、Sqoop、openLooKeng、Presto、ElasticSearch、JDBC和Shell等。 **正在支持中的计算存储引擎**：Trino(计划1.3.1)、SeaTunnel(计划1.3.1)等。 **支持的脚本语言**：SparkSQL, HiveQL, Python, Shell, Pyspark, R, Scala 和JDBC 等。 -- **强大的计算治理能力** 基于Orchestrator、Label Manager和定制的Spring Cloud Gateway等服务，Linkis能够提供基于多级标签的跨集群/跨IDC 细粒度路由、负载均衡、多租户、流量控制、资源控制和编排策略(如双活、主备等)支持能力。 -- **全栈计算存储引擎架构支持** 能够接收、执行和管理针对各种计算存储引擎的任务和请求，包括离线批量任务、交互式查询任务、实时流式任务和存储型任务； -- **资源管理能力** ResourceManager 不仅具备对 Yarn 和 Linkis EngineManager 的资源管理能力，还将提供基于标签的多级资源分配和回收能力，让 ResourceManager 具备跨集群、跨计算资源类型的强大资源管理能力。 -- **统一上下文服务** 为每个计算任务生成context id，跨用户、系统、计算引擎的关联管理用户和系统资源文件（JAR、ZIP、Properties等），结果集，参数变量，函数等，一处设置，处处自动引用； -- **统一物料** 系统和用户级物料管理，可分享和流转，跨用户、系统共享物料。 -- **统一数据源管理** 提供了hive、es、mysql、kafka类型数据源的增删查改、版本控制、连接测试等功能。 -- **数据源对应的元数据查询** 提供了hive、es、mysql、kafka元数据的数据库、表、分区查询。 +- **强大的计算治理能力**:基于Orchestrator、Label Manager和定制的Spring Cloud Gateway等服务，Linkis能够提供基于多级标签的跨集群/跨IDC 细粒度路由、负载均衡、多租户、流量控制、资源控制和编排策略(如双活、主备等)支持能力。 +- **全栈计算存储引擎架构支持**：能够接收、执行和管理针对各种计算存储引擎的任务和请求，包括离线批量任务、交互式查询任务、实时流式任务和存储型任务。 +- **资源管理能力**：ResourceManager 不仅具备对 Yarn 和 Linkis EngineManager 的资源管理能力，还将提供基于标签的多级资源分配和回收能力，让 ResourceManager 具备跨集群、跨计算资源类型的强大资源管理能力。 +- **统一上下文服务**：为每个计算任务生成context id，跨用户、系统、计算引擎的关联管理用户和系统资源文件（JAR、ZIP、Properties等），结果集，参数变量，函数等，一处设置，处处自动引用。 +- **统一物料**：系统和用户级物料管理，可分享和流转，跨用户、系统共享物料。 +- **统一数据源管理**： 提供了hive、es、mysql、kafka类型数据源的增删查改、版本控制、连接测试等功能。 +- **数据源对应的元数据查询**：提供了hive、es、mysql、kafka元数据的数据库、表、分区查询。 ## 支持的引擎类型 | **引擎名** | **支持底层组件版本
(默认依赖版本)** | **Linkis 1.X 版本要求** | **是否默认包含在发布包中** | **说明** | |:---- |:---- |:---- |:---- |:---- | -|Spark|Apache 2.0.0~2.4.7,
CDH >= 5.4.0,
（默认Apache Spark 2.4.3）|\>=1.0.0_rc1|是|Spark EngineConn， 支持SQL, Scala, Pyspark 和R 代码| -|Hive|Apache >= 1.0.0,
CDH >= 5.4.0,
（默认Apache Hive 2.3.3）|\>=1.0.0_rc1|是|Hive EngineConn， 支持HiveQL 代码| -|Python|Python >= 2.6,
（默认Python2*）|\>=1.0.0_rc1|是|Python EngineConn， 支持python 代码| -|Shell|Bash >= 2.0|\>=1.0.0_rc1|是|Shell EngineConn， 支持Bash shell 代码| -|JDBC|MySQL >= 5.0, Hive >=1.2.1,
(默认Hive-jdbc 2.3.4)|\>=1.0.0_rc1|否|JDBC EngineConn， 已支持MySQL 和HiveQL，可快速扩展支持其他有JDBC Driver 包的引擎, 如Oracle| -|Flink |Flink >= 1.12.2,
(默认Apache Flink 1.12.2)|\>=1.0.2|否|Flink EngineConn， 支持FlinkSQL 代码，也支持以Flink Jar 形式启动一个新的Yarn 应用程序| -|Pipeline|-|\>=1.0.2|否|Pipeline EngineConn， 支持文件的导入和导出| -|openLooKeng|openLooKeng >= 1.5.0,
(默认openLookEng 1.5.0)|\>=1.1.1|否|openLooKeng EngineConn， 支持用Sql查询数据虚拟化引擎openLooKeng| -|Sqoop| Sqoop >= 1.4.6,
(默认Apache Sqoop 1.4.6)|\>=1.1.2|否|Sqoop EngineConn， 支持 数据迁移工具 Sqoop 引擎| -|Presto|Presto >= 0.180|\>=1.2.0|否|Presto EngineConn， 支持Presto SQL 代码| -|ElasticSearch|ElasticSearch >=6.0|\>=1.2.0|否|ElasticSearch EngineConn， 支持SQL 和DSL 代码| -|Impala|Impala >= 3.2.0, CDH >=6.3.0|ongoing|-|Impala EngineConn，支持Impala SQL 代码| -|MLSQL| MLSQL >=1.1.0|ongoing|-|MLSQL EngineConn， 支持MLSQL 代码.| -|Hadoop|Apache >=2.6.0,
CDH >=5.4.0|ongoing|-|Hadoop EngineConn， 支持Hadoop MR/YARN application| -|TiSpark|1.1|ongoing|-|TiSpark EngineConn， 支持用SparkSQL 查询TiDB| +|Spark|Apache 2.0.0~2.4.7,
CDH >= 5.4.0,
（默认Apache Spark 2.4.3）|\>=1.0.0_rc1|是|Spark EngineConn， 支持SQL, Scala, Pyspark 和R 代码。| +|Hive|Apache >= 1.0.0,
CDH >= 5.4.0,
（默认Apache Hive 2.3.3）|\>=1.0.0_rc1|是|Hive EngineConn， 支持HiveQL 代码。| +|Python|Python >= 2.6,
（默认Python2*）|\>=1.0.0_rc1|是|Python EngineConn， 支持python 代码。| +|Shell|Bash >= 2.0|\>=1.0.0_rc1|是|Shell EngineConn， 支持Bash shell 代码。| +|JDBC|MySQL >= 5.0, Hive >=1.2.1,
(默认Hive-jdbc 2.3.4)|\>=1.0.0_rc1|否|JDBC EngineConn， 已支持MySQL 和HiveQL，可快速扩展支持其他有JDBC Driver 包的引擎, 如Oracle。| +|Flink |Flink >= 1.12.2,
(默认Apache Flink 1.12.2)|\>=1.0.2|否|Flink EngineConn， 支持FlinkSQL 代码，也支持以Flink Jar 形式启动一个新的Yarn 应用程序。| +|Pipeline|-|\>=1.0.2|否|Pipeline EngineConn， 支持文件的导入和导出。| +|openLooKeng|openLooKeng >= 1.5.0,
(默认openLookEng 1.5.0)|\>=1.1.1|否|openLooKeng EngineConn， 支持用Sql查询数据虚拟化引擎openLooKeng。| +|Sqoop| Sqoop >= 1.4.6,
(默认Apache Sqoop 1.4.6)|\>=1.1.2|否|Sqoop EngineConn， 支持 数据迁移工具 Sqoop 引擎。| +|Presto|Presto >= 0.180|\>=1.2.0|否|Presto EngineConn， 支持Presto SQL 代码。| +|ElasticSearch|ElasticSearch >=6.0|\>=1.2.0|否|ElasticSearch EngineConn， 支持SQL 和DSL 代码。| +|Impala|Impala >= 3.2.0, CDH >=6.3.0|ongoing|-|Impala EngineConn，支持Impala SQL 代码。| +|MLSQL| MLSQL >=1.1.0|ongoing|-|MLSQL EngineConn， 支持MLSQL 代码。| +|Hadoop|Apache >=2.6.0,
CDH >=5.4.0|ongoing|-|Hadoop EngineConn， 支持Hadoop MR/YARN application。| +|TiSpark|1.1|ongoing|-|TiSpark EngineConn， 支持用SparkSQL 查询TiDB。| @@ -62,11 +62,11 @@ Linkis 自2019年开源发布以来，已累计积累了700多家试验企业和 ## 架构概要 Linkis 基于微服务架构开发，其服务可以分为3类:计算治理服务、公共增强服务和微服务治理服务。 -- 计算治理服务，支持计算任务/请求处理流程的3个主要阶段:提交->准备->执行; -- 公共增强服务，包括上下文服务、物料管理服务及数据源服务等; +- 计算治理服务，支持计算任务/请求处理流程的3个主要阶段:提交->准备->执行。 +- 公共增强服务，包括上下文服务、物料管理服务及数据源服务等。 - 微服务治理服务，包括定制化的Spring Cloud Gateway、Eureka、Open Feign。 -下面是Linkis 的架构概要图. 更多详细架构文档请见 [Linkis/Architecture](architecture/overview.md). +下面是Linkis 的架构概要图，更多详细架构文档请见 [Linkis/Architecture](architecture/overview.md)。 ![architecture](/Images/Linkis_1.0_architecture.png) 基于Linkis 计算中间件，我们在大数据平台套件[WeDataSphere](https://github.com/WeBankFinTech/WeDataSphere) 中构建了许多应用和工具系统，下面是目前可用的开源项目。 @@ -88,7 +88,7 @@ Linkis 基于微服务架构开发，其服务可以分为3类:计算治理服 更多项目开源准备中，敬请期待。 ## 贡献 -我们非常欢迎和期待更多的贡献者参与共建Linkis, 不论是代码、文档，或是其他能够帮助到社区的贡献形式。 +我们非常欢迎和期待更多的贡献者参与共建Linkis, 不论是代码、文档或是其他能够帮助到社区的贡献形式。 代码和文档相关的贡献请参照[贡献指引](/community/how-to-contribute)。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/upgrade/upgrade-from-0.X-to-1.0-guide.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/upgrade/upgrade-from-0.X-to-1.0-guide.md index 7ad091bbb78..0797b46d4be 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/upgrade/upgrade-from-0.X-to-1.0-guide.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/upgrade/upgrade-from-0.X-to-1.0-guide.md @@ -7,7 +7,7 @@ sidebar_position: 1 ## 1. 注意事项 -**如果您是首次接触并使用Linkis，您可以忽略该章节；如果您已经是 Linkis 的使用用户，安装或升级前建议先阅读：[Linkis1.0 与 Linkis0.X 的区别简述](architecture/difference-between-1.0-and-0.x.md)**。 +**如果您是首次接触并使用Linkis，您可以忽略该章节，如果您已经是 Linkis 的使用用户，安装或升级前建议先阅读：[Linkis1.0 与 Linkis0.X 的区别简述](architecture/difference-between-1.0-and-0.x.md)**。 ## 2. 服务升级安装 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/user-guide/datasource-manual.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/user-guide/datasource-manual.md index c9c5d510256..b7f20868fb3 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/user-guide/datasource-manual.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/user-guide/datasource-manual.md @@ -9,7 +9,7 @@ sidebar_position: 6 ### 1.1 概念 -- 数据源:我们将能提供数据存储的数据库服务称为数据库，如mysql/hive/kafka，数据源定义的是连接到实际数据库的配置信息，配置信息主要是是连接需要的地址，用户认证信息，连接参数等。存储与linkis的数据库的linkis_ps_dm_datasource_*相关的表中 +- 数据源:我们将能提供数据存储的数据库服务称为数据库，如mysql/hive/kafka，数据源定义的是连接到实际数据库的配置信息，配置信息主要是连接需要的地址，用户认证信息，连接参数等。存储与linkis的数据库的linkis_ps_dm_datasource_*相关的表中 - 元数据:单指数据库的元数据，是指定义数据结构的数据，数据库各类对象结构的数据。 例如数据库中的数据库名，表名，列名，字段的长度、类型等信息数据。 ### 1.2 三个主要模块 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/user-guide/sdk-manual.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/user-guide/sdk-manual.md index 593be41b6ca..78cd2388db9 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/user-guide/sdk-manual.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.3.0/user-guide/sdk-manual.md @@ -138,7 +138,7 @@ public class LinkisClientTest { 运行上述的代码即可以完成任务提交/执行/日志/结果集获取等 -## 3. Scala测试代码： +## 3. Scala测试代码 ```scala package org.apache.linkis.client.test