您的位置: 首页 > 技术杂谈 > 正文

Databend 部署与运维概要：本地部署 Meta 服务并利用 Kubernetes 管理 Query 服务

2023-12-28 19:00 https://my.oschina.net/u/5489811/blog/10452099 Databend 次阅读条评论

本指南旨在介绍如何部署和运维 Databend ，并且采用结合本地部署 Meta 服务和使用 K8s 管理 Query 服务的形式，以平衡元数据管理持久化和计算资源弹性调度的需求。

由于 Databend 的部署逻辑在单机模式和集群模式下的一致性，部署模式可以从单机轻松拓展到多节点集群，所以本指南中只基于最简单的情况进行介绍，即：一个本地部署的单节点 Meta ，和一个由单机 K8s 集群管理的 Query 副本。

资源准备

在本指南中，我们需要创建两台机器：

一台分配给 Meta 服务，以单机部署的形式运行；
另一台分配给 Query 服务，需要先创建 K8s 集群，然后使用 Helm Charts 进行部署。

Meta 服务部署

Meta 服务用于元数据管理，应当优先创建 Meta 节点。

下载并运行 Meta 服务

在本地部署 Meta 服务的机器上，我们需要进行以下步骤：

sudo mkdir /var/log/databend
sudo mkdir /var/lib/databend
sudo chown -R $USER /var/log/databend
sudo chown -R $USER /var/lib/databend

下载 Meta 的二进制发布，这里使用 databend-v1.2.159-nightly 作为示例

curl -LJO https://github.com/datafuselabs/databend/releases/download/v1.2.159-nightly/v1.2.159-nightly-x86_64-unknown-linux-musl.tar.gz
tar xzvf databend-v1.2.159-nightly-x86_64-unknown-linux-musl.tar.gz

编辑 Meta 服务的配置文件，位于 configs/databend-meta.toml ，参考配置如下：

# Usage:
# databend-meta -c databend-meta.toml

admin_api_address       = "0.0.0.0:28101"
grpc_api_address        = "0.0.0.0:9191"
# databend-query fetch this address to update its databend-meta endpoints list,
# in case databend-meta cluster changes.
grpc_api_advertise_host = "<your-meta-ip>"

[raft_config]
id            = 1
raft_dir      = "/var/lib/databend/raft"
raft_api_port = 28103

# Assign raft_{listen|advertise}_host.
# This allows you to catch a bug in unit tests when something goes wrong in raft meta nodes communication.
raft_listen_host = "<your-meta-ip>"
raft_advertise_host = "<your-meta-ip>"

# Start up mode: single node cluster
single        = true

使用配置文件运行 Meta 服务

cd bin
./databend-meta -c ../configs/databend-meta.toml > meta.log 2>&1

检查 Meta 服务可用性

确保 Meta 服务已经启动

curl -I  http://127.0.0.1:28101/v1/health

确保外部服务可以访问 Meta 服务

curl -I http://<your-meta-ip>:28101/v1/health

Query 服务部署

Query 服务的部署采用 K8s，以确保其弹性扩展能力。

部署 Kubernetes 环境

在部署 Query 服务的机器上，我们需要建立一个 Kubernetes 环境。为了方便示范，这里我们使用 kubekey 来快速创建一个 K8s 环境，实际生产部署请遵循内部 K8s 部署和管理规范。

curl -sfL https://get-kk.kubesphere.io | VERSION=v3.0.13 sh -
chmod +x kk
apt install conntrack socat
./kk create cluster
kubectl get pod -A

使用 Helm 部署 Query 服务

在部署 Databend 时，我们使用 Helm 来管理 Query 服务。首先，我们需要添加 Databend 的 Helm Charts 。

helm repo add databend https://charts.databend.rs

其次我们需要创建一个values.yaml文件，用于配置 Query 服务需要的各项参数，相关配置可以参考文档 | Deploying a Cluster on Kubernetes ，里面的 meta address 和 storage 根据实际情况配置，这里 query 版本目前默认为 v1.2.149-nightly 。下面是一份参考配置：

replicaCount: 1
config:
  query:
    clusterId: example_cluster
    # add builtin user
    users:
      - name: databend
        # available type: sha256_password, double_sha1_password, no_password, jwt
        authType: double_sha1_password
        # echo -n "databend" | sha1sum | cut -d' ' -f1 | xxd -r -p | sha1sum
        authString: 3081f32caef285c232d066033c89a78d88a6d8a5
  meta:
    # Set endpoints to use remote meta service
    # depends on previous deployed meta service、namespace and nodes
    endpoints:
      - "<your-meta-endpoints>:9191"
  storage:
    # s3, oss
    type: oss
    oss:
      endpoint_url: "<endpoint_url>"
      bucket: "<bucket>"
      access_key_id: "<key>"
      access_key_secret: "<secret>"
# [recommended] enable access from outside cluster
service:
  type: LoadBalancer

部署 Query 服务

helm install <your-tenant-name> databend/databend-query \
    --namespace databend-query --create-namespace \
    --values values.yaml

检查服务运行状态

root@queryhelm:~# kubectl -n databend-query get svc
NAME                     TYPE           CLUSTER-IP      EXTERNAL-IP   PORT(S)                                                                                                    AGE
<your-tenant-name>-databend-query   LoadBalancer   10.233.46.231   <pending>     8080:32579/TCP,8124:30226/TCP,9090:31320/TCP,8900:31846/TCP,8000:30821/TCP,7070:30465/TCP,3307:30968/TCP   31m
root@queryhelm:~# kubectl -n databend-query get pods
NAME                       READY   STATUS    RESTARTS   AGE
<your-tenant-name>-databend-query-0   1/1     Running   0          7m11s

检查 Query 服务可用性

安装客户端。建议客户使用 BendSQL 进行查询。但考虑到通过系统包管理器安装的便利性，也可以使用 MySQL Client 等客户端。

apt install mysql-client

利用 Kubectl 转发以确保本地可访问

nohup kubectl port-forward -n databend-query svc/<your-tenant-name>-databend-query 3307:3307 &

连接 Query 节点并进行查询

mysql -h127.0.0.1 -udatabend -P3307 -pdatabend
mysql> select * from system.clusters;
+------------------------+--------------+------+---------------------------------------------------------------------------------+
| name                   | host         | port | version                                                                         |
+------------------------+--------------+------+---------------------------------------------------------------------------------+
| ohzKStkZenhhO3FpoAAcZ5 | 10.233.107.5 | 9090 | v1.2.149-nightly-6397a6af00(rust-1.72.0-nightly-2023-10-09T16:12:52.382486326Z) |
+------------------------+--------------+------+---------------------------------------------------------------------------------+
mysql> SELECT avg(number) FROM numbers(100000000);
+-------------+
| avg(number) |
+-------------+
|  49999999.5 |
+-------------+
1 row in set (0.07 sec)
Read 100000000 rows, 762.94 MiB in 0.066 sec., 1.52 billion rows/sec., 11.30 GiB/sec.

注意：Query 服务的外部可访问性建议根据实际部署运维规范进行管理，这里不涉及相关操作。对于在云平台使用 LoadBalancer 的用户，可能会分配对应的公网 IP ，有潜在的安全问题，可以参考文档 | Step 2. Deploy a Databend Query Cluster 进行处理。

缩放与升级

在升级前特别需要检查 Meta 和 Query 之间的兼容性。

Query 服务的缩放与升级

在部署过程中，如果计划使用其他版本的镜像/其他规模的副本数量，可以直接在 values.yaml 中进行修改：

- replicaCount: 1
+ replicaCount: 3
+ image:
+   repository: datafuselabs/databend-query
+   pullPolicy: IfNotPresent
+   # Overrides the image tag whose default is the chart appVersion.
+   tag: "v1.2.216-nightly"

Query 总体上是无状态的，可以简单使用一行命令升级：

helm upgrade --install <your-tenant-name> databend/databend-query \
    --namespace databend-query --create-namespace \
    --values values.yaml

Meta 服务的缩放与升级

Meta 的节点添加与删除可以参考文档 | Manage a Databend Meta Service Cluster 进行。如果想要直接部署 Meta 集群，也可以参阅文档 | Deploying a Databend Cluster 。

Meta 的升级涉及数据迁移，建议联系 Databend 团队进行。

负载均衡

可以根据实际情况使用不同的 hash key 结合 "subset" hashing 等方式组合进行负载均衡。

Databend JDBC 在每次发起请求都会携带一个名为 X-DATABEND-QUERY-ID 的 HTTP Header，如果想要实现同一客户端，多个请求分散打到不同后端实例的效果，可以基于该 HTTP Header 来做 Nginx 的 Hash Key，以达到负载均衡的效果。

使用 Query ID 相关 Header 而不是其他方式的原因：

现在用户使用 SDK 去请求多副本的 Databend Query 由于 Query 会产生回查并且 Query ID 没有持久化，单纯对后端端点做负载均衡可能会出现 query id not found 的错误。

ingress:
  enabled: true
  className: "nginx"
  annotations:
    nginx.ingress.kubernetes.io/upstream-hash-by: "$http_x_databend_query_id"

参考资料

在本地部署 Databend ：https://docs.databend.com/guides/deploy/cluster/metasrv-deploy
在 K8s 上部署 Databend ：https://docs.databend.com/guides/deploy/cluster/deploying-databend-on-kubernetes
升级指南：https://docs.databend.com/guides/deploy/upgrade/
Meta 和 Query 之间的兼容性：https://docs.databend.com/guides/deploy/upgrade/compatibility
添加与删除 Meta 节点：https://docs.databend.com/guides/deploy/cluster/metasrv-add-remove-node
备份和还原 Meta 服务：https://docs.databend.com/guides/deploy/upgrade/backup-and-restore-schema
Query 相关集群规模放缩：https://docs.databend.com/guides/deploy/cluster/deploying-databend-on-kubernetes#maintain-databend-query-cluster
Custom NGINX upstream hashing - Annotations - Ingress-Nginx Controller：https://kubernetes.github.io/ingress-nginx/user-guide/nginx-configuration/annotations/#custom-nginx-upstream-hashing

关于 Databend

Databend 是一款开源、弹性、低成本，基于对象存储也可以做实时分析的新式数仓。期待您的关注，一起探索云原生数仓解决方案，打造新一代开源 Data Cloud。

👨‍💻‍ Databend Cloud：databend.cn

📖 Databend 文档：databend.rs/

💻 Wechat：Databend

✨ GitHub：github.com/datafuselab…

展开阅读全文

0人

感动
0人

路过
0人

高兴
0人

难过
0人

搞笑
0人

无聊
0人

愤怒
0人

同情

上一条： Databend 部署与运维概要：本地部署 Meta 服务并利用 Kubernetes 管理 Query 服务 2023-12-28
下一条：没有了

Databend 玩转Local 模式 2023-09-14
Databend 玩转 local 模式 2023-09-14
微服务时代组件化和服务化的抉择 2021-07-11
我只是下了个订单，鬼知道我在微服务里经历了什么 2021-07-28
Databend query result cache 设计与实现 2023-03-13

热度排行

技术杂谈

专题

HarmonyOS

OpenHarmony是开放原子开源基金会（OpenAtom Foundation）旗下开源... [详细]

友情链接

粤ICP备2021091832号