引言

ClickHouse 作為用于聯(lián)機分析(OLAP)的列式數(shù)據(jù)庫管理系統(tǒng)(DBMS), 最核心的特點是極致壓縮率和極速查詢性能。同時，ClickHouse 支持 SQL 查詢，在基于大寬表的聚合分析查詢場景下展現(xiàn)出優(yōu)異的性能。因此，獲得了廣泛的應用。本文旨在分享阿里云可觀測監(jiān)控 Prometheus 版對開源 ClickHouse 的監(jiān)控實踐。

一、ClickHouse 簡介

（一）技術特點

• 列式存儲與數(shù)據(jù)壓縮：

在執(zhí)行數(shù)據(jù)查詢時，列式存儲可以減少數(shù)據(jù)掃描范圍和數(shù)據(jù)傳輸大小，提高數(shù)據(jù)查詢的效率。

(資料圖片僅供參考)

• 完備的 DBMS 功能

• • DDL （數(shù)據(jù)定義語言）：可以動態(tài)地創(chuàng)建、修改或刪除數(shù)據(jù)庫、表和視圖，而無須重啟服務；
  • DML（數(shù)據(jù)操作語言）：可以動態(tài)查詢、插入、修改或刪除數(shù)據(jù)。

• 權限控制：

可按照用戶粒度設置數(shù)據(jù)庫或表的操作權限，保障數(shù)據(jù)安全性。

• 數(shù)據(jù)備份與恢復

提供數(shù)據(jù)備份導出與導入恢復機制，滿足生產(chǎn)環(huán)境要求。

• 分布式管理

提供集群模式，自動管理多個數(shù)據(jù)庫節(jié)點。

（二）ClickHouse 典型適用場景

• 復雜查詢聚合的 OLAP 場景；
• 需要支持穩(wěn)定大量數(shù)據(jù)寫入；
• 不需要高頻查詢；
• 不需要高級 DBMS 功能，如事務性；不需要經(jīng)常很復雜的表間操作，比如 join 操作。

（三）ClickHouse 核心概念

• ClickHouse 集群（Cluster）

在物理構成上，ClickHouse 集群是由多個 ClickHouse Server 實例組成的分布式數(shù)據(jù)庫。這些 ClickHouse Server 根據(jù)規(guī)格的不同可以包含 1 個或多個副本（Replica）、1 個或多個分片（Shard）。在邏輯構成上，一個ClickHouse 集群可以包含多個數(shù)據(jù)庫（Database）對象。

• 分片（Shard）

在超大規(guī)模海量數(shù)據(jù)處理場景下，單臺服務器的存儲、計算資源會成為瓶頸。為了進一步提高效率，ClickHouse 將海量數(shù)據(jù)分散存儲到多臺服務器上，每臺服務器只存儲和處理海量數(shù)據(jù)的一部分，在這種架構下，每臺服務器被稱為一個分片（Shard）。

• 副本（Replica）

為了在異常情況下保證數(shù)據(jù)的安全性和服務的高可用性，ClickHouse 提供副本機制，將單臺服務器的數(shù)據(jù)冗余存儲在2臺或多臺服務器上。

• 數(shù)據(jù)庫（Database）

數(shù)據(jù)庫是云數(shù)據(jù)庫 ClickHouse 集群中的最高級別對象，內(nèi)部包含表（Table）、列（Column）、視圖（View）、函數(shù)、數(shù)據(jù)類型等。

• 表（Table）

表是數(shù)據(jù)的組織形式，由多行、多列構成。

二、ClickHouse Metrics 監(jiān)控參考模型

我們從 Metrics 采集、監(jiān)控大盤、告警規(guī)則等三個方面定義 ClickHouse Metrics 監(jiān)控的參考模型，以便實現(xiàn)監(jiān)控閉環(huán)。

（一）Metrics 采集

• 主機節(jié)點監(jiān)控即硬件資源（Node-Exporter）

• • 處理器、內(nèi)存負載；
  • 磁盤存儲；

• ClickHouse 服務指標監(jiān)控（集成進 ClickHouse-Exporter）

• • 系統(tǒng)指標（metrics）: system.metrics 表用于統(tǒng)計 ClickHouse 服務在運行時，當前正在執(zhí)行的高層次的概要信息，包括了正在執(zhí)行的查詢總次數(shù)、正在發(fā)生的合并操作總次數(shù)等。具體指標通過執(zhí)行select * from system.metrics；
  • 系統(tǒng)事件（events）：system.events 用于統(tǒng)計 ClickHouse 服務在運行過程中已經(jīng)執(zhí)行過的高層次的 累積概要信息，包括查詢總次數(shù)、 SELECT 查詢總次數(shù)等，具體指標通過執(zhí)行查詢select * from system.events--> 64個指標；
  • 系統(tǒng)異步指標（asynchronous_ metrics）：asynchronous_metrics 用于統(tǒng)計 ClickHouse 服務運行過程時，當前正在后臺 異步運行的高層次的概要信息，包括當前分配的內(nèi)存、執(zhí)行隊列中的任務數(shù)量等。 具體指標通過執(zhí)行查詢select * from system.asynchronous_metrics--> 500個指標；
  • 查詢?nèi)罩荆翰樵內(nèi)罩灸壳爸饕?種類型，所有查詢?nèi)罩驹谀J配置下都是關閉狀態(tài)，需要在 config.xml文件配置，開啟日志后可以到對應的日志表進行日志查詢system.query_log。

（1）主機節(jié)點監(jiān)控

該部分指標主要來源于 Node-Exporter , 提供集群/ ECS 節(jié)點 CPU、內(nèi)存、磁盤、inode 等監(jiān)控指標。

（2）ClikcHouse 服務指標

ClikckHouse 內(nèi)置 Metrics、events 和 asynchronous_metrics 三張系統(tǒng)表用于存放其監(jiān)控指標，通過預先安裝 clickhouse-exporter 將這三張系統(tǒng)表中的數(shù)據(jù)轉化、發(fā)送給阿里云可觀測監(jiān)控 Prometheus 版。

??注意: 以上列出的為關鍵指標，更多詳細指標詳見: 應用實時監(jiān)控服務ARMS控制臺-Prometheus監(jiān)控-Prometheus實例列表-選擇實例-集成中心-ClickHouse

（二）ClickHouse 監(jiān)控大盤

我們默認提供了arms-clickhouse-ecs和arms-clickhouse-k8s兩個大盤，分別針對 ClickHouse 安裝在ACK 集群/ ECS 中兩個場景，這兩個大盤中圖標均來自于上述 Metrics 指標。

??注意: 主機節(jié)點監(jiān)控需提前安裝 Node-Exporter，以下大盤圖示數(shù)值僅為展示作用，不具備參考價值，實際數(shù)值依 ClickHouse 環(huán)境而定

（1）主機節(jié)點指標

（2）ClickHouse Server指標

（3）MergeTree 指標

（4）消息隊列指標

（三）告警規(guī)則

參考前面對各項主要指標介紹，針對 ClickHouse 可以重點配置以下告警項，這些告警項已內(nèi)置到arms-clickhouse告警規(guī)則中，可依據(jù)自身業(yè)務情況及經(jīng)驗調(diào)整告警閾值:

• 【L0】CPU 超過 90%
• 【L0】Mem 超過 90%
• 【L0】Disk 超過 90%
• 【L0】Inode 使用率超過 90%
• 【L0】寫入失敗率超過 5%
• 【L1】運行 Query 個數(shù)超過 95
• 【L1】連接數(shù)超過 4k
• 【L1】失敗 Query 個數(shù)超過 10

（四）相關實踐示例

（1）CPU 過高

• 確認 CPU 占用過高是由 ClickHouse 引起的?？梢酝ㄟ^ top 命令top -H -p xxx查看系統(tǒng)的 CPU 占用率，找出占用 CPU 比較高的進程。如果發(fā)現(xiàn) ClickHouse 進程占用了大量 CPU 資源，那么就需要進一步排查。
• 使用 ClickHouse 內(nèi)置查詢來查看系統(tǒng)的狀態(tài)?？梢允褂靡韵虏樵儯?/li>

SHOW PROCESSLIST query WHERE query NOT LIKE "%SYSTEM%" ORDER BY elapsed DESC LIMIT 10

這個查詢可以列出最耗時的查詢，找到可能引起 CPU 占用過高的查詢語句。

• 檢查 ClickHouse 配置。一些配置參數(shù)可能導致 ClickHouse 占用大量 CPU 資源?？梢圆榭?ClickHouse 配置文件，確認配置是否合理，是否需要調(diào)整。
• 檢查 ClickHouse 日志。ClickHouse 日志中可能包含錯誤信息或警告信息，可以幫助找出問題所在。
• 檢查硬件資源是否充足。如果系統(tǒng) CPU、內(nèi)存等硬件資源不足，那么 ClickHouse 可能會出現(xiàn) CPU 占用過高的情況?？梢詸z查系統(tǒng)的硬件資源使用情況，確認是否需要升級硬件。
• 升級 ClickHouse 版本。如果是 ClickHouse 版本的問題，可以考慮升級到更穩(wěn)定的版本。

（2）內(nèi)存過高

• 使用內(nèi)置查詢查看內(nèi)存占用情況。可以使用以下查詢來查看 ClickHouse 系統(tǒng)的內(nèi)存占用情況：

SELECT * FROM system.metrics WHERE metric LIKE "%memory%";

這個查詢會列出 ClickHouse 的各個內(nèi)存指標，包括總內(nèi)存、已用內(nèi)存、緩存內(nèi)存等?？梢愿鶕?jù)這些指標來判斷內(nèi)存占用是否過高。

• 檢查 ClickHouse 的配置。一些配置參數(shù)可能會導致 ClickHouse 占用大量的內(nèi)存資源?？梢圆榭?ClickHouse 的配置文件，確認配置是否合理，是否需要調(diào)整。
• 檢查系統(tǒng)的內(nèi)存資源使用情況。如果系統(tǒng)的內(nèi)存資源不足，那么 ClickHouse 可能會出現(xiàn)內(nèi)存占用過高的情況。可以使用命令free -m查看系統(tǒng)的內(nèi)存使用情況。
• 檢查 ClickHouse 的日志。ClickHouse 的日志中可能包含錯誤信息或警告信息，可以幫助找出問題所在。
• 升級 ClickHouse 版本。如果是 ClickHouse 版本的問題，可以考慮升級到更穩(wěn)定的版本。
• 減少查詢語句的數(shù)據(jù)量和計算量。如果查詢語句的數(shù)據(jù)量和計算量過大，那么 ClickHouse 可能會占用大量的內(nèi)存資源。可以考慮優(yōu)化查詢語句，減少數(shù)據(jù)量和計算量。

（3）Disk 占用過高

• 使用系統(tǒng)工具查看磁盤占用情況?？梢允褂妹?df -h來查看系統(tǒng)的磁盤使用情況，查看是否有磁盤空間不足的情況。
• 檢查 ClickHouse 的配置。一些配置參數(shù)可能會導致 ClickHouse 占用大量的磁盤資源?？梢圆榭?ClickHouse 的配置文件，確認配置是否合理，是否需要調(diào)整。
• 使用 ClickHouse 內(nèi)置的查詢來查看磁盤占用情況?？梢允褂靡韵虏樵儊聿榭?ClickHouse 的磁盤占用情況：

SELECT database, table, sum(bytes) AS total_size FROM system.parts WHERE active GROUP BY database, table ORDER BY total_size DESC

這個查詢會列出 ClickHouse 的各個表的占用磁盤空間情況，可以根據(jù)這個查詢來判斷磁盤占用是否過高。

• 檢查 ClickHouse 的日志。ClickHouse 的日志中可能包含錯誤信息或警告信息，可以幫助找出問題所在。
• 清理不必要的數(shù)據(jù)。如果 ClickHouse 中存在不必要的數(shù)據(jù)，可以考慮進行清理，釋放磁盤空間。

三、如何使用阿里云可觀測監(jiān)控 Prometheus 版監(jiān)控ClickHouse 服務

（一）安裝 Prometheus 監(jiān)控

（1）前序條件：已根據(jù)安裝ClickHouse 安裝環(huán)境，創(chuàng)建對應Prometheus 實例。

根據(jù) ClickHouse 安裝方式：

• 如果 ClickHouse 部署在 ACK 中, 并創(chuàng)建了Prometheus for 容器實例，創(chuàng)建請參考Prometheus for 容器服務；
• 如果 ClickHouse 部署在 ECS 中, 并創(chuàng)建了Prometheus for ECS 實例，創(chuàng)建請參考Prometheus for ECS。

（2）安裝方式一：Prometheus for 容器服務

在Prometheus for 容器服務實例中，ClickHouse 已經(jīng)默認在集成中心中展示，用戶可以在應用實時監(jiān)控服務ARMS控制臺-Prometheus監(jiān)控-Prometheus實例列表-選擇Prometheus for 容器服務實例-集成中心中找到入口，點擊 ClickHouse 圖標，可以看到常見的指標列表和大盤縮略圖。點擊+安裝可以接入 ClickHouse 監(jiān)控，配置如下圖：

• Exporter 名稱: 自定義 Exporter 名稱；
• ClickHouse Scrape 地址: IP + Port, Exporter 能夠訪問的 ClickHouse 地址 ；
• ClickHouse 用戶名: 登陸用戶名；
• ClickHouse 密碼: 登陸密碼；
• Metrics 采集間隔(秒): 默認 30s 采集一次, 一般不需要更改。

點擊確定后, clickhouse-exporter-填入的名稱的 Exporter 會被安裝到 arms-prom 命名空間下，并自動完成采集 job 的配置。

可以在應用實時監(jiān)控服務ARMS控制臺-Prometheus監(jiān)控-Prometheus實例列表-選擇Prometheus for 容器服務實例-集成中心-已安裝-ClikckHouse中快速瀏覽相關的 Target/指標/大盤/告警/服務發(fā)現(xiàn)/ Exporter 等信息。

（3）安裝方式二：Prometheus for ECS

安裝 ClickHouse 相同 VPC 的Prometheus for ECS實例，由于Prometheus for ECS實例中 ClickHouse 的主機節(jié)點監(jiān)控來自于Node-Exportor，所以先安裝 Node-Exportor。用戶可以在

應用實時監(jiān)控服務ARMS控制臺-Prometheus監(jiān)控-Prometheus實例列表-選擇Prometheus for ECS實例-集成中心中找到入口，點擊Node-Exporter圖標，點擊+安裝可以接入 Node-Exporter 監(jiān)控，然后選擇對應 ECS 實例安裝即可。

用戶可以在應用實時監(jiān)控服務ARMS控制臺-Prometheus監(jiān)控-Prometheus實例列表-選擇Prometheus for ECS實例-集成中心中找到入口，點擊 ClickHouse 圖標，點擊+安裝可以接入 ClickHouse 監(jiān)控，配置與上述Prometheus for 容器服務相同。

（4）指標未采集的排查方法

??注意: 下面是Prometheus for 容器實例的排查方法，Prometheus for ECS實例請聯(lián)系Prometheus值班-美娜

ClickHouse-Exporter 本身的主要工作是指標映射，需要填入正確 ClickHouse 抓取 URL及登陸用戶名、密碼。如果出現(xiàn)指標采集不到的問題，可以參考如下的排查思路。

1. 檢查 Prometheus Target 狀態(tài)，如果 Target 顯示為Unhealthy狀態(tài)，請排查clickhouse-exporterPod 運行狀態(tài)；如果 Target 狀態(tài)正常，繼續(xù)下一步。

2. 若 Target 狀態(tài)正常，但抓取指標量很少且指標全為go_相關查看clickhouse-exporterPod 日志，確認日志中是否有報錯信息。

3. 查看clickhouse-exporterPod 日志，確定 Exporter 抓取目標 URL 是否正常。

（二）查看大盤

如需要查看 ClickHouse 相關大盤，可以從應用實時監(jiān)控服務ARMS控制臺-Prometheus監(jiān)控-Prometheus實例列表-實例詳情頁-集成中心-已安裝-ClikckHouse中點選大盤，列出兩類大盤arms-clickhouse-ecs和arms-clickhouse-k8s，根據(jù)環(huán)境選擇對應的大盤模板。

以下是arms-clickhouse-k8sVariables 參數(shù)說明:

• datasource : 數(shù)據(jù)源，選擇對應的實例名稱；
• job: 新建 clickhouse-exporter 對應 job 名稱，與 clickhouse-exporter 名稱一致，用于展示ClickHouseServer 指標、MergeTree 指標、消息隊列指標；
• namespace: ClickHouse Pod 所在的命名空間，用于主機節(jié)點指標篩選；
• Pod: 可根據(jù)需要選擇對應的 ClickHouse Pod，用于主機節(jié)點指標篩選。

以下是arms-clickhouse-ecsVariables參數(shù)說明:

• datasource: 數(shù)據(jù)源，選擇對應的實例名稱；
• job: 新建的 clickhouse-exporter 對應 job 名稱，與clickhouse-exporter 名稱一致，用于展示ClickHouseServer 指標、MergeTree 指標、消息隊列指標；
• instance: ecs 實例 IP，用于主機節(jié)點篩選。

（三）配置告警

在集成中心安裝 ClickHouse 監(jiān)控時，已經(jīng)默認增加了arms-clickhouse告警分組的相關規(guī)則，但未啟用，您只需要簡單修改參數(shù)并確認啟用即可。

可以從應用實時監(jiān)控服務ARMS控制臺-Prometheus監(jiān)控-Prometheus實例列表-實例詳情頁-集成中心-已安裝-ClikckHouse中選擇告警-創(chuàng)建告警規(guī)則進入規(guī)則新增頁面，在其中告警分組選擇arms-clickhouse告警分組并根據(jù)環(huán)境選擇您需要啟用的告警指標，確認參數(shù)閾值并保存，即可完成告警規(guī)則的創(chuàng)建。

四、自建 Prometheus 與阿里云可觀測監(jiān)控 Prometheus 版監(jiān)控 ClickHouse 優(yōu)劣對比

Prometheus 作為目前主流可觀測開源項目之一，已被眾多企業(yè)所廣泛應用，但還會遇到不少困難與挑戰(zhàn):

• 每套完整的自建觀測系統(tǒng)都需要安裝并配置 Prometheus、Grafana、AlertManager 等組件，部署過程復雜、實施周期長，并且每次升級都需要對每個組件進行維護；
• 開源分享的相關大盤不夠專業(yè)，更新速度慢，缺少開箱即用的豐富指標；
• 由于安全、組織管理等因素，用戶業(yè)務通常部署在多個相互隔離的 VPC，需要在多個 VPC 內(nèi)都重復、獨立部署 Prometheus，導致部署和運維成本高。

針對以上問題，阿里云可觀測監(jiān)控 Prometheus 版進行了以下優(yōu)化：

結束語

阿里云可觀測監(jiān)控 Prometheus 版與阿里云容器服務無縫集成，提供了開源 ClickHouse 的指標采集、用戶大盤、告警規(guī)則等項目的一鍵集成，用戶免運維，開箱即用，目前 ClickHouse 指標采集功能仍在不斷演進中，歡迎大家試用和提出改進意見。

關鍵詞：