From 32a12e798dc49a20ba4a05dc412070e86473964b Mon Sep 17 00:00:00 2001 From: JaySon-Huang Date: Thu, 23 Sep 2021 18:40:49 +0800 Subject: [PATCH 1/5] Add desc of "Storage Write Stall" row in the TiFlash grafana Signed-off-by: JaySon-Huang --- tiflash/monitor-tiflash.md | 7 +++++++ 1 file changed, 7 insertions(+) diff --git a/tiflash/monitor-tiflash.md b/tiflash/monitor-tiflash.md index ec5919a03be3..e5d0a3e260ee 100644 --- a/tiflash/monitor-tiflash.md +++ b/tiflash/monitor-tiflash.md @@ -69,6 +69,13 @@ TiFlash 面板一共包括 **TiFlash-Summary**、**TiFlash-Proxy-Summary**、**T > > 目前这部分监控指标仅包含了 TiFlash 存储层的统计指标，未包括 TiFlash-Proxy 内的信息。 +## Storage Write Stall + +- Write & Delta Management Throughput: 所有实例的写入及数据整理的吞吐量。`throughput_write` 意味着通过 Raft 进行数据同步的吞吐量。`throughput_delta-management` 是指数据整理的吞吐量。`total_write` 是指自上次启动以来的总写入字节数。`total_delta-management` 是指自上次启动以来数据整理的总字节数。 +- Write Stall Duration: 每个实例写入和移除 Region 数据发生 stall 的时长。 +- Write Throughput By Instance: 每个实例写入数据的吞吐量。它包括 apply Raft 数据日志以及 Raft 快照的写入吞吐量。 +- Write Command OPS By Instance: 每个实例收到的各种命令的总计数。`write block` 代表着通过 Raft 同步数据日志。`delete_range` 表示一些 Region 从该实例中删除或移动到该实例中。`ingest` 表示着一些 Region 的快照被 apply 到这个实例中gco -b add_tiflash_metrics_write_stall。 + ## Raft - Read Index OPS：每个 TiFlash 实例每秒触发 read_index 请求的次数，等于请求触发的 Region 总数。 From e0950d9d4e472f0917202976a3b1c3fc832c88c2 Mon Sep 17 00:00:00 2001 From: JaySon Date: Thu, 23 Sep 2021 18:46:15 +0800 Subject: [PATCH 2/5] Update tiflash/monitor-tiflash.md --- tiflash/monitor-tiflash.md | 8 ++++---- 1 file changed, 4 insertions(+), 4 deletions(-) diff --git a/tiflash/monitor-tiflash.md b/tiflash/monitor-tiflash.md index e5d0a3e260ee..3cf849203892 100644 --- a/tiflash/monitor-tiflash.md +++ b/tiflash/monitor-tiflash.md @@ -71,10 +71,10 @@ TiFlash 面板一共包括 **TiFlash-Summary**、**TiFlash-Proxy-Summary**、**T ## Storage Write Stall -- Write & Delta Management Throughput: 所有实例的写入及数据整理的吞吐量。`throughput_write` 意味着通过 Raft 进行数据同步的吞吐量。`throughput_delta-management` 是指数据整理的吞吐量。`total_write` 是指自上次启动以来的总写入字节数。`total_delta-management` 是指自上次启动以来数据整理的总字节数。 -- Write Stall Duration: 每个实例写入和移除 Region 数据发生 stall 的时长。 -- Write Throughput By Instance: 每个实例写入数据的吞吐量。它包括 apply Raft 数据日志以及 Raft 快照的写入吞吐量。 -- Write Command OPS By Instance: 每个实例收到的各种命令的总计数。`write block` 代表着通过 Raft 同步数据日志。`delete_range` 表示一些 Region 从该实例中删除或移动到该实例中。`ingest` 表示着一些 Region 的快照被 apply 到这个实例中gco -b add_tiflash_metrics_write_stall。 +- Write & Delta Management Throughput：所有实例的写入及数据整理的吞吐量。`throughput_write` 意味着通过 Raft 进行数据同步的吞吐量。`throughput_delta-management` 是指数据整理的吞吐量。`total_write` 是指自上次启动以来的总写入字节数。`total_delta-management` 是指自上次启动以来数据整理的总字节数。 +- Write Stall Duration：每个实例写入和移除 Region 数据发生 stall 的时长。 +- Write Throughput By Instance：每个实例写入数据的吞吐量。它包括 apply Raft 数据日志以及 Raft 快照的写入吞吐量。 +- Write Command OPS By Instance：每个实例收到的各种命令的总计数。`write block` 代表着通过 Raft 同步数据日志。`delete_range` 表示一些 Region 从该实例中删除或移动到该实例中。`ingest` 表示着一些 Region 的快照被 apply 到这个实例中。 ## Raft From feca0f3fd2ca99e27a0c516f16f6504d07533d95 Mon Sep 17 00:00:00 2001 From: JaySon Date: Fri, 24 Sep 2021 16:53:14 +0800 Subject: [PATCH 3/5] Apply suggestions from code review Co-authored-by: TomShawn <41534398+TomShawn@users.noreply.github.com> --- tiflash/monitor-tiflash.md | 13 ++++++++++--- 1 file changed, 10 insertions(+), 3 deletions(-) diff --git a/tiflash/monitor-tiflash.md b/tiflash/monitor-tiflash.md index 3cf849203892..f74591b9546a 100644 --- a/tiflash/monitor-tiflash.md +++ b/tiflash/monitor-tiflash.md @@ -71,10 +71,17 @@ TiFlash 面板一共包括 **TiFlash-Summary**、**TiFlash-Proxy-Summary**、**T ## Storage Write Stall -- Write & Delta Management Throughput：所有实例的写入及数据整理的吞吐量。`throughput_write` 意味着通过 Raft 进行数据同步的吞吐量。`throughput_delta-management` 是指数据整理的吞吐量。`total_write` 是指自上次启动以来的总写入字节数。`total_delta-management` 是指自上次启动以来数据整理的总字节数。 +- Write & Delta Management Throughput：所有实例写入及数据整理的吞吐量。 + - `throughput_write` 表示通过 Raft 进行数据同步的吞吐量。 + - `throughput_delta-management` 表示数据整理的吞吐量。 + - `total_write` 表示自上次启动以来的总写入字节数。 + - `total_delta-management` 表示自上次启动以来数据整理的总字节数。 - Write Stall Duration：每个实例写入和移除 Region 数据发生 stall 的时长。 -- Write Throughput By Instance：每个实例写入数据的吞吐量。它包括 apply Raft 数据日志以及 Raft 快照的写入吞吐量。 -- Write Command OPS By Instance：每个实例收到的各种命令的总计数。`write block` 代表着通过 Raft 同步数据日志。`delete_range` 表示一些 Region 从该实例中删除或移动到该实例中。`ingest` 表示着一些 Region 的快照被 apply 到这个实例中。 +- Write Throughput By Instance：每个实例写入数据的吞吐量，包括 apply Raft 数据日志以及 Raft 快照的写入吞吐量。 +- Write Command OPS By Instance：每个实例收到各种命令的总计数。 + - `write block` 表示通过 Raft 同步数据日志。 + - `delete_range` 表示从该实例中删除一些 Region 或移动一些 Region 到该实例中。 + - `ingest` 表示这些 Region 的快照被 apply 到这个实例中。 ## Raft From 916e6ba04888d796af1208c78f5250dc956187a3 Mon Sep 17 00:00:00 2001 From: TomShawn <41534398+TomShawn@users.noreply.github.com> Date: Sun, 26 Sep 2021 21:56:23 +0800 Subject: [PATCH 4/5] Update tiflash/monitor-tiflash.md Co-authored-by: shichun-0415 <89768198+shichun-0415@users.noreply.github.com> --- tiflash/monitor-tiflash.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tiflash/monitor-tiflash.md b/tiflash/monitor-tiflash.md index f74591b9546a..f8b69e910bed 100644 --- a/tiflash/monitor-tiflash.md +++ b/tiflash/monitor-tiflash.md @@ -81,7 +81,7 @@ TiFlash 面板一共包括 **TiFlash-Summary**、**TiFlash-Proxy-Summary**、**T - Write Command OPS By Instance：每个实例收到各种命令的总计数。 - `write block` 表示通过 Raft 同步数据日志。 - `delete_range` 表示从该实例中删除一些 Region 或移动一些 Region 到该实例中。 - - `ingest` 表示这些 Region 的快照被 apply 到这个实例中。 + - `ingest` 表示这些 Region 的快照被应用到这个实例中。 ## Raft From 002b787ce7e5a6b43ee510caf9918141bf9fabc2 Mon Sep 17 00:00:00 2001 From: TomShawn <41534398+TomShawn@users.noreply.github.com> Date: Sun, 26 Sep 2021 21:56:39 +0800 Subject: [PATCH 5/5] Update tiflash/monitor-tiflash.md Co-authored-by: shichun-0415 <89768198+shichun-0415@users.noreply.github.com> --- tiflash/monitor-tiflash.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tiflash/monitor-tiflash.md b/tiflash/monitor-tiflash.md index f8b69e910bed..05bdcea96777 100644 --- a/tiflash/monitor-tiflash.md +++ b/tiflash/monitor-tiflash.md @@ -76,7 +76,7 @@ TiFlash 面板一共包括 **TiFlash-Summary**、**TiFlash-Proxy-Summary**、**T - `throughput_delta-management` 表示数据整理的吞吐量。 - `total_write` 表示自上次启动以来的总写入字节数。 - `total_delta-management` 表示自上次启动以来数据整理的总字节数。 -- Write Stall Duration：每个实例写入和移除 Region 数据发生 stall 的时长。 +- Write Stall Duration：每个实例写入和移除 Region 数据产生的卡顿时长。 - Write Throughput By Instance：每个实例写入数据的吞吐量，包括 apply Raft 数据日志以及 Raft 快照的写入吞吐量。 - Write Command OPS By Instance：每个实例收到各种命令的总计数。 - `write block` 表示通过 Raft 同步数据日志。