From 867f7ddd134f4dc63aa231897dca04c0d7883f35 Mon Sep 17 00:00:00 2001 From: lhy1024 Date: Wed, 18 Aug 2021 16:54:12 +0800 Subject: [PATCH 01/15] pd-control: update config of balance-hot-region-scheduler --- pd-control.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/pd-control.md b/pd-control.md index 431b0c7aea87..cb22d3ab361e 100644 --- a/pd-control.md +++ b/pd-control.md @@ -1076,13 +1076,13 @@ Encoding 格式示例： >> scheduler config balance-hot-region-scheduler set src-tolerance-ratio 1.1 ``` -- `read-priorities`、`write-leader-priorities`、`write-peer-priorities` 用于控制处理不同类型的热点时，优先均衡的第一维度和第二维度。对于 `read` 和 `write-leader` 类型的热点，可选的维度有 `query`、`byte` 和 `key`。对于 `write-peer` 类型的热点，可选的维度有 `byte` 和 `key`。若集群组件未全部升级到 v5.2 及以上版本，这些配置不会生效，固定使用兼容配置。通常用户不需要修改这些配置项。 +- `read-priorities`、`write-leader-priorities`、`write-peer-priorities` 用于控制处理不同类型的热点时，优先均衡的第一维度和第二维度。对于 `read` 和 `write-leader` 类型的热点，可选的维度有 `query`、`byte` 和 `key`。对于 `write-peer` 类型的热点，可选的维度有 `byte` 和 `key`。对于从低于 v5.2 版本升级上来的集群，读热点进行调度时将使用兼容配置，也即按照 `byte,key` 进行调度，如果想使用 `query` 的维度需要手动开启，对于 v5.2 的新建集群，将使用 `query,byte` 进行调度。如果集群中存在低于 v5.2 版本的节点，也将固定使用兼容配置。通常用户不需要修改这些配置项。 ```bash >> scheduler config balance-hot-region-scheduler set read-priorities query,byte ``` -- `strict-picking-store` 是控制热点调度搜索空间的开关，打开时会在保证稳定性的前提下进行热点调度。通常为打开，关闭后只保证第一优先级维度的均衡度，可能会导致其他维度的均衡度降低。通常用户不需要修改这个配置项。 +- `strict-picking-store` 是控制热点调度搜索空间的开关，打开时会尽可能严格匹配所配置的维度优先级来进行热点调度。通常为打开，关闭后只保证第一优先级维度的均衡度，可能会导致其他维度的均衡度降低。通常用户不需要修改这个配置项。 ```bash >> scheduler config balance-hot-region-scheduler set strict-picking-store true From 6cb868faa49fcdcedf7f7b9f41b7eba5febe1d85 Mon Sep 17 00:00:00 2001 From: lhy1024 Date: Wed, 18 Aug 2021 18:15:34 +0800 Subject: [PATCH 02/15] Update pd-control.md --- pd-control.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/pd-control.md b/pd-control.md index cb22d3ab361e..65183f860a8b 100644 --- a/pd-control.md +++ b/pd-control.md @@ -1082,7 +1082,7 @@ Encoding 格式示例： >> scheduler config balance-hot-region-scheduler set read-priorities query,byte ``` -- `strict-picking-store` 是控制热点调度搜索空间的开关，打开时会尽可能严格匹配所配置的维度优先级来进行热点调度。通常为打开，关闭后只保证第一优先级维度的均衡度，可能会导致其他维度的均衡度降低。通常用户不需要修改这个配置项。 +- `strict-picking-store` 是控制热点调度搜索空间的开关，打开时会把保证所配置的多个维度的均衡度作为热点调度的目标。通常为打开，关闭后只保证第一优先级维度的均衡度，可能会导致其他维度的均衡度降低。通常用户不需要修改这个配置项。 ```bash >> scheduler config balance-hot-region-scheduler set strict-picking-store true From 3f9389795900718ab045523cadd29f0fa0e9d7b8 Mon Sep 17 00:00:00 2001 From: lhy1024 Date: Wed, 18 Aug 2021 18:26:54 +0800 Subject: [PATCH 03/15] Update pd-control.md --- pd-control.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/pd-control.md b/pd-control.md index 65183f860a8b..c337529fb654 100644 --- a/pd-control.md +++ b/pd-control.md @@ -1082,7 +1082,7 @@ Encoding 格式示例： >> scheduler config balance-hot-region-scheduler set read-priorities query,byte ``` -- `strict-picking-store` 是控制热点调度搜索空间的开关，打开时会把保证所配置的多个维度的均衡度作为热点调度的目标。通常为打开，关闭后只保证第一优先级维度的均衡度，可能会导致其他维度的均衡度降低。通常用户不需要修改这个配置项。 +- `strict-picking-store` 是控制热点调度搜索空间的开关，打开时热点调度的目标是保证所配置的多个维度的均衡，关闭后只保证处于第一优先级的维度的均衡。通常为打开，关闭后能让处于第一优先级的维度的均衡表现更好，但可能会导致其他维度不再那么均衡。通常用户不需要修改这个配置项。 ```bash >> scheduler config balance-hot-region-scheduler set strict-picking-store true From 74e1f551ad67269685721460acbf8d8f76fac442 Mon Sep 17 00:00:00 2001 From: lhy1024 Date: Wed, 18 Aug 2021 18:42:32 +0800 Subject: [PATCH 04/15] Update pd-control.md --- pd-control.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/pd-control.md b/pd-control.md index c337529fb654..8cdb2a612ab9 100644 --- a/pd-control.md +++ b/pd-control.md @@ -1076,7 +1076,7 @@ Encoding 格式示例： >> scheduler config balance-hot-region-scheduler set src-tolerance-ratio 1.1 ``` -- `read-priorities`、`write-leader-priorities`、`write-peer-priorities` 用于控制处理不同类型的热点时，优先均衡的第一维度和第二维度。对于 `read` 和 `write-leader` 类型的热点，可选的维度有 `query`、`byte` 和 `key`。对于 `write-peer` 类型的热点，可选的维度有 `byte` 和 `key`。对于从低于 v5.2 版本升级上来的集群，读热点进行调度时将使用兼容配置，也即按照 `byte,key` 进行调度，如果想使用 `query` 的维度需要手动开启，对于 v5.2 的新建集群，将使用 `query,byte` 进行调度。如果集群中存在低于 v5.2 版本的节点，也将固定使用兼容配置。通常用户不需要修改这些配置项。 +- `read-priorities`、`write-leader-priorities`、`write-peer-priorities` 用于控制处理不同类型的热点时，优先均衡的第一维度和第二维度。对于 `read` 和 `write-leader` 类型的热点，可选的维度有 `query`、`byte` 和 `key`。对于 `write-peer` 类型的热点，可选的维度有 `byte` 和 `key`。若集群组件未全部升级到 v5.2 及以上版本，这些配置不会生效，固定使用兼容配置，升级完成后会继续保持兼容配置。兼容配置与新集群的默认配置的区别是不含有 `query` 维度。通常用户不需要修改这些配置项。 ```bash >> scheduler config balance-hot-region-scheduler set read-priorities query,byte From 1ed447bf459023d4fd4f8feb28854bee3e0b35ac Mon Sep 17 00:00:00 2001 From: lhy1024 Date: Thu, 19 Aug 2021 17:33:42 +0800 Subject: [PATCH 05/15] Update pd-control.md Co-authored-by: Grace Cai --- pd-control.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/pd-control.md b/pd-control.md index 8cdb2a612ab9..d07a8b3d78e0 100644 --- a/pd-control.md +++ b/pd-control.md @@ -1082,7 +1082,7 @@ Encoding 格式示例： >> scheduler config balance-hot-region-scheduler set read-priorities query,byte ``` -- `strict-picking-store` 是控制热点调度搜索空间的开关，打开时热点调度的目标是保证所配置的多个维度的均衡，关闭后只保证处于第一优先级的维度的均衡。通常为打开，关闭后能让处于第一优先级的维度的均衡表现更好，但可能会导致其他维度不再那么均衡。通常用户不需要修改这个配置项。 +- `strict-picking-store` 是控制热点调度搜索空间的开关，通常为打开。当打开时，热点调度的目标是保证所配置的两个维度的热点均衡。当关闭后，热点调度只保证处于第一优先级的维度的热点均衡表现更好，但可能会导致其他维度的热点不再那么均衡。通常用户不需要修改这个配置项。 ```bash >> scheduler config balance-hot-region-scheduler set strict-picking-store true From 532e0986294c4daa022cfe1bb2e947a85e68a831 Mon Sep 17 00:00:00 2001 From: lhy1024 Date: Thu, 19 Aug 2021 17:36:25 +0800 Subject: [PATCH 06/15] Update pd-control.md --- pd-control.md | 9 ++++++++- 1 file changed, 8 insertions(+), 1 deletion(-) diff --git a/pd-control.md b/pd-control.md index d07a8b3d78e0..c0241844bfd5 100644 --- a/pd-control.md +++ b/pd-control.md @@ -1076,7 +1076,14 @@ Encoding 格式示例： >> scheduler config balance-hot-region-scheduler set src-tolerance-ratio 1.1 ``` -- `read-priorities`、`write-leader-priorities`、`write-peer-priorities` 用于控制处理不同类型的热点时，优先均衡的第一维度和第二维度。对于 `read` 和 `write-leader` 类型的热点，可选的维度有 `query`、`byte` 和 `key`。对于 `write-peer` 类型的热点，可选的维度有 `byte` 和 `key`。若集群组件未全部升级到 v5.2 及以上版本，这些配置不会生效，固定使用兼容配置，升级完成后会继续保持兼容配置。兼容配置与新集群的默认配置的区别是不含有 `query` 维度。通常用户不需要修改这些配置项。 +- `read-priorities`、`write-leader-priorities`、`write-peer-priorities` 用于控制调度器优先从哪些维度进行热点均衡。 + + - `read-priorities`、`write-leader-priorities` 用于控制调度器在处理 read 和 write-leader 类型的热点时优先均衡的维度，支持配置两个维度。可选的维度有 `query`、`byte` 和 `key`。 + - `write-peer-priorities` 用于控制调度器在处理 write-peer 类型的热点时优先均衡的维度，支持配置两个维度，支持配置 `byte` 和 `key` 维度。 + + > ** 注意：** + > + > 若集群的所有组件未全部升级到 v5.2 及以上版本，`query` 维度的配置不生效，部分组件升级完成后调度器仍默认优先从 `byte` 和 `key` 维度进行热点均衡，升级完成后会继续保持兼容配置。兼容配置与新集群的默认配置的区别是不含有 `query` 维度。通常用户不需要修改这些配置项。 ```bash >> scheduler config balance-hot-region-scheduler set read-priorities query,byte From 352bb36c5ddcca4708c8bd08c23528937638e623 Mon Sep 17 00:00:00 2001 From: lhy1024 Date: Thu, 19 Aug 2021 17:38:14 +0800 Subject: [PATCH 07/15] Update pd-control.md --- pd-control.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/pd-control.md b/pd-control.md index c0241844bfd5..8225af9de037 100644 --- a/pd-control.md +++ b/pd-control.md @@ -1083,7 +1083,7 @@ Encoding 格式示例： > ** 注意：** > - > 若集群的所有组件未全部升级到 v5.2 及以上版本，`query` 维度的配置不生效，部分组件升级完成后调度器仍默认优先从 `byte` 和 `key` 维度进行热点均衡，升级完成后会继续保持兼容配置。兼容配置与新集群的默认配置的区别是不含有 `query` 维度。通常用户不需要修改这些配置项。 + > 若集群的所有组件未全部升级到 v5.2 及以上版本，`query` 维度的配置不生效，部分组件升级完成后调度器仍默认优先从 `byte` 和 `key` 维度进行热点均衡，集群组件全部升级完成后，也会继续保持该配置。通常用户不需要修改这些配置项。 ```bash >> scheduler config balance-hot-region-scheduler set read-priorities query,byte From 05390e6232a1a26ad51cbc215bc163813231fa25 Mon Sep 17 00:00:00 2001 From: lhy1024 Date: Thu, 19 Aug 2021 17:40:54 +0800 Subject: [PATCH 08/15] Update pd-control.md Co-authored-by: Liuxiaozhen12 <82579298+Liuxiaozhen12@users.noreply.github.com> --- pd-control.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/pd-control.md b/pd-control.md index 8225af9de037..99677456709d 100644 --- a/pd-control.md +++ b/pd-control.md @@ -1076,7 +1076,7 @@ Encoding 格式示例： >> scheduler config balance-hot-region-scheduler set src-tolerance-ratio 1.1 ``` -- `read-priorities`、`write-leader-priorities`、`write-peer-priorities` 用于控制调度器优先从哪些维度进行热点均衡。 +- `read-priorities`、`write-leader-priorities` 和 `write-peer-priorities` 用于控制调度器优先从哪些维度进行热点均衡。 - `read-priorities`、`write-leader-priorities` 用于控制调度器在处理 read 和 write-leader 类型的热点时优先均衡的维度，支持配置两个维度。可选的维度有 `query`、`byte` 和 `key`。 - `write-peer-priorities` 用于控制调度器在处理 write-peer 类型的热点时优先均衡的维度，支持配置两个维度，支持配置 `byte` 和 `key` 维度。 From a08036581299e20ef114ae92227d4e60525c50a3 Mon Sep 17 00:00:00 2001 From: lhy1024 Date: Thu, 19 Aug 2021 18:07:32 +0800 Subject: [PATCH 09/15] Update pd-control.md Co-authored-by: Liuxiaozhen12 <82579298+Liuxiaozhen12@users.noreply.github.com> --- pd-control.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/pd-control.md b/pd-control.md index 99677456709d..34758e80055b 100644 --- a/pd-control.md +++ b/pd-control.md @@ -1078,7 +1078,7 @@ Encoding 格式示例： - `read-priorities`、`write-leader-priorities` 和 `write-peer-priorities` 用于控制调度器优先从哪些维度进行热点均衡。 - - `read-priorities`、`write-leader-priorities` 用于控制调度器在处理 read 和 write-leader 类型的热点时优先均衡的维度，支持配置两个维度。可选的维度有 `query`、`byte` 和 `key`。 + - `read-priorities` 和 `write-leader-priorities` 用于控制调度器在处理 read 和 write-leader 类型的热点时优先均衡的维度，支持配置两个维度。可选的维度有 `query`、`byte` 和 `key`。 - `write-peer-priorities` 用于控制调度器在处理 write-peer 类型的热点时优先均衡的维度，支持配置两个维度，支持配置 `byte` 和 `key` 维度。 > ** 注意：** From 07495dffaa3ffa10202cd18d9ab4cd32e15802cb Mon Sep 17 00:00:00 2001 From: lhy1024 Date: Thu, 19 Aug 2021 18:08:26 +0800 Subject: [PATCH 10/15] Update pd-control.md --- pd-control.md | 10 +++++----- 1 file changed, 5 insertions(+), 5 deletions(-) diff --git a/pd-control.md b/pd-control.md index 34758e80055b..e2bf81d67c80 100644 --- a/pd-control.md +++ b/pd-control.md @@ -1078,12 +1078,12 @@ Encoding 格式示例： - `read-priorities`、`write-leader-priorities` 和 `write-peer-priorities` 用于控制调度器优先从哪些维度进行热点均衡。 - - `read-priorities` 和 `write-leader-priorities` 用于控制调度器在处理 read 和 write-leader 类型的热点时优先均衡的维度，支持配置两个维度。可选的维度有 `query`、`byte` 和 `key`。 - - `write-peer-priorities` 用于控制调度器在处理 write-peer 类型的热点时优先均衡的维度，支持配置两个维度，支持配置 `byte` 和 `key` 维度。 + - `read-priorities` 和 `write-leader-priorities` 用于控制调度器在处理 read 和 write-leader 类型的热点时优先均衡的维度，支持配置两个维度。可选的维度有 `query`、`byte` 和 `key`。 + - `write-peer-priorities` 用于控制调度器在处理 write-peer 类型的热点时优先均衡的维度，支持配置两个维度，支持配置 `byte` 和 `key` 维度。 - > ** 注意：** - > - > 若集群的所有组件未全部升级到 v5.2 及以上版本，`query` 维度的配置不生效，部分组件升级完成后调度器仍默认优先从 `byte` 和 `key` 维度进行热点均衡，集群组件全部升级完成后，也会继续保持该配置。通常用户不需要修改这些配置项。 + > ** 注意：** + > + > 若集群的所有组件未全部升级到 v5.2 及以上版本，`query` 维度的配置不生效，部分组件升级完成后调度器仍默认优先从 `byte` 和 `key` 维度进行热点均衡，集群组件全部升级完成后，也会继续保持该配置。通常用户不需要修改这些配置项。 ```bash >> scheduler config balance-hot-region-scheduler set read-priorities query,byte From a297960cb90b4b78888d6e0fce5783285a1f9257 Mon Sep 17 00:00:00 2001 From: lhy1024 Date: Fri, 20 Aug 2021 03:21:36 +0800 Subject: [PATCH 11/15] Update pd-control.md --- pd-control.md | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/pd-control.md b/pd-control.md index e2bf81d67c80..621754198f68 100644 --- a/pd-control.md +++ b/pd-control.md @@ -1077,11 +1077,11 @@ Encoding 格式示例： ``` - `read-priorities`、`write-leader-priorities` 和 `write-peer-priorities` 用于控制调度器优先从哪些维度进行热点均衡。 - + - `read-priorities` 和 `write-leader-priorities` 用于控制调度器在处理 read 和 write-leader 类型的热点时优先均衡的维度，支持配置两个维度。可选的维度有 `query`、`byte` 和 `key`。 - `write-peer-priorities` 用于控制调度器在处理 write-peer 类型的热点时优先均衡的维度，支持配置两个维度，支持配置 `byte` 和 `key` 维度。 - - > ** 注意：** + + > **注意：** > > 若集群的所有组件未全部升级到 v5.2 及以上版本，`query` 维度的配置不生效，部分组件升级完成后调度器仍默认优先从 `byte` 和 `key` 维度进行热点均衡，集群组件全部升级完成后，也会继续保持该配置。通常用户不需要修改这些配置项。 From 39536e1c52ec73e7f84bfe946c241997ed55b8bd Mon Sep 17 00:00:00 2001 From: lhy1024 Date: Fri, 20 Aug 2021 11:04:37 +0800 Subject: [PATCH 12/15] Update pd-control.md Co-authored-by: Grace Cai --- pd-control.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/pd-control.md b/pd-control.md index 621754198f68..5e9431fc04d4 100644 --- a/pd-control.md +++ b/pd-control.md @@ -1083,7 +1083,7 @@ Encoding 格式示例： > **注意：** > - > 若集群的所有组件未全部升级到 v5.2 及以上版本，`query` 维度的配置不生效，部分组件升级完成后调度器仍默认优先从 `byte` 和 `key` 维度进行热点均衡，集群组件全部升级完成后，也会继续保持该配置。通常用户不需要修改这些配置项。 + > 若集群的所有组件未全部升级到 v5.2 及以上版本，`query` 维度的配置不生效，部分组件升级完成后调度器仍默认优先从 `byte` 和 `key` 维度进行热点均衡，集群的所有组件全部升级完成后，也会继续保持该配置。通常用户不需要修改这些配置项。 ```bash >> scheduler config balance-hot-region-scheduler set read-priorities query,byte From 04fe1e82b2871e34ee649c44a90ab110a4cbd4de Mon Sep 17 00:00:00 2001 From: lhy1024 Date: Fri, 20 Aug 2021 11:05:25 +0800 Subject: [PATCH 13/15] Update pd-control.md --- pd-control.md | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/pd-control.md b/pd-control.md index 5e9431fc04d4..4247831ac2f6 100644 --- a/pd-control.md +++ b/pd-control.md @@ -1076,10 +1076,10 @@ Encoding 格式示例： >> scheduler config balance-hot-region-scheduler set src-tolerance-ratio 1.1 ``` -- `read-priorities`、`write-leader-priorities` 和 `write-peer-priorities` 用于控制调度器优先从哪些维度进行热点均衡。 +- `read-priorities`、`write-leader-priorities` 和 `write-peer-priorities` 用于控制调度器优先从哪些维度进行热点均衡，支持配置两个维度. - - `read-priorities` 和 `write-leader-priorities` 用于控制调度器在处理 read 和 write-leader 类型的热点时优先均衡的维度，支持配置两个维度。可选的维度有 `query`、`byte` 和 `key`。 - - `write-peer-priorities` 用于控制调度器在处理 write-peer 类型的热点时优先均衡的维度，支持配置两个维度，支持配置 `byte` 和 `key` 维度。 + - `read-priorities` 和 `write-leader-priorities` 用于控制调度器在处理 read 和 write-leader 类型的热点时优先均衡的维度，可选的维度有 `query`、`byte` 和 `key`。 + - `write-peer-priorities` 用于控制调度器在处理 write-peer 类型的热点时优先均衡的维度，支持配置 `byte` 和 `key` 维度。 > **注意：** > From f38b621cb1d4c5f46e5a55b88c987192293189f8 Mon Sep 17 00:00:00 2001 From: lhy1024 Date: Fri, 20 Aug 2021 11:32:28 +0800 Subject: [PATCH 14/15] Update pd-control.md --- pd-control.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/pd-control.md b/pd-control.md index 4247831ac2f6..98ffec4c3469 100644 --- a/pd-control.md +++ b/pd-control.md @@ -1083,7 +1083,7 @@ Encoding 格式示例： > **注意：** > - > 若集群的所有组件未全部升级到 v5.2 及以上版本，`query` 维度的配置不生效，部分组件升级完成后调度器仍默认优先从 `byte` 和 `key` 维度进行热点均衡，集群的所有组件全部升级完成后，也会继续保持该配置。通常用户不需要修改这些配置项。 + > 若集群的所有组件未全部升级到 v5.2 及以上版本，`query` 维度的配置不生效，部分组件升级完成后调度器仍默认优先从 `byte` 和 `key` 维度进行热点均衡，集群的所有组件全部升级完成后，也会继续保持这样的兼容配置，可通过 `pd-ctl` 查看实时配置。通常用户不需要修改这些配置项。 ```bash >> scheduler config balance-hot-region-scheduler set read-priorities query,byte From 750debb84a94b9ce743ba52b00db4ca6a65049f8 Mon Sep 17 00:00:00 2001 From: TomShawn <41534398+TomShawn@users.noreply.github.com> Date: Fri, 20 Aug 2021 15:17:38 +0800 Subject: [PATCH 15/15] Update pd-control.md --- pd-control.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/pd-control.md b/pd-control.md index 98ffec4c3469..8b9371142feb 100644 --- a/pd-control.md +++ b/pd-control.md @@ -1076,7 +1076,7 @@ Encoding 格式示例： >> scheduler config balance-hot-region-scheduler set src-tolerance-ratio 1.1 ``` -- `read-priorities`、`write-leader-priorities` 和 `write-peer-priorities` 用于控制调度器优先从哪些维度进行热点均衡，支持配置两个维度. +- `read-priorities`、`write-leader-priorities` 和 `write-peer-priorities` 用于控制调度器优先从哪些维度进行热点均衡，支持配置两个维度。 - `read-priorities` 和 `write-leader-priorities` 用于控制调度器在处理 read 和 write-leader 类型的热点时优先均衡的维度，可选的维度有 `query`、`byte` 和 `key`。 - `write-peer-priorities` 用于控制调度器在处理 write-peer 类型的热点时优先均衡的维度，支持配置 `byte` 和 `key` 维度。