sql-infra: document for resource control feature (#12655)

pingcap · Feb 17, 2023 · a4ff65c · a4ff65c
1 parent d9c7f83
commit a4ff65c
Show file tree

Hide file tree

Showing 17 changed files with 685 additions and 78 deletions.
diff --git a/TOC.md b/TOC.md
@@ -156,6 +156,7 @@
       - [使用 Dumpling 和 TiDB Lightning 备份与恢复](/backup-and-restore-using-dumpling-lightning.md)
       - [备份与恢复 RawKV](/br/rawkv-backup-and-restore.md)
       - [增量备份与恢复](/br/br-incremental-guide.md)
+  - [使用资源管控 (Resource Control) 实现资源隔离](/tidb-resource-control.md)
   - [修改时区](/configure-time-zone.md)
   - [日常巡检](/daily-check.md)
   - [TiFlash 常用运维操作](/tiflash/maintain-tiflash.md)
@@ -630,6 +631,7 @@
     - [TiKV 面板](/grafana-tikv-dashboard.md)
     - [TiFlash 监控指标](/tiflash/monitor-tiflash.md)
     - [TiCDC 监控指标](/ticdc/monitor-ticdc.md)
+    - [Resource Control 监控指标](/grafana-resource-control-dashboard.md)
   - 安全加固
     - [为 TiDB 客户端服务端间通信开启加密传输](/enable-tls-between-clients-and-servers.md)
     - [为 TiDB 组件间通信开启加密传输](/enable-tls-between-components.md)
@@ -669,6 +671,7 @@
       - [`ALTER INDEX`](/sql-statements/sql-statement-alter-index.md)
       - [`ALTER INSTANCE`](/sql-statements/sql-statement-alter-instance.md)
       - [`ALTER PLACEMENT POLICY`](/sql-statements/sql-statement-alter-placement-policy.md)
+      - [`ALTER RESOURCE GROUP`](/sql-statements/sql-statement-alter-resource-group.md)
       - [`ALTER TABLE`](/sql-statements/sql-statement-alter-table.md)
       - [`ALTER TABLE COMPACT`](/sql-statements/sql-statement-alter-table-compact.md)
       - [`ALTER USER`](/sql-statements/sql-statement-alter-user.md)
@@ -684,6 +687,7 @@
       - [`CREATE DATABASE`](/sql-statements/sql-statement-create-database.md)
       - [`CREATE INDEX`](/sql-statements/sql-statement-create-index.md)
       - [`CREATE PLACEMENT POLICY`](/sql-statements/sql-statement-create-placement-policy.md)
+      - [`CREATE RESOURCE GROUP`](/sql-statements/sql-statement-create-resource-group.md)
       - [`CREATE ROLE`](/sql-statements/sql-statement-create-role.md)
       - [`CREATE SEQUENCE`](/sql-statements/sql-statement-create-sequence.md)
       - [`CREATE TABLE LIKE`](/sql-statements/sql-statement-create-table-like.md)
@@ -700,6 +704,7 @@
       - [`DROP DATABASE`](/sql-statements/sql-statement-drop-database.md)
       - [`DROP INDEX`](/sql-statements/sql-statement-drop-index.md)
       - [`DROP PLACEMENT POLICY`](/sql-statements/sql-statement-drop-placement-policy.md)
+      - [`DROP RESOURCE GROUP`](/sql-statements/sql-statement-drop-resource-group.md)
       - [`DROP ROLE`](/sql-statements/sql-statement-drop-role.md)
       - [`DROP SEQUENCE`](/sql-statements/sql-statement-drop-sequence.md)
       - [`DROP STATS`](/sql-statements/sql-statement-drop-stats.md)
@@ -750,6 +755,7 @@
       - [`SHOW [FULL] COLUMNS FROM`](/sql-statements/sql-statement-show-columns-from.md)
       - [`SHOW CONFIG`](/sql-statements/sql-statement-show-config.md)
       - [`SHOW CREATE PLACEMENT POLICY`](/sql-statements/sql-statement-show-create-placement-policy.md)
+      - [`SHOW CREATE RESOURCE GROUP`](/sql-statements/sql-statement-show-create-resource-group.md)
       - [`SHOW CREATE SEQUENCE`](/sql-statements/sql-statement-show-create-sequence.md)
       - [`SHOW CREATE TABLE`](/sql-statements/sql-statement-show-create-table.md)
       - [`SHOW CREATE DATABASE`](/sql-statements/sql-statement-show-create-database.md)
@@ -877,6 +883,7 @@
         - [`PLACEMENT_POLICIES`](/information-schema/information-schema-placement-policies.md)
         - [`PROCESSLIST`](/information-schema/information-schema-processlist.md)
         - [`REFERENTIAL_CONSTRAINTS`](/information-schema/information-schema-referential-constraints.md)
+        - [`RESOURCE_GROUPS`](/information-schema/information-schema-resource-groups.md)
         - [`SCHEMATA`](/information-schema/information-schema-schemata.md)
         - [`SEQUENCES`](/information-schema/information-schema-sequences.md)
         - [`SESSION_VARIABLES`](/information-schema/information-schema-session-variables.md)

diff --git a/grafana-resource-control-dashboard.md b/grafana-resource-control-dashboard.md
@@ -0,0 +1,36 @@
+---
+title: 资源管控 (Resource Control) 监控指标详解
+summary: 了解资源管控 (Resource Control) 的 Grafana Dashboard 中所展示的关键指标。
+---
+
+# 资源管控 (Resource Control) 监控指标详解
+
+使用 TiUP 部署 TiDB 集群时，可以一键部署监控系统 (Prometheus & Grafana)。监控架构请参见 [TiDB 监控框架概述](/tidb-monitoring-framework.md)。
+
+目前 Grafana Dashboard 整体分为 PD、TiDB、TiKV、Node_exporter、Overview、Performance_overview 等。
+
+如果你的集群配置了 [Resource Control](/tidb-resource-control.md) ，通过观察 Resource Control 面板上的 Metrics，你可以了解当前集群整体的资源消耗状态。
+
+以下为 **Resource Control** 关键监控指标的说明。
+
+## Request Unit 相关指标
+
+- RU：以 Resource Group 为单位进行实时统计的 [Request Unit (RU)](/tidb-resource-control.md#什么是-request-unit-ru) 消耗信息。`total` 为当前所有 Resource Group 消耗的 Request Unit 之和。每个 Resource Group 的 Request Unit 消耗等于其读消耗 (Read Request Unit) 和写消耗 (Write Request Unit) 之和。
+- RU Per Query：平均每个 SQL 语句消耗的 Request Unit 数量。计算方法是将前述 Request Unit 监控指标除以当前每秒执行的 SQL 语句数量。
+- RRU：以 Resource Group 为单位进行实时统计的读请求 Read Request Unit 消耗信息。`total` 为当前所有 Resource Group 消耗的 Read Request Unit 之和。
+- RRU Per Query：平均每个 SQL 语句消耗的 Read Request Unit 数量。计算方法是将前述 Read Request Unit 监控指标除以当前每秒执行的 SQL 语句数量。
+- WRU：以 Resource Group 为单位进行实时统计的写请求 Write Request Unit 消耗信息。`total` 为当前所有 Resource Group 消耗的 Write Request Unit 之和。
+- WRU Per Query：平均每个 SQL 语句消耗的 Write Request Unit 数量。计算方法是将前述 Write Request Unit 监控指标除以当前每秒执行的 SQL 语句数量。
+
+## 资源相关指标
+
+- KV Request Count：以 Resource Group 为单位进行实时统计的 KV 请求数量，区分了读和写两种类型。`total` 为当前所有 Resource Group 涉及的 KV 请求数量之和。
+- KV Request Count Per Query：平均每个 SQL 语句涉及的读写 KV 请求数量。计算方法是将前述 KV Request Count 监控指标除以当前每秒执行的 SQL 语句数量。
+- Bytes Read：以 Resource Group 为单位进行实时统计的读取数据量。`total` 为当前所有 Resource Group 读取数据量之和。
+- Bytes Read Per Query：平均每个 SQL 语句的读取数据量。将前述 Bytes Read 监控指标除以当前每秒执行的 SQL 语句数量。
+- Bytes Written：以 Resource Group 为单位进行实时统计的写入数据量。`total` 为当前所有 Resource Group 写入数据量之和。
+- Bytes Written Per Query：平均每个 SQL 语句的写入数据量。计算方法是将前述 Bytes Written 监控指标除以当前每秒执行的 SQL 语句数量。
+- KV CPU Time：以 Resource Group 为单位进行实时统计的 KV 层 CPU 时间消耗。`total` 为当前所有 Resource Group 消耗 KV 层 CPU 时间之和。
+- KV CPU Time Per Query：平均每个 SQL 语句的 KV 层 CPU 时间消耗之和。计算方法是将前述 KV CPU Time 监控指标除以当前每秒执行的 SQL 语句数量。
+- SQL CPU Time：以 Resource Group 为单位进行实时统计的 SQL 层 CPU 时间消耗。`total` 为当前所有 Resource Group 消耗 SQL 层 CPU 时间之和。
+- SQL CPU Time Per Query：平均每个 SQL 语句的 SQL 层 CPU 时间消耗之和。计算方法是将前述 SQL CPU Time 监控除以当前每秒执行的 SQL 语句数量。
diff --git a/grafana-tikv-dashboard.md b/grafana-tikv-dashboard.md
@@ -68,6 +68,9 @@ aliases: ['/docs-cn/dev/grafana-tikv-dashboard/','/docs-cn/dev/reference/key-mon
 - Average gRPC message duration：gRPC 请求平均的执行时间
 - gRPC batch size：TiDB 与 TiKV 之间 grpc 请求的 batch 大小
 - raft message batch size：TiKV 与 TiKV 之间 raft 消息的 batch 大小
+- gRPC request sources QPS: 不同 gRPC 请求来源的速度
+- gRPC request sources duration: 不同 gRPC 请求来源的执行总时间
+- gRPC resource group QPS: 不同 resource group 的 gRPC 请求速度 
 
 ### Thread CPU
 

diff --git a/information-schema/information-schema-processlist.md b/information-schema/information-schema-processlist.md
@@ -13,7 +13,8 @@ aliases: ['/docs-cn/dev/information-schema/information-schema-processlist/']
 * `DIGEST` 列：显示 SQL 语句的 digest。
 * `MEM` 列：显示正在处理的请求已使用的内存，单位是 byte。
 * `DISK` 列：显示磁盘空间使用情况，单位是 byte。
-* `TxnStart`列：显示事务的开始时间
+* `TxnStart`列：显示事务的开始时间。
+* `RESOURCE_GROUP`列：显示对应的资源组名称。
 
 {{< copyable "sql" >}}
 
@@ -23,23 +24,24 @@ DESC processlist;
 ```
 
 ```sql
-+----------+---------------------+------+------+---------+-------+
-| Field    | Type                | Null | Key  | Default | Extra |
-+----------+---------------------+------+------+---------+-------+
-| ID       | bigint(21) unsigned | NO   |      | 0       |       |
-| USER     | varchar(16)         | NO   |      |         |       |
-| HOST     | varchar(64)         | NO   |      |         |       |
-| DB       | varchar(64)         | YES  |      | NULL    |       |
-| COMMAND  | varchar(16)         | NO   |      |         |       |
-| TIME     | int(7)              | NO   |      | 0       |       |
-| STATE    | varchar(7)          | YES  |      | NULL    |       |
-| INFO     | longtext            | YES  |      | NULL    |       |
-| DIGEST   | varchar(64)         | YES  |      |         |       |
-| MEM      | bigint(21) unsigned | YES  |      | NULL    |       |
-| DISK     | bigint(21) unsigned | YES  |      | NULL    |       |
-| TxnStart | varchar(64)         | NO   |      |         |       |
-+----------+---------------------+------+------+---------+-------+
-12 rows in set (0.00 sec)
++---------------------+---------------------+------+------+---------+-------+
+| Field               | Type                | Null | Key  | Default | Extra |
++---------------------+---------------------+------+------+---------+-------+
+| ID                  | bigint(21) unsigned | NO   |      | 0       |       |
+| USER                | varchar(16)         | NO   |      |         |       |
+| HOST                | varchar(64)         | NO   |      |         |       |
+| DB                  | varchar(64)         | YES  |      | NULL    |       |
+| COMMAND             | varchar(16)         | NO   |      |         |       |
+| TIME                | int(7)              | NO   |      | 0       |       |
+| STATE               | varchar(7)          | YES  |      | NULL    |       |
+| INFO                | longtext            | YES  |      | NULL    |       |
+| DIGEST              | varchar(64)         | YES  |      |         |       |
+| MEM                 | bigint(21) unsigned | YES  |      | NULL    |       |
+| DISK                | bigint(21) unsigned | YES  |      | NULL    |       |
+| TxnStart            | varchar(64)         | NO   |      |         |       |
+| RESOURCE_GROUP      | varchar(32)         | NO   |      |         |       |
++---------------------+---------------------+------+------+---------+-------+
+13 rows in set (0.00 sec)
 ```
 
 {{< copyable "sql" >}}
@@ -50,16 +52,19 @@ SELECT * FROM processlist\G
 
 ```sql
 *************************** 1. row ***************************
-      ID: 16
-    USER: root
-    HOST: 127.0.0.1
-      DB: information_schema
- COMMAND: Query
-    TIME: 0
-   STATE: autocommit
-    INFO: SELECT * FROM processlist
-     MEM: 0
-TxnStart:
+                 ID: 2300033189772525975
+               USER: root
+               HOST: 127.0.0.1:51289
+                 DB: NULL
+            COMMAND: Query
+               TIME: 0
+              STATE: autocommit
+               INFO: SELECT * FROM processlist
+             DIGEST: dbfaa16980ec628011029f0aaf0d160f4b040885240dfc567bf760d96d374f7e
+                MEM: 0
+               DISK: 0
+           TxnStart:
+     RESOURCE_GROUP: rg1
 1 row in set (0.00 sec)
 ```
 
@@ -76,7 +81,8 @@ TxnStart:
 * `DIGEST` 列：SQL 语句的 digest。
 * `MEM` 列：正在处理的请求已使用的内存，单位是 byte。
 * `DISK` 列：磁盘空间使用情况，单位是 byte。
-* `TxnStart`列：显示事务的开始时间
+* `TxnStart`列：显示事务的开始时间。
+* `RESOURCE_GROUP`列：显示对应的资源组名称。
 
 ## CLUSTER_PROCESSLIST
 
@@ -89,13 +95,14 @@ SELECT * FROM cluster_processlist;
 ```
 
 ```sql
-+-----------------+-----+------+----------+------+---------+------+------------+------------------------------------------------------+-----+----------------------------------------+
-| INSTANCE        | ID  | USER | HOST     | DB   | COMMAND | TIME | STATE      | INFO                                                 | MEM | TxnStart                               |
-+-----------------+-----+------+----------+------+---------+------+------------+------------------------------------------------------+-----+----------------------------------------+
-| 10.0.1.22:10080 | 150 | u1   | 10.0.1.1 | test | Query   | 0    | autocommit | select count(*) from usertable                       | 372 | 05-28 03:54:21.230(416976223923077223) |
-| 10.0.1.22:10080 | 138 | root | 10.0.1.1 | test | Query   | 0    | autocommit | SELECT * FROM information_schema.cluster_processlist | 0   | 05-28 03:54:21.230(416976223923077220) |
-| 10.0.1.22:10080 | 151 | u1   | 10.0.1.1 | test | Query   | 0    | autocommit | select count(*) from usertable                       | 372 | 05-28 03:54:21.230(416976223923077224) |
-| 10.0.1.21:10080 | 15  | u2   | 10.0.1.1 | test | Query   | 0    | autocommit | select max(field0) from usertable                    | 496 | 05-28 03:54:21.230(416976223923077222) |
-| 10.0.1.21:10080 | 14  | u2   | 10.0.1.1 | test | Query   | 0    | autocommit | select max(field0) from usertable                    | 496 | 05-28 03:54:21.230(416976223923077225) |
-+-----------------+-----+------+----------+------+---------+------+------------+------------------------------------------------------+-----+----------------------------------------+
++-----------------+-----+------+----------+------+---------+------+------------+------------------------------------------------------+-----+----------------------------------------+----------------+
+| INSTANCE        | ID  | USER | HOST     | DB   | COMMAND | TIME | STATE      | INFO                                                 | MEM | TxnStart                               | RESOURCE_GROUP | 
++-----------------+-----+------+----------+------+---------+------+------------+------------------------------------------------------+-----+----------------------------------------+----------------+
+
+| 10.0.1.22:10080 | 150 | u1   | 10.0.1.1 | test | Query   | 0    | autocommit | select count(*) from usertable                       | 372 | 05-28 03:54:21.230(416976223923077223) | default        |
+| 10.0.1.22:10080 | 138 | root | 10.0.1.1 | test | Query   | 0    | autocommit | SELECT * FROM information_schema.cluster_processlist | 0   | 05-28 03:54:21.230(416976223923077220) | rg1            |
+| 10.0.1.22:10080 | 151 | u1   | 10.0.1.1 | test | Query   | 0    | autocommit | select count(*) from usertable                       | 372 | 05-28 03:54:21.230(416976223923077224) | rg2            |
+| 10.0.1.21:10080 | 15  | u2   | 10.0.1.1 | test | Query   | 0    | autocommit | select max(field0) from usertable                    | 496 | 05-28 03:54:21.230(416976223923077222) | default        |
+| 10.0.1.21:10080 | 14  | u2   | 10.0.1.1 | test | Query   | 0    | autocommit | select max(field0) from usertable                    | 496 | 05-28 03:54:21.230(416976223923077225) | default        |
++-----------------+-----+------+----------+------+---------+------+------------+------------------------------------------------------+-----+----------------------------------------+----------------+
 ```
diff --git a/information-schema/information-schema-resource-groups.md b/information-schema/information-schema-resource-groups.md
@@ -0,0 +1,55 @@
+---
+title: RESOURCE_GROUPS
+summary: 了解 information_schema 表 `RESOURCE_GROUPS`。
+---
+
+# RESOURCE_GROUPS
+
+> **警告:**
+>
+> 资源管控是 TiDB 在 v6.6.0 中引入的实验特性，其语法或者行为表现在 GA 前可能会发生变化。
+
+`RESOURCE_GROUPS` 表展示所有资源组 (resource group) 的信息，见[使用资源管控 (Resource Control) 实现资源隔离](/tidb-resource-control.md)。
+
+```sql
+USE information_schema;
+DESC resource_groups;
+```
+
+```sql
++------------+-------------+------+------+---------+-------+
+| Field      | Type        | Null | Key  | Default | Extra |
++------------+-------------+------+------+---------+-------+
+| NAME       | varchar(32) | NO   |      | NULL    |       |
+| RU_PER_SEC | bigint(21)  | YES  |      | NULL    |       |
+| BURSTABLE  | varchar(3)  | YES  |      | NULL    |       |
++------------+-------------+------+------+---------+-------+
+3 rows in set (0.00 sec)
+```
+
+## 示例
+
+```sql
+mysql> CREATE RESOURCE GROUP rg1 RU_PER_SEC=1000; -- 创建资源组 rg1
+Query OK, 0 rows affected (0.34 sec)
+mysql> SHOW CREATE RESOURCE GROUP rg1; -- 显示 rg1 资源组的定义
++----------------+---------------------------------------------+
+| Resource_Group | Create Resource Group                       |
++----------------+---------------------------------------------+
+| rg1            | CREATE RESOURCE GROUP `rg1` RU_PER_SEC=1000 |
++----------------+---------------------------------------------+
+1 row in set (0.00 sec)
+mysql> SELECT * FROM information_schema.resource_groups WHERE NAME = 'rg1';
++------+------------+-----------+
+| NAME | RU_PER_SEC | BURSTABLE |
++------+------------+-----------+
+| rg1  |       1000 | NO        |
++------+------------+-----------+
+1 row in set (0.00 sec)
+```
+
+`RESOURCE_GROUPS` 表中列的含义如下：
+
+* `NAME`：资源组名称。
+* `RU_PER_SEC`：资源组的回填速度，单位为每秒回填的 [Request Unit (RU)](/tidb-resource-control.md#什么是-request-unit-ru) 数量。
+* `BURSTABLE`：是否允许此资源组超额使用剩余的系统资源。
diff --git a/mysql-compatibility.md b/mysql-compatibility.md
@@ -216,3 +216,11 @@ TiDB 不支持 MySQL 中标记为弃用的功能，包括：
 
 * 指定浮点类型的精度。MySQL 8.0 [弃用](https://dev.mysql.com/doc/refman/8.0/en/floating-point-types.html)了此功能，建议改用 `DECIMAL` 类型。
 * `ZEROFILL` 属性。MySQL 8.0 [弃用](https://dev.mysql.com/doc/refman/8.0/en/numeric-type-attributes.html)了此功能，建议在业务应用中填充数字值。
+
+### `CREATE RESOURCE GROUP`，`DROP RESOURCE GROUP` 和 `ALTER RESOURCE GROUP`
+
+TiDB 资源组创建与修改语句的语法与 MySQL 官方不同，详情参见：
+
+- [`CREATE RESOURCE GROUP`](/sql-statements/sql-statement-create-resource-group.md)
+- [`DROP RESOURCE GROUP`](/sql-statements/sql-statement-drop-resource-group.md)
+- [`ALTER RESOURCE GROUP`](/sql-statements/sql-statement-alter-resource-group.md)
diff --git a/privilege-management.md b/privilege-management.md
@@ -435,6 +435,18 @@ SELECT * FROM INFORMATION_SCHEMA.USER_PRIVILEGES WHERE grantee = "'root'@'%'";
 
 使用 `KILL` 终止其他用户的会话需要拥有 `SUPER` 或者 `CONNECTION_ADMIN` 权限。
 
+### CREATE RESOURCE GROUP
+
+需要拥有 `SUPER` 或者 `RESOURCE_GROUP_ADMIN` 权限。
+
+### ALTER RESOURCE GROUP
+
+需要拥有 `SUPER` 或者 `RESOURCE_GROUP_ADMIN` 权限。
+
+### DROP RESOURCE GROUP
+
+需要拥有 `SUPER` 或者 `RESOURCE_GROUP_ADMIN` 权限。
+
 ## 权限系统的实现
 
 ### 授权表