Skip to content

Commit

Permalink
fix table (#10422)
Browse files Browse the repository at this point in the history
* fix table

Signed-off-by: Ran <[email protected]>

* remove hard tabs

Signed-off-by: Ran <[email protected]>
  • Loading branch information
ran-huang authored Jul 8, 2022
1 parent 7359dc8 commit 0d6b5ca
Showing 1 changed file with 6 additions and 29 deletions.
35 changes: 6 additions & 29 deletions tidb-lightning/tidb-lightning-data-source.md
Original file line number Diff line number Diff line change
Expand Up @@ -16,35 +16,12 @@ data-source-dir = "/data/my_database"

Lightning 运行时将查找 `data-source-dir` 中所有符合命令规则的文件。

<table>
<thead>
<tr>
<th>文件类型</th>
<th>分类</th>
<th>命名规则</th>
</tr>
</thead>
<tbody>
<tr>
<td rowspan="2">Schema 文件</td>
<td>包含 DDL 语句 `CREATE TABLE` 的文件</td>
<td>`${db_name}.${table_name}-schema.sql`</td>
</tr>
<tr>
<td>包含 `CREATE DATABASE` DDL 语句的文件</td>
<td>`${db_name}-schema-create.sql`</td>
</tr>
<tr>
<td rowspan="2">数据文件</td>
<td>包含整张表的数据文件,该文件会被导入 `${db_name}.${table_name}` 表</td>
<td>`${db_name}.${table_name}.${csv|sql|parquet}`</td>
</tr>
<tr>
<td>如果一个表分布于多个数据文件,这些文件命名需加上文件编号的后缀</td>
<td>`${db_name}.${table_name}.001.${csv|sql|parquet}`</td>
</tr>
</tbody>
</table>
| 文件类型 | 分类 | 命名规则 |
|:--|:--|:---|
|Schema 文件|包含 DDL 语句 `CREATE TABLE` 的文件|`${db_name}.${table_name}-schema.sql`|
|Schema 文件|包含 `CREATE DATABASE` DDL 语句的文件|`${db_name}-schema-create.sql`|
|数据文件|包含整张表的数据文件,该文件会被导入 `${db_name}.${table_name}`| `${db_name}.${table_name}.${csv|sql|parquet}`|
|数据文件| 如果一个表分布于多个数据文件,这些文件命名需加上文件编号的后缀 | `${db_name}.${table_name}.001.${csv|sql|parquet}` |

Lightning 尽量并行处理数据,由于文件必须顺序读取,所以数据处理协程是文件级别的并发(通过 `region-concurrency` 配置控制)。因此导入大文件时性能比较差。通常建议单个文件尺寸为 256MiB,以获得最好的性能。

Expand Down

0 comments on commit 0d6b5ca

Please sign in to comment.