Skip to content

Commit

Permalink
Merge pull request #23 from mtunique/patch-1
Browse files Browse the repository at this point in the history
Fix typo in 《0.1 Spark Streaming 实现思路与模块概述.md》
  • Loading branch information
lw-lin authored Oct 19, 2016
2 parents 1042350 + 33856d1 commit 5294500
Showing 1 changed file with 1 addition and 1 deletion.
Original file line number Diff line number Diff line change
Expand Up @@ -153,7 +153,7 @@ Spark Streaming 与 Spark Core 的关系可以用下面的经典部件图来表
- 如果数据很细小,就需要 `BlockGenerator` 攒多条数据成一块(4a)、然后再成块存储(4b 或 4c)
- 反之就不用攒,直接成块存储(4b 或 4c)

- 这里 Spark Streaming 目前支持两种成块存储方式,一种是由 `blockManagerskManagerBasedBlockHandler` 直接存到 executor 的内存或硬盘,另一种由 `WriteAheadLogBasedBlockHandler` 是同时写 WAL(4c) 和 executor 的内存或硬盘
- 这里 Spark Streaming 目前支持两种成块存储方式,一种是由 `BlockManagerBasedBlockHandler` 直接存到 executor 的内存或硬盘,另一种由 `WriteAheadLogBasedBlockHandler` 是同时写 WAL(4c) 和 executor 的内存或硬盘

- (5) 每次成块在 executor 存储完毕后,`ReceiverSupervisor` 就会及时上报块数据的 meta 信息给 driver 端的 `ReceiverTracker`;这里的 meta 信息包括数据的标识 id,数据的位置,数据的条数,数据的大小等信息;

Expand Down

0 comments on commit 5294500

Please sign in to comment.