diff --git "a/Spark Streaming \346\272\220\347\240\201\350\247\243\346\236\220\347\263\273\345\210\227/0.1 Spark Streaming \345\256\236\347\216\260\346\200\235\350\267\257\344\270\216\346\250\241\345\235\227\346\246\202\350\277\260.md" "b/Spark Streaming \346\272\220\347\240\201\350\247\243\346\236\220\347\263\273\345\210\227/0.1 Spark Streaming \345\256\236\347\216\260\346\200\235\350\267\257\344\270\216\346\250\241\345\235\227\346\246\202\350\277\260.md" index 95c6236..37fa956 100644 --- "a/Spark Streaming \346\272\220\347\240\201\350\247\243\346\236\220\347\263\273\345\210\227/0.1 Spark Streaming \345\256\236\347\216\260\346\200\235\350\267\257\344\270\216\346\250\241\345\235\227\346\246\202\350\277\260.md" +++ "b/Spark Streaming \346\272\220\347\240\201\350\247\243\346\236\220\347\263\273\345\210\227/0.1 Spark Streaming \345\256\236\347\216\260\346\200\235\350\267\257\344\270\216\346\250\241\345\235\227\346\246\202\350\277\260.md" @@ -153,7 +153,7 @@ Spark Streaming 与 Spark Core 的关系可以用下面的经典部件图来表 - 如果数据很细小,就需要 `BlockGenerator` 攒多条数据成一块(4a)、然后再成块存储(4b 或 4c) - 反之就不用攒,直接成块存储(4b 或 4c) - - 这里 Spark Streaming 目前支持两种成块存储方式,一种是由 `blockManagerskManagerBasedBlockHandler` 直接存到 executor 的内存或硬盘,另一种由 `WriteAheadLogBasedBlockHandler` 是同时写 WAL(4c) 和 executor 的内存或硬盘 + - 这里 Spark Streaming 目前支持两种成块存储方式,一种是由 `BlockManagerBasedBlockHandler` 直接存到 executor 的内存或硬盘,另一种由 `WriteAheadLogBasedBlockHandler` 是同时写 WAL(4c) 和 executor 的内存或硬盘 - (5) 每次成块在 executor 存储完毕后,`ReceiverSupervisor` 就会及时上报块数据的 meta 信息给 driver 端的 `ReceiverTracker`;这里的 meta 信息包括数据的标识 id,数据的位置,数据的条数,数据的大小等信息;