English | 中文
Make stream processing easier
一个神奇的框架,让流处理更简单。
实时即未来,在实时处理流域 Apache Spark
和 Apache Flink
是一个伟大的进步,尤其是 Apache Flink
被普遍认为是下一代大数据流计算引擎。我们在使用 Flink
& Spark
时发现从编程模型、参数配置到项目部署、运维管理都有很多可以抽象共用的地方,我们将一些好的经验固化下来并结合业内的最佳实践。通过不断努力,终于诞生了今天的框架 —— StreamPark
。项目的初衷是 —— 让流处理更简单。
使用 StreamPark
开发,可以极大降低学习成本和开发门槛,让开发者只用关心最核心的业务。StreamPark
规范了项目的配置,鼓励函数式编程,定义了最佳的编程方式,提供了一系列开箱即用的 Connectors
,标准化了配置、开发、测试、部署、监控、运维的整个过程,提供了 Scala/Java 两套 API,其最终目的是打造一个一站式大数据平台,流批一体、湖仓一体的解决方案。
- Apache Flink & Spark 开发脚手架
- 提供了一系列开箱即用的 Connectors
- 支持项目编译功能(Maven 编译)
- 多版本 Flink & Spark 支持
- Scala 2.11 / 2.12 支持
- 一站式的流任务管理平台
- 支持不限于 Catalog、OLAP、streaming-warehouse
- ...
请查看官网文档了解更多使用信息
诸多公司和组织将 StreamPark 用于研究、生产和商业产品中,如果您也在使用 ? 可以在这里添加
我们获得了一些珍贵的荣誉,这份荣誉属于参加建设 StreamPark 的每一位朋友,谢谢大家!
如果你希望参与贡献 欢迎 Pull Request,或给我们 报告 Bug。
强烈推荐阅读 《提问的智慧》(本指南不提供此项目的实际支持服务!)、《如何有效地报告 Bug》、《如何向开源项目提交无法解答的问题》,更好的问题更容易获得帮助。
感谢所有向 StreamPark 贡献的朋友!