【 Github地址:https://github.com/642933588/jiron-cloud 】
【 Gitee 地址:https://gitee.com/642933588/jiron-cloud 】
【 推荐实时数仓(数据湖)项目:https://github.com/Mrkuhuo/data-warehouse-learning 】
【 公众号】Jiron开源
这是一款功能全面的数据开发平台。平台提供了强大的数据集成、数据开发、数据查询、数据服务、数据质量管理、工作流调度和元数据管理功能。dinky ,dolphinscheduler ,datavines ,flinkcdc ,openmetadata ,flink ,数据开发 ,数据平台 ,数据开发平台 ,大数据
- 数据质量监控:定义和执行数据质量规则,如空值检测、重复值检测、范围检查等,确保数据的准确性和完整性。
- 告警和通知:当数据质量出现问题时,Datavines 通过电子邮件、短信等方式发送告警通知,确保相关人员能够及时响应和处理问题。
- 数据治理:支持数据分类、标签和权限管理,确保数据的合规性和安全性。
- 数据质量报告:生成详细的数据质量报告,帮助用户了解和改进数据质量。
- 分布式架构:处理大规模的数据处理任务,确保系统的高可用性和扩展性。
- 任务依赖管理:定义复杂的任务依赖关系,确保任务按照预定的顺序执行。
- 丰富的任务类型:支持多种类型的任务,包括 Shell、Python 脚本、SQL、MapReduce、Spark、Flink 等。
- 可视化工作流设计:提供直观的图形化用户界面,通过拖拽方式设计和配置工作流。
- 任务调度:支持灵活的调度策略,包括定时调度、依赖触发、手动触发等。
- 任务监控与告警:实时监控任务的执行状态,并提供告警通知功能,确保问题及时处理。
- 资源管理:管理任务所需的资源,确保资源合理分配和使用。
- 元数据管理:捕获和存储各种数据资产的元数据,包括表、列、数据集、仪表板、机器学习模型等。
- 数据发现:提供强大的数据发现工具,帮助用户搜索和发现企业内的数据资源。
- 数据血缘分析:支持详细的数据血缘分析,显示数据的来源和流向,提高数据透明度。
- 数据治理:定义和执行数据治理策略,包括数据分类、标签、访问控制、合规性检查等。
- 数据质量管理:与 Datavines 集成,监控和管理数据质量,检测数据中的错误和异常。
- 集成与互操作性:支持与多种数据源和数据工具的集成,适应多样化的数据环境。
- API 和 SDK:提供丰富的 API 和 SDK,支持开发者扩展和定制功能。
- 可视化界面:提供用户友好的可视化界面,便于浏览和管理元数据,查看数据血缘关系图,配置数据治理策略等。
- 实时数据处理:Dinky 提供了强大的实时数据处理能力,支持 Flink 等流处理框架。
- 实时计算任务:用户可以定义和执行实时计算任务,处理实时数据流。
- 数据集成:支持多种数据源和目标,能够将实时数据流集成到不同的数据系统中。
- 可视化开发:提供直观的图形化界面,用户可以通过拖拽方式设计和配置实时计算任务。
- 监控与告警:实时监控数据流处理状态,并在出现异常时提供告警通知。
- 高可用性:设计了高可用性和容错机制,确保实时数据处理的稳定性和可靠性。
- 多数据源支持:支持多种数据源的集成,包括数据库、API、文件系统等,能够灵活应对不同的数据来源。
- 多执行引擎支持:支持多种执行引擎,包括 DataX、Sqoop、Flink CDC,满足不同场景的数据同步需求。
- 全库同步:支持整个数据库的同步,方便全面的数据迁移和复制。
- 多表同步:支持多表同步,简化复杂的数据集成任务。
- 全量和增量同步:提供全量和增量同步功能,实现数据的一体化同步。
- 断点续传:支持断点续传机制,确保数据集成过程的可靠性和稳定性。
- 灵活高效的数据查询:基于 Kyuubi 提供灵活高效的数据查询功能,支持 SQL 和非 SQL 查询,满足各种数据检索需求。
- 多数据源支持:支持多种数据源的数据查询,适用于不同的数据存储系统。
- 高性能:优化的查询引擎,确保数据查询的高性能和低延迟。
- 集成多种数据分析工具:集成多种数据分析和可视化工具,帮助用户快速获取洞见。
- 可视化分析:提供丰富的可视化组件,用户可以通过图表、仪表板等方式展示分析结果。
- 高级分析功能:支持机器学习模型、统计分析等高级分析功能,满足复杂数据分析需求。
- 数据服务接口:提供数据服务接口,支持 RESTful API 和 GraphQL,方便数据的对外提供和集成。
- 灵活的数据访问:通过 API 提供灵活的数据访问方式,满足不同应用和系统的集成需求。
- 高可用性和安全性:设计了高可用性和安全性机制,确保数据服务的可靠性和数据的安全性。
Jiron演示环境体验
- 关注公众号【Jiron开源】 扫码关注公众号,即可获取演示环境的访问地址及账号信息,第一时间体验Jiron数据开发平台的强大功能。
![image](https://private-user-images.githubusercontent.com/10755257/360814546-777b3ddf-f479-44c0-aa02-568856cd7958.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MzkxMzIwMjAsIm5iZiI6MTczOTEzMTcyMCwicGF0aCI6Ii8xMDc1NTI1Ny8zNjA4MTQ1NDYtNzc3YjNkZGYtZjQ3OS00NGMwLWFhMDItNTY4ODU2Y2Q3OTU4LnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNTAyMDklMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjUwMjA5VDIwMDg0MFomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTczZjAxMGRiZWI2MGM4NDdlMTk0NzI3NTUxMmYwNzA4MWY4Yjc1ZTlhNDNkZTk2OTU3ODRhYmFlMzQwYTQzMTAmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0In0.ftN-7sP_KsoDqIXTSKO2FvwE_pX-Zt7f0ZU0n8gBenw)
- 加入知识星球,解锁 Jiron 数据开发平台,详尽安装与部署步骤,助你极速起飞! 加入我们的知识星球社区,即可获取完整的Jiron平台本地部署文件,轻松在本地搭建专属环境,深入体验Jiron数据开发平台。
![image](https://private-user-images.githubusercontent.com/10755257/365508774-8dc77cd1-f43b-4c55-8c31-7b081c012069.jpg?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MzkxMzIwMjAsIm5iZiI6MTczOTEzMTcyMCwicGF0aCI6Ii8xMDc1NTI1Ny8zNjU1MDg3NzQtOGRjNzdjZDEtZjQzYi00YzU1LThjMzEtN2IwODFjMDEyMDY5LmpwZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNTAyMDklMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjUwMjA5VDIwMDg0MFomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPWVjMzM0NzExNzc2NDVhMGFkNTYxYTZlNjE2NDY1ODM5YzgyMWNjMDc5Mjc1ODM0ZjE3NGYxMmNjNDkwMDg1YWUmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0In0.uW8jH0YNcyXmY0UbjPMzy52fBFYfozlypa_qLuQqdQc)
想要随时获取最新功能更新、案例分享和技术干货,快来加入我们的社群吧!
我们欢迎任何形式的贡献!如果你有好的建议或发现了问题,请提交一个 Issue 或 Pull Request。
本项目采用 apache-2.0 license 许可证。详情请参阅 LICENSE。
- 邮箱: [email protected](qq同号)
- v信号:smallfortheuniverse (加v请注明来意)
![image](https://private-user-images.githubusercontent.com/10755257/360813780-114c715d-d38e-46aa-af36-df8d518939eb.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MzkxMzIwMjAsIm5iZiI6MTczOTEzMTcyMCwicGF0aCI6Ii8xMDc1NTI1Ny8zNjA4MTM3ODAtMTE0YzcxNWQtZDM4ZS00NmFhLWFmMzYtZGY4ZDUxODkzOWViLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNTAyMDklMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjUwMjA5VDIwMDg0MFomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTBjYTk4YTkzNmRlY2YwNWZlN2M5MTA2ZmJmNjA2YTdmMjMxNGE3ZGNjMmZiMjBkYTE0YmMzNTZmZTM3N2Y4NmEmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0In0.qvAEbnISvmU3TbaXtpenHE1gERTSyw5Hs_OenZPAM04)