一、峰会简介
在产业数字化、数字产业化的今天,云和开源已经共生、共长、共筑了一个数字世界的根。开源与商业化如何更好地结合,我们认为云是其中最重要的一环。云为开源软件的部署和获取提供了更好的环境,在云提供的弹性环境中,用户可以一键获得开源软件与平台的能力。云和开源软件的共生,也使得用户能有更加广阔和灵活的选择,每个人都能够寻找到最适合的开源软件组合来解决自身业务问题。在这个发展的过程中,逐渐形成了云原生的概念。
Apache Flink 作为一款有状态的流式计算引擎,分布式一致性快照是其非常核心的一项技术。Flink 在流计算过程中,定期对状态做快照并持久化,当作业出现异常时可以从最近一次快照进行恢复,以保证业务连续性。因此,能够以更高的频次、更低的成本进行快照,让业务更加流畅,是 Flink 用户的共同诉求。然而在真实生产环境中,特别大规模复杂生产环境中,分布式一致性快照面临着诸多挑战:一方面在反压状态下,网络缓冲拥塞,用于做分布式快照的 Barrier 无法沿数据流向下传输,无法及时触发快照;另一方面,即使能触发快照,需要持久化到远程存储系统的本地状态数据的数据量和上传时间均不可控。上述原因导致用户时常遇到无法在规定时间内生成分布式快照的情况,严重影响业务的稳定性。
二、峰会核心资料清单
主论坛
AI特征工程
核心技术
流批一体
平台建设
生产实践
实时风控
实时湖仓
数据集成
行业案例
三、峰会核心资料截图示例
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。