您的位置: 首页 > 技术杂谈 > 正文

火山引擎发布流式计算 Flink 产品，助力构建大数据实时计算平台

2023-04-19 16:00 https://my.oschina.net/u/5941630/blog/8671262 字节跳动云原生计算次阅读条评论

大数据是企业数字化转型中，支撑企业经营和业绩增长的主要手段之一。而实时化、云原生化已经成为大数据技术发展的必然趋势。

4月18日，火山引擎春季 FORCE 原动力大会在上海举办。在会上，火山引擎发布了云原生大数据实时计算平台产品——流式计算 Flink 版。脱胎于字节跳动在业界最大规模的实时计算集群实践，流式计算 Flink 产品在诸如实时 ETL、实时数仓/湖、实时机器学习、实时风控等场景中均有所探索，帮助客户构建云上增长新动力，助力业务敏捷创新。

字节实践 - 日常峰值百亿 QPS

从 2017 年开始，字节跳动开始尝试使用 Flink 作为主要的流式计算引擎。在此后的两年时间，流式计算团队支撑了字节内部实时样本拼接、模型训练和推荐算法实时化等业务，更是完成了公司内 JStorm 作业的 100% 迁移。到 2019 年，字节内部 Flink 的应用迅速扩大，几乎覆盖包括抖音、头条、西瓜在内的各个产品。与此同时，团队开始积极参与到社区的共建中，在 2020 年李本超同学受邀成为 Apache Flink Committer。近两年，团队在 Flink OLAP 方向也进行了不少探索。在调度、运行时、SQL 等各个方面都进行了全方面的优化，极大提升性能，单集群可支持 200+ QPS，目前已经在 User Growth、飞书、电商等十多个业务场景落地，每天的查询规模超过 50W 次。

截止目前，基于流式计算 Flink 构建的实时业务场景已经涉及到字节几乎所有的业务和产品，包括实时数仓、实时风控、商业化、电商、游戏、小说、教育、房产、财经等， 日常实时峰值超 100 亿 QPS。与此同时 流批一体在视频云、实时计数特征、电商、SQL数据同步等场景均得到了广泛的使用和落地，已上线 6K+ Flink Batch SQL 任务。

企业级增强 - 流式计算 Flink 版

火山引擎流式计算 Flink 版依托于字节跳动在业内最大规模实时计算集群实践。火山引擎流式计算 Flink 版基于火山引擎容器服务（VKE/VCI），提供 Serverless 极致弹性，是开箱即用的 新一代 云原生 全托管 实时计算平台。在 100% 兼容开源 Flink 的前提下，深度优化 30+ 企业级产品功能增强，包含以下特性：

开发效率提升。流式计算 Flink 版支持算子级别 Debug 输出、Queryable State、Temporal Table Function DDL，在开发效率上对开源版本 Flink 有显著提升。
可靠性提升。流式计算 Flink 版针对单个 Task 进行 Checkpoint，提高了大并发下的 Checkpoint 成功率。单点任务恢复和节点黑名单机制功能，保障了对故障节点的快速响应，避免业务整体重启。
Serverless 云原生 架构。极致弹性，1‰ 核精细调度。
易用性增强。极简 SQL 开发，开箱即用、免运维、支持流式数据全生命周期管理。
高性能低价格。高性价比、高 SLA 保证、超低 TCO。