九游会(J9)股份有限公司-官方网站

J9九游会(J9)股份有限公司 - 全球火山弹追踪技术领军者 | 20年高危地质数据服务

火山引擎 ByteHouse:两个关键技术揭秘 OLAP引擎中的数据导入技术

发布时间:2025-05-16人气:

  数据导入是衡量 OLAP 引擎性能及易用性的重要标准之一,高效的数据导入能力能够加速数据实时处理和分析的效率。

  作为一款 OLAP 引擎,火山引擎云原生数据仓库 ByteHouse 源于开源 ClickHouse,在字节跳动多年打磨下,提供更丰富的能力和更强性能,能为用户带来极速分析体验,支撑实时数据分析和海量离线数据分析,具备便捷的弹性扩缩容能力,极致的分析性能和丰富的企业级特性。

  随着 ByteHouse 内外部用户规模不断扩大, 越来越多用户对数据导入提出更高的要求,这也为 ByteHouse 的数据导入能力带来了更大的挑战。

  j9九游会入口

  j9九游会入口

  从字节跳动内部来看,ByteHouse 主要还是以 Kafka 为实时导入的主要数据源。对于大部分内部用户而言,其数据体量偏大,用户更看重数据导入的性能、服务的稳定性以及导入能力的可扩展性。

  在数据延时性方面,用户的需求一般为秒级左右。基于以上场景和需求,ByteHouse 也进行了一系列定制性优化,主要包括两个方面,第一为 MaterializedMySQL 增强;第二个是 HaKafka 引擎。

  而 HaKafka 引擎则是 ByteHouse 推出的一种特殊的表引擎,主要基于 ClickHouse 社区的 Kafka engine 进行了优化。用户可以通过一个 Kafka 消费表、分布式存储表、物化视图表,三元组实现数据消费、数据转换、数据写入功能。

  9 月 16 日 14:00,火山引擎开发者社区与超话数据联合举办的线下沙龙,将邀请到火山引擎 ByteHouse 产品专家围绕《基于 ByteHouse 引擎的增强型数据导入技术实践》展开分享,为大家揭秘 MaterializedMySQL 和 HaKafka 的设计原理和技术实现,教你如何更好在 OLAP 引擎中完成高性能、高易用性的数据导入。

九游会(J9)股份有限公司
九游会(J9)股份有限公司
联系地址
地址:辽宁省大连市甘井子区华北路汇利北园1号楼1510室
联系方式
  • 联系电话:0411-84801941
  • 联系邮箱:852962302@qq.com
微信二维码

Copyright © 2025 九游会(J9)股份有限公司 版权所  备案号:辽ICP备2024029092号-1

微信二维码扫一扫咨询微信客服
在线客服
服务热线

服务热线

0411-84801941

微信咨询
微信二维码
返回顶部