
早期架构的局限性配资炒股官方
岚图汽车最早以 Hive、Clickhouse 为核心构建了数据平台架构,车辆数据和车机埋点数据从车端传送至岚图云端网关,然后由网关将数据写入 Kafka。该架构在早期满足数据处理需求,但随着车辆销量不断增长,当需要面对每天百亿级别的数据处理分析工作时,架构的问题逐步暴露出来:
数据导入时效性低: 在处理大规模数据时,hive on tez 计算速度慢,另外占用的资源也大;
数据查询分析延迟高: 对于 10 亿级别以上大规模表查询,Hive on tez 查询性能较慢,且占用资源多;Clickhouse 在 Join 场景下,速度也较慢;
运维难度高: Clickhouse 集群运维比较复杂,没有对应的运维管理工具;
早期架构的局限性.PNG
展开剩余60%基于以上痛点,岚图汽车必须进行数据平台改造。
02 技术评估与选型
面对上述痛点,岚图汽车对数据平台底层基础架构进行了改造,并开展了全面的技术调研。调研范围涵盖了 Apache Doris、ClickHouse、Trino、StarRocks 以及 Impala 等主流 OLAP 解决方案。岚图汽车采用了一套 “决策矩阵” 来系统性地评估方案,Apache Doris 最终被选定为岚图汽车的数据分析架构产品。
技术评估与选型.PNG
03 基于 Doris 的新架构和架构选型关注点
经过内部多轮沟通和探索,岚图汽车选择 Apache Doris 作为其核心 OLAP 解决方案,主要基于以下几个关键因素:
卓越的实时分析性能:Doris 能够提供 “极速” 的数据湖分析、高并发查询和强大的实时分析解决方案,直接解决了岚图汽车面临的关键业务痛点;
全面的 Doris Manager 管理工具:官方的 Doris Manager 提供了一站式的集群安装、监控、告警、扩缩容和配置管理能力,极大地提升了运维效率,弥补了早期架构在运维方面的不足;
社区与文档:Apache Doris 拥有活跃的开源社区和详尽的文档,使得岚图能够在短时间内完成 Doris 的部署与集成;
多样化的数据导入能力:Doris 提供了多种数据导入方式配资炒股官方,能够满足岚图汽车离线和实时业务场景;
发布于:湖南省旭胜配资提示:文章来自网络,不代表本站观点。