文章图片
一 2021年双11总结 2021年阿里巴巴双11期间 ， 由CCO+Hologres构建的高可用实时数仓经过2年的迭代 ， 支撑了阿里集团内部从智能到人工 ， 从应用到数据产品 ， 从B/C到内部运营等数10个核心应用场景 ， 并在双11实时大屏、实时监控大盘等多个应用场景全面启动新一代高可用及灾备方案 ， 在Hologres主集群写入峰值达450万+每秒的情况下 ， 还能真正做到数据“0”延迟 ， 服务“0”延迟 。
【湖北|CCO x Hologres：实时数仓高可用架构再次升级，双11大规模落地】相比2020年 ， 今年通过优化实时写入链路 ， 在Binlog消费和维表Join流量翻倍的情况下 ， 同等资源下Hologres Binlog读取峰值达1700万+每秒 ， 整体水位平稳保持正常高吞吐 。 同时今年首次在大促核心场景上线新一代高可用及灾备方案 ， 取消去年使用的双实例+双链路的高成本方式 ， 极大降低人力开发、压测以及运维成本 ， 降低无效双链路任务上百个 ， 减少人力投入50% ， 节约上千cu计算资源 。
下面将会介绍今年是如何在去年基础上进行实时数仓高可用架构升级 ， 并成功大规模落地双11 。
去年精彩回顾：Hologres是如何完美支撑双11智能客服实时数仓的？
二 客户简介 CCO是Chief Customer Officer的缩写 ， 也是阿里巴巴集团客户体验事业部的简称 。 在阿里巴巴经济体内 ， CCO是“客户第一”价值观落地的组织保障 ， 是整个经济体客户体验的神经网络 ， 也是触达消费者和商家的最前线 。 “成为新商业的服务生态摇篮” ， “让体验成为商业的核心竞争力”是我们的愿景 。 凭借着为消费者、商家和经济体提供专业服务的小二 ， 为平台不断挖掘存量客户价值的体验运营专家 ， 为业务发展提供底层支撑的数据、产品和技术人才 ， 我们成为了互联网行业独一无二的数字化服务体验团队 —— 一支有爱有担当 ， 富有创造力的“阿里柔军” 。
三 业务挑战 CCO通过与Hologres高度共建 ， 构建了集实时化、自助化、系统化于一体的用户体验实时数仓 ， 完美助力2020年双11场景 ， 支持上千+服务大屏 ， 削峰30% ， 节约成本近30% 。
但是在2021年 ， 任务规模也相比2020年增长1.5倍 ， 实时数据膨胀2倍以上 ， 如何有效管理数据和资源成为了越来越关键的问题 ， 同时2021年大促期间将会面临更加高并发高吞吐的流量 ， 如何保障实时数仓的高可用 ， 以及保持稳定性和成本的平衡 ， 是今年构建实时数仓的核心挑战 。
2020年双11 ， 为了应对大促的流量洪峰 ， 在高可用方面 ， 我们花费1个月 ， 投入巨大人力成本 ， 来构建双链路+双实例的高可用方案 ， 以下为去年双11的实时数仓架构 。 这个架构虽然支撑了去年双11等各种大促流量洪峰 ， 但是在今年更为复杂的环境和外部更多挑战的情况下 ， 也存在着一定的痛点 ， 主要有以下几个：
浪费资源：数据同时写入多个实例 ， 满足主备要求 ， 既浪费了计算资源 ， 也浪费了存储资源 ， 同时也额外增加了业务的开发成本和运维成本 。无法高效保证主备链路数据一致性：在数据双写时 ， 当某个实例因为因为种种原因出现延迟时 ， 无法与另外一个实例保持完整的数据一致性 ， 无法做到真正的高可靠 。运维复杂：双链路意味着需要采用两套架构 ， 虽然搭建逻辑以及开发逻辑都一致 ， 但是当对主链路进行运维发布（如升降配 ， bug fixed等）或者逻辑修改时 ， 牵一发而动全身 ， 还需要同时维护备链路 ， 操作比较复杂 ， 运维链路长 。
相关经验推荐
- 湖北|家庭网络怎么布线怎么安装？电信装维师傅分享给大家
- 湖北|vivo坚持性价比，满血骁龙芯+LCD屏+五千毫安，仅1429元
- 湖北|电脑固态硬盘和500G硬盘有什么区别吗？
- 5g手机|BaroccoMistel密斯特MD770分体式机械键盘拆解简评
- OPPO|OPPO牵头！智慧车联开放联盟ICCOA正式成立，车机互融生态稳了？
- 瑞丰光电|瑞丰光电Mini/Micro LED湖北生产基地开工