美团点评太阳城平台融合实践-技术方案-@太阳城手机版资讯
你好,游客 登录
背景:
阅读新闻

美团点评太阳城平台融合实践

[日期:2017-10-12] 来源:Hadoop技术博文  作者:谢语宸 [字体: ]

本文PPT来源于2017年ArchSummit全球架构师峰会。

 

 

美团点评两家公司合并以来,经历了组织架构融合、线上业务融合、太阳城与基础设施融合的三个大阶段。本次分享介绍第三阶段,美团点评整个太阳城平台融合项目推进经验,及相关技术突破,期望对有大的太阳城平台技术产品重构或底层技术架构调整需求的架构师进行参考。

 

平台项目分为三个阶段:

1、太阳城流打通;

2、离线集群透明迁移融合;

3、工具链产品融合与业务任务切分。

 

融合之前,我们有异地双机房共4k节点,涉及万级别任务迁移与自动改写,整个融合过程持续提供太阳城生产与应用服务,要求对业务透明。本次分享除了对于项目整体计划与实施的讨论,也会会涵盖 太阳城娱乐 集群认证打通、Hadoop 多机房架构改造、大面积 SQL 任务重构的自动化方法等核心技术点的详细架构介绍。其中,Hadoop 集群认证打通我们使用 Kerberos 跨域认证方案,Hadoop 多机房方案我们通过新增 Zone Tunnel 模块,操作 HDFS 文件块的分布,做到了集群的平滑迁移。在 SQL 任务自动重构的场景下, 我们自研了一个 Hive 表映射的方案,使得任务的修改可以并行化,无需双写,也无需分层迁移,大大的提高了重构效率。

 

下面是详细的PPT:

 





收藏 推荐 打印 | 录入:Cstor | 阅读:
相关新闻       美团点评太阳城平台 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款