易到吧 关注:95,050贴子:71,524
  • 13回复贴,共1

业务量暴增50倍之易到数据库成长烦恼

只看楼主收藏回复

最近,易到用车的新闻很多也很劲爆,获得网约车牌照,被消协约谈,创始团队集体辞职,被爆资金匮乏等等,危机不断。但这些都与技术无关,也不能否认易到用车曾经的辉煌,至少在2016年7月,易到用车日订单破百万,仅次于滴滴。业务量的暴增让易到的数据库压力剧增,也经历了成长的烦恼,而这个过程中易到数据库演化/迭代的过程和思路,相信对DBA们还是颇具参考价值。
  5月11日,第八届中国数据库技术大会(DTCC 2017)在北京国际会议中心拉开帷幕。作为国内数据库与大数据领域最大规模的技术盛宴,本次大会吸引了近5000名IT人士参会。
  在11日下午的分会场,来自易到用车数据库总监徐海鹏分享了主题为《年业务量暴涨50倍之数据库成长烦恼》。
徐海鹏,有着17年数据库部门管理经验,先后任职于美国DoubleClick、加拿大保险局,后因为情怀和机缘, 回到中国并出任易到数据库总监。
  早期的易到作为共享出行的先行者,从2015年的日均2万单迅速发展到去年巅峰时期的百万单, 经历了50倍的暴涨。这是一个典型的互联网公司高速成长期系统演化案例。易到用车如何用非常有限的资源, 通过引入各种成熟的方案, 在短期内取得巨大的提升的?
  徐海鹏在演讲时说,最初的易到面对业务量暴增,应对方式很简单粗暴,靠不断堆砌服务器来提升数据库的处理能力。而易到初期的系统架构也非常简单,3级系统分别是app层,服务层,数据库层。这种模式下带来的问题是,数据库高度耦合, 成为系统瓶颈。难扩展,垂直扩展的路走到尽头。系统容易产生雪崩效应。主从复制的性能低下, 容易产生高延迟, 影响系统可用性。
  因此,最终为了解决这些问题,徐海鹏带领团队痛下决心,拆。其过程主要分为二个阶段。
  而第一阶段,首先进行的是解耦、拆分。对业务模块解耦,引入Redis缓存、MariaDB、数据库水平扩展、分库分表。其中数据库水平拆分,最高1024个分库和分表。按用户ID、司机ID和汇总表三个维度分库,新系统提供的接口与老系统完全一致新老系统并存,通过Proxy分流,逐步将流量切到新系统,最终新系统完全取代老系统,实现平滑升级。
  经过第一阶段解耦、拆分效果是显著的。

▲第一阶段成果
  第二阶段,全面优化主要包含:冷热数据分离、数据抽取优化、精细化数据库管理、高可用实施、NoSQL应用。
  冷热数据分离,一级存储使用SSD磁盘的OLTP, 3个月数据。二级存储使用SAS的低成本数据库,保存2年的交易数据和日志。三级存储压缩文件存储系统,保存需要永久保存的交易数据。通过自己开发的数据库脚本,来每天退出线上数据。
  高可用实施,经过多个方案的比较, 采取MHA+keepalived 方案,可用性标准从3个9提升至4个9。

▲第二阶段成果
  最后,徐海鹏强调,作为DBA不能等到出现数据问题, 才去排查,那个时候往往已经造成了较大后果,需要根据数据间的一致性逻辑, 进行校验及时发现纠正问题。


1楼2017-05-12 14:01回复
    好文章,顶起来


    IP属地:广东来自手机贴吧2楼2017-05-12 15:44
    收起回复
      赚钱多的竟然也有烦恼,奇葩啊


      来自Android客户端3楼2017-05-12 15:53
      回复
        良心,早已泯灭!


        IP属地:福建来自iPhone客户端5楼2017-05-12 18:45
        回复
          没脑子


          来自Android客户端6楼2017-05-12 18:48
          回复
            哈哈哈


            IP属地:湖北7楼2017-05-15 17:04
            回复
              活在梦里


              来自Android客户端8楼2017-05-16 15:33
              回复
                烦恼是挺多,那天乐视倒闭,你这易到员工工资能发你不。


                IP属地:浙江9楼2017-05-16 16:22
                回复
                  ***不敢当水军了 一天发这些逼文章


                  来自iPhone客户端11楼2017-06-07 14:39
                  回复
                    徐海鹏是个骗色的骗子 开除的好啊!


                    IP属地:山东13楼2017-06-15 13:47
                    收起回复