大数据时代下的“双十一”是如何运转的?

科技工作者之家  |   2017-11-07 14:58

20171107145320_0af040.jpg

2010年,9.36亿;2011年,52亿;2012年,191亿;直到2015年,差一点破千亿;那么2017年呢?

看似简单的场景和惊人的数字背后,不仅是买卖双方的狂欢,更是技术层面的日新月异和突飞猛进。

牵涉到的是包括支付、架构、数据库、网络、运维、电力、客服、物流等整个商业配套基础设施的协同和考验,它所动员的力量本质上和发动一场战争并没有本质区别。

每年这一天,于普通老百姓是一次消费的狂欢,对杭州,乃至这个国家,则是信息科技的一次集中检阅和展示。

2017年的双十一马上揭幕,它给技术提出的新要求刚刚开始。

云计算

云上的奇迹

18秒过亿,1分12秒过十亿,12分28秒过百亿……为了支撑双11惊人的交易量,阿里搭建了全球最大规模的混合云架构。阿里巴巴也成为全球首个将核心交易系统上云的大型互联网公司。

“我们用中国的计算力量支撑了商业史上的一个又一个新纪录。而这些世界顶尖的技术,正在通过阿里云加速向外输出。我们希望将这些技术变成普惠科技,以此催生1万个阿里巴巴”,阿里云总裁胡晓明说,“将淘宝、天猫、支付宝这么庞大、复杂、跟钱紧密关联的系统搬到云上,除了我们全世界还没有第二家,这包括全球互联网巨头和云计算公司。”

铁路售票官方网站12306面对的是同双十一相似的问题,同样采用了阿里云技术构建起了庞大的混合云。2015年春运售票高峰期,阿里云公共计算平台分流了12306高达75%的余票查询流量。

每年双11,阿里都需要新建淘宝和天猫的交易单元,与原有的系统一起“协同作战”。以往,至少需要提前1个月的时间。现在通过采用“一键建站”技术,使得这项费时费力的巨大工程,得以在90分钟之内自动化完成。

“这些技术正在变成阿里云上的标准化产品向外输出。”胡晓明说,未来将进一步缩短技术输出的“时差”,把通过大规模业务验证的技术尽快分享给全球的创新创业者。

一举创造4项世界纪录阿里云大数据处理平台ODPS就是其中的典型。ODPS最早用于支撑阿里系内部所有大数据处理工作,而现在外部开发者可享受同阿里工程师无差别的技术体验。

阿里巴巴生态体系中的商家是阿里云计算能力的最早一批获益者。早在2012年,搭建在阿里云之上的“聚石塔”就开始帮助双11商家处理海量订单。2014年,聚石塔处理了96%的双11订单,无一故障、无一漏单;2015年这一比例更是提升到99%左右。

很多创新创业公司正在借助阿里云的计算能力向下一个阿里巴巴迈进。众安保险是中国第一个搭建在云上的金融公司,只用了17个月时间估值就达到了500亿。早在2014年,众安保险依托于阿里云的支撑,共售出了1.86亿份退运费险,平均每分钟处理9.7万个保单,创下全球保险业纪录。

数据库

告别“人肉”体系,“蚂云”计划启动

蚂蚁金服首席技术架构师胡喜清楚地记得,2010年的双十一,在华星时代广场裙楼4楼,大促那几天,技术部几百号人7×24小时坐在那儿,所有人盯着电脑看系统,有问题立马就要应急,不行就重启机器,容量不行就加机器,他们像一个个“人肉云计算”。

双十一当天,临近凌晨,大家都以为终于扛过去了,结果最后一个小时高峰突然出现,数据出现了容量问题。离结束还有半小时,停止了在同一个库上的会计系统,腾出50%容量,这才让那个双十一有惊无险安然度过。

而这两年,双十一对于胡喜他们而言,已经越来越日常化了。

在2010年以前,中国绝大多数金融机构在数据库上重度依赖于国外的厂商。这样的技术架构稳定而且可靠,但是可扩展性和灵活性有限,很难应对互联网一些突发的运营活动要求。阿里开始自主研发数据库,决定不再采购任何一台商业设备,尝试一种新的对策——分布式“异地多活”的架构。

基于金融云自主研发的新一代弹性架构,能够利用全国多个城市的云计算资源,可以稳定支持16万笔/秒的支付,理论上可以做到每秒百万级的交易支付能力。这种在金融交易方面的处理能力现在全球领先。

在10月份的云栖大会上,蚂蚁金服宣布和阿里云一起推出“蚂云计划”,目标是为全球五万家金融机构提供金融云计算综合解决方案服务。如印度版支付宝Paytm,是阿里的投资公司和合作伙伴,整个基础设施用的就是蚂蚁金服的这套分布式的系统。

在双十一的前三四年,阿里要举全公司力量的70%—80%去做技术保障。2016年,蚂蚁平台数据技术事业群3000多人,加入双十一技术保障的不到30人。

10年前,阿里技术部定的目标是每年成本投入比前一年要降30%—50%左右,到2019年,不再花一分钱投入到双十一的技术保障上。

近三十年来,世界商业数据库市场一直为国外的商业软件巨头IBM、ORACLE、微软所垄断。虽然近10年来,部分国产数据库厂商一直在努力追赶,但由于其企业规模小,产品在核心能力及成熟度等方面存在明显短板,一直未能对商业数据库市场、特别是中高端市场形成有效冲击。

作为目前业内第一个用于金融核心业务的国产关系数据库,阿里的OceanBase在高端金融领域打破了传统商业数据库的垄断,为金融科技的国产

未来的几天,百世云仓位于杭州下沙的仓库里最忙碌的身影除了员工外,还将加入在货架中穿梭不停的机器人们。

百世供应链销售与市场总监钱凯南介绍,此次投入应用的智能化仓储机器人能在负重1000KG货物的情况下实现1.5米/秒的行走。机器人可以利用自身的大数据分析系统和超强的学习力对任何仓库模式进行极高的适配。

实际上,基于大数据和云计算等信息技术实现货物从商品订单的接收、智能波次创建、订单分拣、到验货包装、发运出库等整套流程都实现智能化,是物流企业孜孜以求的目标。

京东“无人仓”十几天前揭开了神秘的面纱,其中京东自己研发的智能搬运机器人AGV、SHUTTLE货架穿梭车、DELTA分拣机器人将陆续投入使用。

在“6·18”京东无人机农村送货运营后,双十一亮相的,不仅拥有自主研发的无人机新机型,9月开始路试的京东无人配送车也会在当天开始运营,为北京部分用户进行配送。

2016年,国家邮政局初步预测,双十一期间,全行业处理的邮件(快件)业务量将超过10.5亿件,比2015年同期增长35%。

2013年双十一发送包裹过1亿用了两天,2014年只用了24个小时,到2015年提速到16个小时。从签收时间看,2013年包裹签收过1亿用了9天,2014年用了6天,到2015年提速到了4天。

一年一度的双十一不仅是电商和消费者的盛宴,也给快递行业带来无限的机遇。随着双十一和电商的高速发展,中国已经成长出了一批世界级的快递物流公司,仅用了五年,单个快递公司日均处理快递包裹量已经从100万单跃升到1000万单级别。

有券商分析报告称,每年的双十一作为考验快递业应对极限峰值的测试,都在推动快递企业运营能力进行系统性升级。在包裹量高速增加的环境下,每年的双11峰值都将成为各大快递公司第二年的常态水平,形成行业良性循环、支撑快递业务量保持较高增速。

到2016年为止,快递业已经连续5年增幅超过50%,成为中国增速最高的行业之一。

过去10年看电商,未来10年看物流。可以预见到,随着政策和制度红利预期的大规模释放,大数据和智能化的渗透、基础交通设施的建设和消费升级,快递行业将迎来黄金发展十年。

其中,科技成为决定物流企业未来发展的核心竞争力。

物流机器人员工

未来应用黑科技快跑

菜鸟小G总设计师陈俊波希望,未来小G能帮助快递员缓解末端配送压力。他同时表示,小G将会不断升级,拥有应变自如的能力,拓展更多的功能,引领全球物流配送机器人发展。

小G是一个末端配送机器人,身高1米左右,大概能装10-20个包裹。只要通过手机向小G发出服务需求,他便会规划最优配送路径,将物品送到指定位置,用户可通过电子扫描签收。

强大的算法让小G拥有像人类一样思考的能力,它会观察周边的复杂环境,并在系统中建立自己所看到的多维世界。走在路上,小G也能动态识别环境的变化,它不仅能识别路上的行人、车辆,还可以自己乘坐电梯,甚至它能够感知到电梯的拥挤程度,它是绝对不会跟人抢电梯的。

小G执行任务的背后,是研发团队突破了自主感知、智能识别、运动规划等多项关键技术,实现智能化的末端配送。小G不仅是中国自主研发的机器人,也是全球物流行业最先进的机器人之一。

目前,这款机器人正在阿里巴巴位于杭州西溪湿地的总部熟悉环境,届时,数台菜鸟智能配送机器人将协同运作,在数十万平方米的阿里巴巴园区为上万名员工提供智能包裹投递服务。

随着AR\VR技术的兴起,众多物流企业开始探索虚拟现实、虚拟增强技术在物流行业应用的可能性。在现场,只要带上AR眼镜,打开操作系统,就可接到源源不断的订单,系统会指导工作人员按照最优路线行走,迅速找到货架上的商品,并进行合作扫描等操作。11月1日,淘宝Buy+计划上线,阿里巴巴蓄谋已久的VR购物终于正式走向消费者,同时也在VR圈内掀起了一阵热潮。尽管外界普遍认为VR购物的趋势三年之内还难以普及,但都同意VR结合AR、MR未来会有更好的发展。

菜鸟小鹫是很好玩的高科技,是智慧物流领域的探索者和引跑者,也是业界首款无人机智能安防巡检系统。能够在预先设定的安防巡检任务路径上完成自主起飞、巡航、降落动作。菜鸟小鹫无人机智能安防巡检系统能够将园区巡检从原来人工巡检一次2小时缩减到现在无人机巡检一圈10分钟以内。

京东即将投入使用的AGV系统由中央控制几百台机器人同时工作,通过高效的排班和指派算法实现机器人之间、机器人和人之间的无缝对接。一个传统的人运作的物流仓库,只需要做很小的改动就可以实现自动化。单仓人均每天处理订单数预计效果能提高100%。

更多的黑科技正从未来向我们跑来。

爆发点

没有双十一就没有某些技术的赶超?

当我们谈论双十一的时候,我们在谈论些什么?

无论是大数据,还是云计算,抑或是智慧经济,在杭州,乃至中国,不提到阿里巴巴是无法想象的,龙头企业的示范和带动效应可以无限放大。

由阿里巴巴领航的中国电子商务,不但改变了中国传统的商业模式和业态,还给它所在的城市带来了无法想象的发展空间。

杭州正在建设“国际电子商务中心”,大力发展移动电子商务,推动线上线下融合发展,正是这种颠覆模式带来的效应。

电子商务的发展带动了物流发展,杭州正在建设“全国智慧物流中心”,支持发展国家交通运输物流公共信息平台、跨境电子商务配送平台等重大现代物流项目;完善中心商务区、居民区、高教园区、产业园区网购商品投送公共设施和农村网络代购网点。

有了国际电子商务中心,杭州还在打造“全国互联网金融创新中心”,支持发展第三方支付、网络支付、小额信贷、网络众筹、网络理财、网络保险等互联网金融服务,探索跨境电商支付和结算业务。

此外,杭州还在建设“全国云计算和大数据产业中心”“全国物联网产业中心”以及“全国数字内容产业中心”,打造全国一流的数字媒体基地、数字阅读基地和数字出版产业基地,建设全国最大新媒体版权内容库和功能强大的新媒体运营服务云平台。

除了正在打造的六个中心,杭州跨境贸易示范区将充分发挥杭州电子商务服务业优势,推动网上贸易全球化、便利化、规范化发展。

正是围绕杭州日新月异的信息经济发展,这几年,杭州吸引了越来越多的国际商业巨头,尤其是互联网巨头到杭州投资研发。

阿里巴巴双十一技术总指挥刘振飞认为:“双十一不仅是一场全球消费者的狂欢,也是对中国互联网技术体系的实力检验。一下子几千万人涌进来买买买,这种真实的商业场景全世界一年也只有一次。技术人员用世界级的技术创新,支撑世界级的经济现象。这是很幸运的。”

某种意义上来说,没有老百姓爆买的双十一,也许就没有今天中国在互联网技术上的各种先驱般的探索和赶超。

来源:杭州网

相关推荐 换一换

  • 王彪
    0
    ?
  • 张存岭
    0
    大数据,云计算,新科技革命
  • 张刚
    0
    ?
  • 童洁
    0
    ?
  • 任声权
    0
    ?
  • 蔡武
    0
    ?
  • 李东伟
    0
    ?
  • 车利锋
    0
    ?
没有更多了