您好!欢迎访问北京赛车投注平台! 2018年05月16日   星期三
VIP登录 热线电话:010-86008600
当前位置: 北京赛车投注平台 > 北京赛车资讯 > 权威推荐 >

权威推荐

流计算引擎在失败的时候能更快速修复


发布时间:2018-09-28 23:16    来源:未知    阅读次数:()

  很多人都听说过Dcoker获得了IBM、微软、惠普、腾讯等企业的支持,其中Docker在腾讯英雄联盟游戏中的表现更让很多人都坚信,以Docker为代表的容器必然在不久的将来彻底代替虚拟机。

  我们不清楚火星人怎么能如此迅速又悄无声息地杀死人类,许多...

  通过在线匹配语料库,以及云服务器的处理速度,可在最短时间里分析处理语音指令,为安全出行在车辆操作上提供技术保障。

  近来,中国高科技武器再度井喷。首先是歼31亮相珠海中国国际...

  取一张一百元的人民币, 拿有验钞功能的紫外线手电筒照射水印...

  对于很多程序员来说,或许还不够了解容器,但一定听说过Docker。Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,Docker称之为:Buildonce,Runanywhere。

  自容器概念兴起,就有很多人认为:容器将取代虚拟机,容器作为虚拟化2.0概念获得企业和开发者的关注。笔者认为,容器非但不会取代虚拟机,相反,北京赛车网站:二者或将形成一种互为补充的姿态,优化企业的IT体系。

  因此成熟的语音识别技术尤为重要,而车载终端的存储能力与运算能力都无法解决好非固定命令的语音识别技术,因此需要强大的语料库及终端运算能力来应付日常需求,而这难点正好对应车联网系统中的云端概念,即云识别技术。

  我们没有做到自动的扩容缩容和系统自愈,我们调研一下,其实也可以自己做,还是不想跟业界脱离出来,我们进来比较早,我们并不是引领这个潮流的,我们是FLOW这个潮流的,接下来我们在Kubernetes引入Swarn。我们现在做这些事情非常缺人手,有同学感兴趣把简历发给我,谢谢,这就是我今天的演讲。

  目前的语音控制系统,多功能方向盘等设计均是简化驾驶员操作的便捷设计,然而,无论多简洁的触摸操作终端系统,在行车过程中都是具有危险性的。

  央视都曝光这么久了,为什么刘庄路还是有卖激光灯的。由于之...

  上海,20日,Bigbang上海演唱会盛大举行。以新歌《BANG BANG BANG》...

  2015年4月14日12点20分,中国激光行业界知名激光人,华中科技大学...

  接下来我手动分配IP感觉不是很好,调研当时的一些方案,我们用得是Dockerbridge的方式。我们最后选了Calico做这个。两台机器之间网络是如何连通的?从源的物理机,找路由表看看到底走哪一跳,然后在下一跳继续找路由表,然后做到Swarm在的物理机上,然后最后走到Calico上。一个包从ETH0进来找11.0.0.1的容器到底是哪里?通过路由表转到Calico里面。我们使用感觉非常稳定的,之前基础设施非常稳定,我们大概用了一年多,遇到的问题比较少,可能遇到一个问题就是说当这个机器挂掉之后,它的IP没有把原来分配好的,已经分配到这个机器上的IP回收,需要我们手动做一下有这样一个问题,我们使用这跟我们角色也有关系,我们本身是运维的角色,交换机都在我们手里,我们可以这样去配置,我们交换机都配置一个自愈,去别的地方可以走最少跳数可以走过去。

  车联网是车、路、人之间的网络,能够实现碰撞预警,电子路牌,车辆诊断等功能提高驾驶安全性。

  这个优缺点都有,优点就是和之前相比流程控制、权限控制环境和代码固化,我回滚部署某一个版本非常方便,扩容效率提升、部署效率提升,开发用起来非常爽。缺点就是这个平台实现的问题,部署是比较复杂的东西,里面各种逻辑非常多,之前有人说灰度部署,我们可能想线上跑多个版本,里面也有一些流程的东西,跟机器管理耦合非常严重,管理的很粗放,主要靠运维人员决定,当我增加一个节点的时候,我把这个节点放在哪台物理机上,这个物理机到底用什么IP也是我要自己手动分配的,一台机器挂掉以后,整个平台也没有自愈的功能。

  招标人网络中的设备的数据配置、运行状态等各项内容检查和分析,发现设备运行中存在的问题和潜在风险,并对检查结果进行总结报告和提出相应的措施建议,保障网络安全、高效运行。

  原标题:新一代计算平台Dataworks 会成为阿里计算引擎的“聚宝盆”吗?

  雷锋网记者在云栖大会现场参加了一场计算智能峰会,对阿里巴巴的计算引擎系统产生了极大的兴趣。除去现场聆听阿里巴巴集团副总裁周靖人、阿里巴巴研究员&PAI平台负责人林伟、阿里巴巴资深技术专家&Dataworks负责人徐晟、阿里巴巴研究员&Maxcompute负责人关涛、阿里巴巴研究员&实时计算负责人蒋晓伟等五人的演讲,更是在会后对其进行了深度采访。在整个对话交流中,对阿里巴巴的新一代计算引擎有了全局的掌握。

  我们了解到,阿里巴巴计算平台的新一代计算引擎,支撑了整个阿里经济体90%以上的结构化、非结构化数据的存储、交换、管控,数据规模已超EB级别。其中:

  MaxCompute 是阿里巴巴自主研发的大数据计算引擎,在阿里集团历届双11海量数据的大规模并行计算中,在高并发、吞吐量等各方面承受住了大规模计算的考验,在2015年Sort BenchMark排序竞赛中,一举打破四项世界纪录,奠定了阿里集团大数据离线计算引擎的地位;

  Blink作为Flink的演进版本,是阿里集团最新一代实时计算引擎,提供了流式数据计算能力,能够支持百万级吞吐量的作业,计算可达秒级延迟,关键指标超越开源Storm性能6到8倍,计算成本远低于开源软件。自2017年以来,经历了双11实时业务数据复杂分析考研的Blink已成为阿里集团最重要的实时计算引擎。

  PAI是阿里巴巴机器学习平台,无缝对接了强大的计算引擎及大数据研发平台,具备超大规模稀疏模型的CPU系统级优化、大规模图像&语音&文本领域的GPU系统级优化、在线推理加速需求的模型压缩等核心能力,支持在线学习、深度学习、增强学习及迁移学习等多种学习方式。

  而现场,阿里巴巴展示了新一代计算引擎,布局整个大数据和AI生态链,这就是DataWorks。有个很形象的比喻是:如果把MaxCompute 、Blink、PAI等类比为一台PC的CPU、GPU、SSD等硬件设备,那么DataWorks就是这台大数据PC的Windows操作系统。可见,DataWorks是对计算引擎整体上进行了封装。

  据雷锋网了解,实际上,DataWorks这个项目早在2009年就已启动,到目前已经成为阿里集团数据开发的标准平台,支撑着阿里集团、蚂蚁金服、菜鸟、优酷、高德等所有事业部的数据开发任务。

  进入公共云市场,要前推到2013年,那时候DataWorks系列产品在全世界16个国家和地区实现部署可用,包括新加坡、悉尼、香港、德国、马来西亚、日本、美国等。当然也在国际上揽获了一系列奖项,比如2017年,以DataWorks为主体的阿里云数加,获得了国际软博会金奖;2018年,DataWorks名列国家大数据博览会十佳产品,荣获最佳案例实践奖;在2018国际权威评测机构Forrester公布的Cloud Data Warehouse第二季度的榜单上,代表阿里云,携手MaxCompute,获得了世界排名第二的成绩。

  在对话交流环节,雷锋网就业界关心的线位平台负责人进行了提问,以下为对话实录,雷锋网做了不改变原意的编辑与整理:

  周靖人(阿里巴巴集团副总裁):阿里巴巴从2008年、2009年就开始做大数据和云计算,之前都是为了支撑核心的电商业务,也是随着阿里巴巴的业务,大数据的平台得到了高速的发展,这个平台也就是Maxcompute的前身。其实今天所发布的所有的计算引擎包括Maxcompute、Blink、PAI、Dataworks,都不是简简单单一个产品,首先都是在阿里巴巴自身的业务场景里面取得了巨大的成功,也是帮助整个业务发展起到了一个至关重要的作用。

  经过这么大的业务体量高强度的验证过后,我们也希望把同样的技术普惠到全球,特别是中国的企业用户,所以才把这些产品通过阿里云的方式对外输出,去服务各行各业的企业用户。所以从历史来讲,因为至少在中国,阿里云整个计算平台应该是历史最悠久,当然可以说也是技术积累最深,同时也是经受住了非常大的业务考验,具有真正企业级服务能力的大数据的智能计算平台。

  周靖人:每个业务都有不同的计算引擎,导致很多不同业务采取的计算方案还是有一些不一样。随着阿里巴巴整个业务的体量发展,随着整个核心技术的研发,整个阿里巴巴集团也越来越体会到我们今天需要有一个统一、高效的计算平台,会支持各种的计算模式,而不是单一的引擎。难点在于,怎么样保证高性能、效率、功能和稳定性,甚至安全等等。

  我们也非常清楚整个大数据以及人工智能的开发,不是简简单单只包含了一些引擎的优化,整个的流程是非常长的。训练一个模型,不是说模型就不变了,很多时候是因为所有的应用各方面不断产生数据,新的数据会给我们带来一些新数据,我们也会通过一些新的数据来修正我们之前的模型,同时修正的模型也能实时去进行发布,中间的每一步都至关重要。

  周靖人:是的,也就是说我们今天为中国公司的业务国际化提供了一个坚实的基础。随着他们的业务发展,其实他们并不需要担心是不是到了另外一个国家,是否需要把整个应用移植到另外一个平台。今天随着阿里云的成长,有了成熟的技术,他们可以使用同样一个引擎,能够在不深度变化他们的APP,就可以很快把他的业务拓展到海外,我觉得这都是我们整个计算平台、阿里云云基础建设给用户提供的巨大的优势。

  提问:做一站式平台,是否意味着目前第三方的IT外包公司就会消失?

  周靖人:恰恰相反。阿里巴巴提供的是一个基础的开发的环节,今天还需要大量甚至更多的第三方公司在上面,根据他们的业务特征、业务专长去搭建更专业的平台、更专业的引擎。我也相信由于云计算、大数据的发展,今天其实跟第三方的公司会促成更大的机遇。因为有了这样一个云平台,有了这样一个大数据的系统,我们的合作伙伴真正意义上有了机会接触更大的用户群体。

  提问:机器学习领域,在充分训练的前提下,是不是深度学习网络参数越多,数据量越大,效果就越好?

  林伟(阿里巴巴研究员、PAI平台负责人):不是的。模型越大参数越多,其实会造成更多的问题——因为参数表达能力空间更大。这就是为什么我们在训练的时候要控制一些参数规模。因为机器学习是捕获背后的逻辑关系,但是它的逻辑关系从真实和自然来说不会有那么多。如果一个很大的参数,理论上其实是在违背它的自然规律。所以并不是数据越多就越好。

  但为什么深度学习最近这么热?是因为有很多潜在的关系,人是看不到的,所以它通过一个很深度的网络,通过数据的能力,可能原来达不到的好效果,现在就能达到了。但大家不要忽略了数据。我们做机器学习的都知道数据最关键,如果数据都是一些不准确的数据,那是无法训练出一个靠谱的模型。

  提问:阿里为什么会选择Flink作为新一代流式计算引擎?Flink目前有哪些核心的技术值得外界关注?

  蒋晓伟(阿里巴巴研究员、实时计算负责人):2013年之前我们开始Flink项目,调研了业界所有的计算引擎,当时的目标不是简单选一个流计算的引擎,我们只想选一个通用引擎,我们坚信在不同的计算模式下,有一个东西能支持多种计算场景。但由于很多流计算引擎需要你在延迟和吞吐之间做一定的取舍,所以在本质上流计算引擎是不可能做到最优的,特别是在对延迟要求比较高的时候,它是很难满足这种需求。所以这时候我们开始调研其他的各种引擎。经过调研之后,我们觉得Flink价格最符合我们的理念。

  Flink的出发点跟spark正好相反,它是把流计算当做基础,能够实现连续处理。这样的批处理用流计算来做(雷锋网注:批处理和流处理基本的区别在于每一条新数据在到达时是被处理的,还是作为一组新数据的一部分稍后处理。批处理指稍后执行,流处理指立即执行)。Flink这种价格能够长期让我们在流计算和批处理做到非常完善,所以我们决定用Flink。

  过去三四年时间里,我们在Flink引擎上做了非常多的投入:Flink的多版性能改进、引入新的价格、共享更好的代码等等。在阿里内部,由于我们有更好、更先进的硬件架构,我们开始支持存储分离计算架构。在这种架构下,流计算引擎在失败的时候能更快速修复,使我们能够更加动态适应流量的变化,来更新我们执行计划。

  徐晟(阿里巴巴资深技术专家、Dataworks负责人):我们希望对用户来说是一个统一的体验。至于说用户要解决的问题,很可能我们下面有不同的引擎来解决不同的问题。因为对于用户来说,我希望他看到的是一套产品,而不是让用户做选择题。至于用哪种技术,可能对用户来说就不是那么重要。毕竟对用户来说,我们看到的是同一个层,我们不希望用户更多介入怎么解这个问题。

  今天用户如果要做模拟训练还是要做什么事情,我就相应给你做事情就好了,至于说代码最后跑到什么地方,我觉得对用户来说不太关注。毕竟,谷歌做AlphaGo不是为了下围棋,而是证明有能力提供这样一个平台来帮大家解决问题。这也是我们的初衷。返回搜狐,查看更多

咨询热线

咨询服务热线

友情链接

Copyright 2018 北京赛车投注平台_>>PK10正规投注网站〖国内最佳赛车安全平台】 京ICP备12004330号-5 网站地图