篮球让分胜负投注技巧

《DataExa-Insight之集群那些事儿》

之前很多篇文章和大?#21307;?#32461;过我们的屠龙宝刀DataExa-Insight数据洞察平台(另外我们还有倚天神剑DataExa-Sati语义计算平台), 也和大家聊过怎么借助于DataExa-Insight愉快的完成数据分析和建模工作,今天我们聊点稍微不一样的,来说说DataExa-Insight背后的集群那些事儿。

对于玩数据的我们来说,这是最好的时代,各大门户网站隔三差五就有大数据、AI之类的新闻(对了,今天最火的新闻就是柯洁?#20449;?#36127;于Alpha go 2.0,小编表示柯大侠一定要坚持住,后面还有第三盘呢),与人交谈说不上三五句就能提到大数据, 如果再深入聊一下,那必然就会聊到集群,可?#36816;?#22823;数据、机器学习以及人工智能能有今天的辉煌,一切都?#21069;?#22823;数据集群技术所赐。DataExa-Insight平台背后同样有各种集群在支撑,你或许并不关注他们,但他们就在那儿,默默的为平台服务。 目前,DataExa-Insight平台支持以下几种集群:

想不想知道更多细节?众位看官稍安勿躁,且听小编一一道来。

一、YARN集群

熟悉Hadoop的朋友们一定对YARN不陌生。Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一?#20013;?#30340; Hadoop 资源管理器, 它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了质的提升。 得益于YARN在资源管理和共享方面的优势,很多组件都可以原生的运行在YARN集群之上,Hadoop on YARN就不用说了, 像Spark on YARN、Storm on YARN以?#26696;?#31181;常见的大数据组件都可以“on YARN”

DataExa-Insight平台的大数据处理能力和机器学习能力是构建在Spark平台之上的,对于YARN集群的支持是DataExa-Insight平台的本能。

1、在DataExa-Insight中可以手动添加CDH、HDP集群

2、添加完集群之后,在我们运行流程的时候就可以指定使用YARN集群来运行流程

3、眼尖的朋友们想必已经看到了,在选择集群的时候还可以指定Spark的运行参数。Spark作业的参数设置关乎作业运行的效率甚至成败,通过参数输入域我们可以轻松的指定运行参数

二、MESOS集群

说完YARN集群,接下来有必要提一下MESOS集群。Apache Mesos是一个集群管理器,提供了有效的、跨分布式应用或框架的资源隔离和共享。 Mesos可以在不同框架之间高效的共享硬件资源,同时简化自身的调度逻辑,使其具有尽可能大的兼容性和可扩展性, 以保证在大规模集群使用环境下的健壮性和对各种可能的运算框架的普遍适用性。对于这么好的东西,DataExa-Insight平台的支持一向都是不遗余力的:

1、在DataExa-Insight中可以手动添加,我们可以手动添加MESOS集群

2、在流程运行时,我们可以选择使用MESOS集群来运行流程

3、同样的,我们在运行流程时可以手动指定参数

三、CPU与GPU

当下人工智能领域,最热的方向莫过于深度学习。得益于GPU强大的浮点计算性能, GPU在深度学习平台受到广泛的追捧。相对而言CPU的地位就有点?#38480;危?#23427;既不可或缺但又显得不那么重要。不过DataExa-Insight平台对于CPU和GPU的支持都是可以完美的支持:

1、在运行深度学习作业时,可以选择使用本机的CPU或者GPU来运行作业

2、也可以指定使用远程主机的资源来运行深度学习作业

3、当然也可以进行更细粒度的设置,譬如某层网络使用CPU还是GPU来进行训练

四、Tensorflow Serving集群

Tensorflow是目前深度学习领域最流行的框架之一,从0.8版本之后,tensorflow加入了集群功能,不过想必大家都还在玩单机版的吧。 小编非常负责任的告诉大家,DataExa-Insight平台已经可以对tensorflow进行全面的支持,只需在运行流程时进行简单配置,就可以愉快的在tensorflow集群上享受飞一样的感觉。

篮球让分胜负投注技巧