如何成为云计算大数据Spark高手

Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询等方面的所有核心问题,具有完善的生态系统,这直接奠定了其一统云计算大数据领域的霸主地位。【详细】

云计算  大数据  集群计算平台  Spark  2017-08-22

如何成为云计算大数据Spark高手

Livy:基于Apache Spark的REST服务

Livy是一个基于Spark的开源REST服务,它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行。它提供了以下这些基本功能:1.提交Scala、Python或是R代码片段到远端的Spark集群上...【详细】

Livy  大数据  Apache  Spark  2017-07-04

Livy:基于Apache Spark的REST服务

Spark:超越Hadoop MapReduce

和 Hadoop 一样,Spark 提供了一个 Map/Reduce API(分布式计算)和分布式存储。二者主要的不同点是,Spark 在集群的内存中保存数据,而 Hadoop 在集群的磁盘中存储数据。【详细】

大数据  Hadoop  MapReduce  Spark  2017-04-19

Spark:超越Hadoop MapReduce

Spark和Hadoop分析遇障碍?可以试试容器啊

将定制的Spark和Hadoop试点项目转移到生产中是一项艰巨的任务,但容器技术缓解了这种艰难的过渡。【详细】

Spark  Hadoop  容器  2017-03-29

Spark和Hadoop分析遇障碍?可以试试容器啊

Spark 是否真的比 MapReduce 技高一筹

作为一个开源的数据处理框架,Spark 是如何做到如此迅速地处理数据的呢?秘密就在于它是运行在集群的内存上的,而且不受限于 MapReduce 的二阶段范式。这大大加快了重复访问同一数据的速度。听上去好像 Spa...【详细】

Spark  MapReduce  2016-05-20

Spark 是否真的比 MapReduce 技高一筹

Spark会把数据都载入到内存么?

很多初学者其实对Spark的编程模式还是RDD这个概念理解不到位,就会产生一些误解。 比如,很多时候我们常常以为一个文件是会被完整读入到内存,然后做各种变换,这很可能是受两个概念的误导:【详细】

Spark  2016-04-22

Spark会把数据都载入到内存么?

为什么Spark将成为数据科学家的统一平台

数据科学是一个广阔的领域。我自认是一个数据科学家,但和另外一批数据科学家又有很多的不同。数据科学家通常分为统计科学家和数据工程师两个阵营,而我正处于第二阵营。【详细】

Spark  数据  平台  2016-04-20

为什么Spark将成为数据科学家的统一平台

科普文:从大数据到Hadoop,Spark,Storm

大数据,官方定义是指那些数据量特别大、数据类别特别复杂的数据集,这种数据集无法用传统的数据库进行存储,管理和处理。大数据的主要特点为数据量大(Volume),数据类别复杂(Variety),数据处理速度快(Ve...【详细】

大数据  Hadoop  Spark  Storm  2016-03-25

科普文:从大数据到Hadoop,Spark,Storm

7种常见的hadoop和spark项目

有一句古老的格言是这样说的,如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情,他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm,每个人都认为他们正在做一些与这...【详细】

hadoop  spark  2016-02-14

7种常见的hadoop和spark项目

Spark Streaming 的玫瑰与刺

说人话:其实就是讲Spark Streaming 的好处与坑。好处主要从一些大的方面讲,坑则是从实际场景中遇到的一些小细节描述。【详细】

Spark  Streaming  2016-01-29

Spark Streaming 的玫瑰与刺

2分钟读懂Hadoop和Spark的异同

谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有什么异同。 解决问题【详细】

Hadoop  Spark  2016-01-27

2分钟读懂Hadoop和Spark的异同

别总想着取代谁 Hadoop和Spark结合起来更好用

Apache的Spark,一个新的大数据框架, 已被描述为一个替代Hadoop的可能。一些观点认为,Spark由于比旧的框架更容易理解和强大,因此在新兴的大数据和分析项目中更适合。【详细】

Hadoop  Spark  2016-01-15

别总想着取代谁 Hadoop和Spark结合起来更好用

Spark淘汰MapReduce,拯救Hadoop

2016年大数据领域会发生什么情况?考虑到如今在深层神经网络和规范性分析方面取得的进展,你可能觉得这个问题很好回答。而实际上,来自业界的大数据预测大不相同,本文精选出了最值得关注的33个预测,为您...【详细】

Spark  MapReduce  Hadoop  2016-01-12

Spark淘汰MapReduce,拯救Hadoop

大数据框架Hadoop和Spark的异同

谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。都是与处理数据有关,但是它们又有什么不同呢?【详细】

大数据  大数据框架  Hadoop  Spark  2015-12-17

大数据框架Hadoop和Spark的异同

大数据工具比较:R语言和Spark谁更胜一筹?

本文有两重目的,一是在性能方面快速对比下R语言和Spark,二是想向大家介绍下Spark的机器学习库。【详细】

大数据  大数据工具  Spark  R语言  2015-12-07

大数据工具比较:R语言和Spark谁更胜一筹?

赛道单挑:MapReduce与Spark到底谁快?

通常人们认为Spark的性能和速度全面优于MapReduce,但最新的对决显示MapReduce在某些方面也有胜场,而且数据规模越大优势越大。【详细】

MapReduce  Spark  2015-12-07

赛道单挑:MapReduce与Spark到底谁快?

技术变化迅速,Spark将要过时了吗?

在极短的时间内,Apache Spark 迅速成长为大数据分析的技术核心。这使得业内人士担心在这个技术更新如此之快的年代,它是否会同样快被淘汰呢?【详细】

大数据  Spark  大数据技术  创新大数据  2015-12-07

技术变化迅速,Spark将要过时了吗?

网易的Spark技术实践

对于大多数的大数据而言,实时性是其所应具备的重要属性,信息的到达和获取应满足实时性的要求,而信息的价值需在其到达那刻展现才能利益最大化,例如电商网站,网站推荐系统期望能实时根据顾客的点击行为...【详细】

Spark  网易  2015-12-05

网易的Spark技术实践

Hadoop与分布式数据处理 Spark VS Hadoop有哪些异同点?

虽然Spark与Hadoop有相似之处,但它提供了具有有用差异的一个新的集群计算框架。首先,Spark是为集群计算中的特定类型的工作负载而设计,即那些在并行操作之间重用工作数据集(比如机器学习算法)的工作负...【详细】

Hadoop  分布式数据处理  Spark  VS  2015-12-05

Hadoop与分布式数据处理 Spark VS Hadoop有哪些异同点?

如何成为Spark大数据高手?

Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台,它立足于内存计算,性能超过hadoop百倍,从多迭代批量处理出发,兼收并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。Spark采...【详细】

Spark  大数据  大数据高手  2015-12-04

如何成为Spark大数据高手?

Spark概念解读以及与Hadoop技术对比

Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供...【详细】

Spark  Hadoop  大数据  2015-12-03

Spark概念解读以及与Hadoop技术对比

IBM推出Apache Spark云服务

继今年六月份IBM宣布对Spark提供三百万美金的投资,IBM现在推出Apache Spark 云服务,立志打造一个完全数据分析平台。【详细】

IBM  Apache  Spark  云服务  2015-10-28

IBM推出Apache Spark云服务

Spark与MapReduce之争:谁更适合于企业级IT?

新兴的Spark技术有望取代大数据框架中广泛应用的MapReduce技术。【详细】

Spark  MapReduce  2015-09-21

Spark与MapReduce之争:谁更适合于企业级IT?

新可视化帮助更好地了解Spark Streaming应用程序

日前,在Spark1.4.0中新推出了可视化功能,用以更好的了解Spark应用程序的行为。Spark贡献者Tathagata Das、Shixiong Zhu和Andrew Or又撰文重点介绍为理解Spark Streaming应用程序而引入的新可视化功能。【详细】

Spark  大数据  2015-07-15

新可视化帮助更好地了解Spark Streaming应用程序