Spark

Spark

DockOne微信分享(一七一):TalkingData的Spark On Kubernetes实践

Andy_Lee 发表了文章 • 0 个评论 • 2845 次浏览 • 2018-05-09 18:54 • 来自相关话题


【编者的话】众所周知,Spark是一个快速、通用的大规模数据处理平台,和Hadoop的MapReduce计算框架类似。但是相对于MapReduce,Spark凭借其可伸缩、基于内存计算等特点,以及可以直接读写Hadoop上任何格式数据的优势,使批处理更加高效,...
查看更多

基于 Docker 快速部署多需求 Spark 自动化测试环境

李颖杰 发表了文章 • 0 个评论 • 5276 次浏览 • 2018-01-27 08:53 • 来自相关话题


【编者的话】在进行数据分析时,Spark 越来越广泛的被使用。在测试需求越来越多、测试用例数量越来越大的情况下,能够根据需求快速自动化部署 Spark 环境、快速完成所有测试越来越重要。

本文基于 Docker、Jenkins、Apache Ant、Apac...
查看更多

Spark和Mesos的诞生之地,又在研究什么新技术?

Dataman数人科技 发表了文章 • 0 个评论 • 1979 次浏览 • 2017-02-06 18:37 • 来自相关话题



大家对加州大学伯克利分校的AMPLab可能不太熟悉,但是它的项目我们都有所耳闻——没错,它就是Spark和Mesos的诞生之地。小数又那里听说了新的工具,一起来围观最前沿的技术吧!
加州大学伯克...
查看更多

距离全方位掌握Apache spark 2.0你就差最后两步

Dataman数人科技 发表了文章 • 0 个评论 • 1536 次浏览 • 2016-10-19 20:54 • 来自相关话题



经过前面两篇对于Spark概念和核心结构的介绍,让我们继续深入了解Spark:) 本篇讲述了Spark Streaming和机器学习,大数据中Spark到底做了啥,快来看看吧!
传送门:[全方位掌握Apache Spark 2.0七步走(一)](...
查看更多

全方位掌握Apache Spark 2.0七步走(二)

Dataman数人科技 发表了文章 • 0 个评论 • 2020 次浏览 • 2016-10-11 16:41 • 来自相关话题



在上一篇普及过Spark的相关概念之后,让我们继续深入研究它的核心结构以及好用的API,本篇视频内容丰富,机(fan)智(qiang)的小伙伴不容错过。
前篇传送门:[全方位掌握Apache...
查看更多

全方位掌握Apache Spark 2.0七步走(一)

Dataman数人科技 发表了文章 • 0 个评论 • 1998 次浏览 • 2016-09-29 11:02 • 来自相关话题


在这个人人都谈Spark的年代,小数也觉得有必要来发Spark的技术文章,帮助大家从入门到精通地了解和掌握Spark,从概念到编程,深刻体会它的迷人之处:)
Spark七步走,here we g...
查看更多

Mesosphere协同其数据合作伙伴在容器2.0时代和DC/OS上的赌注

绝地魔影 发表了文章 • 0 个评论 • 2315 次浏览 • 2016-08-11 19:28 • 来自相关话题


【编者的话】本文为Mesosphere在其官方博客中发布的关于容器2.0时代中其数据合作伙伴及DC/OS的介绍。

今天我们宣布,我们已经和产业领导者Confluent以及[DataStax](http:...
查看更多

DockOne微信分享(六十三):传统企业PaaS平台功能设计与业务上云思考

jniu 发表了文章 • 0 个评论 • 7704 次浏览 • 2016-06-14 22:22 • 来自相关话题


【编者的话】本次分享从四个方面展开:传统企业的应用架构与应用分类;传统企业的应用云化改造需求;基于容器的PaaS平台架构的构建;PaaS平台问题以及传统应用上云改造的一些注意点。

伴随着Docker技术的兴起,以及容器集群管理平台Mesos、Kubernet...
查看更多

在Docker上使用Weave搭建Hadoop和Spark跨主机容器集群

方圆小生 发表了文章 • 1 个评论 • 5882 次浏览 • 2016-02-24 12:42 • 来自相关话题


功能和环境说明
实际环境是开发使用的两台服务器,每个服务器上是三个集群容器节点,总共六个节点,使用weave实现跨主机的通信,并且利用小插件可以实现在局域网或者是在外网查看监控集群的webUI和开放7077等关键端口进行程序远程调试功能。
目前网...
查看更多

数据处理平台架构中的SMACK组合:Spark、Mesos、Akka、Cassandra以及Kafka

Dataman数人科技 发表了文章 • 0 个评论 • 6368 次浏览 • 2016-02-16 18:26 • 来自相关话题


在今天的文章中,我们将着重探讨如何利用SMACK(即Spark、Mesos、Akka、Cassandra以及Kafka)堆栈构建可扩展数据处理平台。虽然这套堆栈仅由数个简单部分组成,但其能够实现大量不同系统设计。除了纯粹的批量或者流处理机制之外,我们...
查看更多

DockOne微信分享(一七一):TalkingData的Spark On Kubernetes实践

Andy_Lee 发表了文章 • 0 个评论 • 2845 次浏览 • 2018-05-09 18:54 • 来自相关话题


【编者的话】众所周知,Spark是一个快速、通用的大规模数据处理平台,和Hadoop的MapReduce计算框架类似。但是相对于MapReduce,Spark凭借其可伸缩、基于内存计算等特点,以及可以直接读写Hadoop上任何格式数据的优势,使批处理更加高效,...
查看更多

基于 Docker 快速部署多需求 Spark 自动化测试环境

李颖杰 发表了文章 • 0 个评论 • 5276 次浏览 • 2018-01-27 08:53 • 来自相关话题


【编者的话】在进行数据分析时,Spark 越来越广泛的被使用。在测试需求越来越多、测试用例数量越来越大的情况下,能够根据需求快速自动化部署 Spark 环境、快速完成所有测试越来越重要。

本文基于 Docker、Jenkins、Apache Ant、Apac...
查看更多

Mesosphere协同其数据合作伙伴在容器2.0时代和DC/OS上的赌注

绝地魔影 发表了文章 • 0 个评论 • 2315 次浏览 • 2016-08-11 19:28 • 来自相关话题


【编者的话】本文为Mesosphere在其官方博客中发布的关于容器2.0时代中其数据合作伙伴及DC/OS的介绍。

今天我们宣布,我们已经和产业领导者Confluent以及[DataStax](http:...
查看更多

DockOne微信分享(六十三):传统企业PaaS平台功能设计与业务上云思考

jniu 发表了文章 • 0 个评论 • 7704 次浏览 • 2016-06-14 22:22 • 来自相关话题


【编者的话】本次分享从四个方面展开:传统企业的应用架构与应用分类;传统企业的应用云化改造需求;基于容器的PaaS平台架构的构建;PaaS平台问题以及传统应用上云改造的一些注意点。

伴随着Docker技术的兴起,以及容器集群管理平台Mesos、Kubernet...
查看更多

使用Docker在本地搭建hadoop,spark集群

方圆小生 发表了文章 • 0 个评论 • 21364 次浏览 • 2016-01-06 16:57 • 来自相关话题


简介和环境说明

本环境使用的单个宿主主机,而不是跨主机集群,本spark集群环境存在的意义可能在于便于本地开发测试使用,非常轻量级和便捷。这个部署过程,最好在之前有过一定的hadoop,spark集群部署经验的基础,本文重点在于doc...
查看更多

Spark on Docker的实现方式?

回复

tuxknight 回复了问题 • 3 人关注 • 1 个回复 • 3954 次浏览 • 2015-12-09 21:05 • 来自相关话题

关于开辟Spark专题

回复

John_hyq 回复了问题 • 3 人关注 • 4 个回复 • 3055 次浏览 • 2015-01-12 22:48 • 来自相关话题

DockOne微信分享(一七一):TalkingData的Spark On Kubernetes实践

Andy_Lee 发表了文章 • 0 个评论 • 2845 次浏览 • 2018-05-09 18:54 • 来自相关话题


【编者的话】众所周知,Spark是一个快速、通用的大规模数据处理平台,和Hadoop的MapReduce计算框架类似。但是相对于MapReduce,Spark凭借其可伸缩、基于内存计算等特点,以及可以直接读写Hadoop上任何格式数据的优势,使批处理更加高效,...
查看更多

基于 Docker 快速部署多需求 Spark 自动化测试环境

李颖杰 发表了文章 • 0 个评论 • 5276 次浏览 • 2018-01-27 08:53 • 来自相关话题


【编者的话】在进行数据分析时,Spark 越来越广泛的被使用。在测试需求越来越多、测试用例数量越来越大的情况下,能够根据需求快速自动化部署 Spark 环境、快速完成所有测试越来越重要。

本文基于 Docker、Jenkins、Apache Ant、Apac...
查看更多

Spark和Mesos的诞生之地,又在研究什么新技术?

Dataman数人科技 发表了文章 • 0 个评论 • 1979 次浏览 • 2017-02-06 18:37 • 来自相关话题



大家对加州大学伯克利分校的AMPLab可能不太熟悉,但是它的项目我们都有所耳闻——没错,它就是Spark和Mesos的诞生之地。小数又那里听说了新的工具,一起来围观最前沿的技术吧!
加州大学伯克...
查看更多

距离全方位掌握Apache spark 2.0你就差最后两步

Dataman数人科技 发表了文章 • 0 个评论 • 1536 次浏览 • 2016-10-19 20:54 • 来自相关话题



经过前面两篇对于Spark概念和核心结构的介绍,让我们继续深入了解Spark:) 本篇讲述了Spark Streaming和机器学习,大数据中Spark到底做了啥,快来看看吧!
传送门:[全方位掌握Apache Spark 2.0七步走(一)](...
查看更多

全方位掌握Apache Spark 2.0七步走(二)

Dataman数人科技 发表了文章 • 0 个评论 • 2020 次浏览 • 2016-10-11 16:41 • 来自相关话题



在上一篇普及过Spark的相关概念之后,让我们继续深入研究它的核心结构以及好用的API,本篇视频内容丰富,机(fan)智(qiang)的小伙伴不容错过。
前篇传送门:[全方位掌握Apache...
查看更多

全方位掌握Apache Spark 2.0七步走(一)

Dataman数人科技 发表了文章 • 0 个评论 • 1998 次浏览 • 2016-09-29 11:02 • 来自相关话题


在这个人人都谈Spark的年代,小数也觉得有必要来发Spark的技术文章,帮助大家从入门到精通地了解和掌握Spark,从概念到编程,深刻体会它的迷人之处:)
Spark七步走,here we g...
查看更多

Mesosphere协同其数据合作伙伴在容器2.0时代和DC/OS上的赌注

绝地魔影 发表了文章 • 0 个评论 • 2315 次浏览 • 2016-08-11 19:28 • 来自相关话题


【编者的话】本文为Mesosphere在其官方博客中发布的关于容器2.0时代中其数据合作伙伴及DC/OS的介绍。

今天我们宣布,我们已经和产业领导者Confluent以及[DataStax](http:...
查看更多

DockOne微信分享(六十三):传统企业PaaS平台功能设计与业务上云思考

jniu 发表了文章 • 0 个评论 • 7704 次浏览 • 2016-06-14 22:22 • 来自相关话题


【编者的话】本次分享从四个方面展开:传统企业的应用架构与应用分类;传统企业的应用云化改造需求;基于容器的PaaS平台架构的构建;PaaS平台问题以及传统应用上云改造的一些注意点。

伴随着Docker技术的兴起,以及容器集群管理平台Mesos、Kubernet...
查看更多

在Docker上使用Weave搭建Hadoop和Spark跨主机容器集群

方圆小生 发表了文章 • 1 个评论 • 5882 次浏览 • 2016-02-24 12:42 • 来自相关话题


功能和环境说明
实际环境是开发使用的两台服务器,每个服务器上是三个集群容器节点,总共六个节点,使用weave实现跨主机的通信,并且利用小插件可以实现在局域网或者是在外网查看监控集群的webUI和开放7077等关键端口进行程序远程调试功能。
目前网...
查看更多

数据处理平台架构中的SMACK组合:Spark、Mesos、Akka、Cassandra以及Kafka

Dataman数人科技 发表了文章 • 0 个评论 • 6368 次浏览 • 2016-02-16 18:26 • 来自相关话题


在今天的文章中,我们将着重探讨如何利用SMACK(即Spark、Mesos、Akka、Cassandra以及Kafka)堆栈构建可扩展数据处理平台。虽然这套堆栈仅由数个简单部分组成,但其能够实现大量不同系统设计。除了纯粹的批量或者流处理机制之外,我们...
查看更多