Spark

Spark

基于Kubernetes的Spark部署完全指南

Fannie 发表了文章 • 0 个评论 • 2215 次浏览 • 2020-03-05 20:57 • 来自相关话题


【编者的话】本文是在Kubernets上搭建Spark集群的操作指南,同时提供了Spark测试任务及相关的测试数据,通过阅读本文,你可以实践从制作Spark镜像、搭建Spark容器集群,到在集群上运行测试任务的完整流程。

Yarn曾经是Hadoop默认的资源...
查看更多

Spark on Kubernetes与阿里云的深度整合

GoKubernetes 发表了文章 • 0 个评论 • 1393 次浏览 • 2020-02-24 09:32 • 来自相关话题


最近,笔者尝试将Spark on Kubernetes与阿里云深度整合,设计一个开箱即用的Spark on Kubernetes镜像。

首先通过Terraform在阿里云上一键创建和销毁Kubernetes集群。然后写了一个脚本生成Spark镜像,使其在Ku...
查看更多

DockOne微信分享(一七一):TalkingData的Spark On Kubernetes实践

Andy_Lee 发表了文章 • 0 个评论 • 4984 次浏览 • 2018-05-09 18:54 • 来自相关话题


【编者的话】众所周知,Spark是一个快速、通用的大规模数据处理平台,和Hadoop的MapReduce计算框架类似。但是相对于MapReduce,Spark凭借其可伸缩、基于内存计算等特点,以及可以直接读写Hadoop上任何格式数据的优势,使批处理更加高效,...
查看更多

基于 Docker 快速部署多需求 Spark 自动化测试环境

李颖杰 发表了文章 • 0 个评论 • 7600 次浏览 • 2018-01-27 08:53 • 来自相关话题


【编者的话】在进行数据分析时,Spark 越来越广泛的被使用。在测试需求越来越多、测试用例数量越来越大的情况下,能够根据需求快速自动化部署 Spark 环境、快速完成所有测试越来越重要。

本文基于 Docker、Jenkins、Apache Ant、Apac...
查看更多

Spark和Mesos的诞生之地,又在研究什么新技术?

Dataman数人科技 发表了文章 • 0 个评论 • 3551 次浏览 • 2017-02-06 18:37 • 来自相关话题



大家对加州大学伯克利分校的AMPLab可能不太熟悉,但是它的项目我们都有所耳闻——没错,它就是Spark和Mesos的诞生之地。小数又那里听说了新的工具,一起来围观最前沿的技术吧!
加州大学伯克...
查看更多

距离全方位掌握Apache spark 2.0你就差最后两步

Dataman数人科技 发表了文章 • 0 个评论 • 3054 次浏览 • 2016-10-19 20:54 • 来自相关话题



经过前面两篇对于Spark概念和核心结构的介绍,让我们继续深入了解Spark:) 本篇讲述了Spark Streaming和机器学习,大数据中Spark到底做了啥,快来看看吧!
传送门:[全方位掌握Apache Spark 2.0七步走(一)](...
查看更多

全方位掌握Apache Spark 2.0七步走(二)

Dataman数人科技 发表了文章 • 0 个评论 • 3654 次浏览 • 2016-10-11 16:41 • 来自相关话题



在上一篇普及过Spark的相关概念之后,让我们继续深入研究它的核心结构以及好用的API,本篇视频内容丰富,机(fan)智(qiang)的小伙伴不容错过。
前篇传送门:[全方位掌握Apache...
查看更多

全方位掌握Apache Spark 2.0七步走(一)

Dataman数人科技 发表了文章 • 0 个评论 • 3540 次浏览 • 2016-09-29 11:02 • 来自相关话题


在这个人人都谈Spark的年代,小数也觉得有必要来发Spark的技术文章,帮助大家从入门到精通地了解和掌握Spark,从概念到编程,深刻体会它的迷人之处:)
Spark七步走,here we g...
查看更多

Mesosphere协同其数据合作伙伴在容器2.0时代和DC/OS上的赌注

绝地魔影 发表了文章 • 0 个评论 • 4010 次浏览 • 2016-08-11 19:28 • 来自相关话题


【编者的话】本文为Mesosphere在其官方博客中发布的关于容器2.0时代中其数据合作伙伴及DC/OS的介绍。

今天我们宣布,我们已经和产业领导者Confluent以及[DataStax](http:...
查看更多

DockOne微信分享(六十三):传统企业PaaS平台功能设计与业务上云思考

jniu 发表了文章 • 0 个评论 • 9917 次浏览 • 2016-06-14 22:22 • 来自相关话题


【编者的话】本次分享从四个方面展开:传统企业的应用架构与应用分类;传统企业的应用云化改造需求;基于容器的PaaS平台架构的构建;PaaS平台问题以及传统应用上云改造的一些注意点。

伴随着Docker技术的兴起,以及容器集群管理平台Mesos、Kubernet...
查看更多

基于Kubernetes的Spark部署完全指南

Fannie 发表了文章 • 0 个评论 • 2215 次浏览 • 2020-03-05 20:57 • 来自相关话题


【编者的话】本文是在Kubernets上搭建Spark集群的操作指南,同时提供了Spark测试任务及相关的测试数据,通过阅读本文,你可以实践从制作Spark镜像、搭建Spark容器集群,到在集群上运行测试任务的完整流程。

Yarn曾经是Hadoop默认的资源...
查看更多

DockOne微信分享(一七一):TalkingData的Spark On Kubernetes实践

Andy_Lee 发表了文章 • 0 个评论 • 4984 次浏览 • 2018-05-09 18:54 • 来自相关话题


【编者的话】众所周知,Spark是一个快速、通用的大规模数据处理平台,和Hadoop的MapReduce计算框架类似。但是相对于MapReduce,Spark凭借其可伸缩、基于内存计算等特点,以及可以直接读写Hadoop上任何格式数据的优势,使批处理更加高效,...
查看更多

基于 Docker 快速部署多需求 Spark 自动化测试环境

李颖杰 发表了文章 • 0 个评论 • 7600 次浏览 • 2018-01-27 08:53 • 来自相关话题


【编者的话】在进行数据分析时,Spark 越来越广泛的被使用。在测试需求越来越多、测试用例数量越来越大的情况下,能够根据需求快速自动化部署 Spark 环境、快速完成所有测试越来越重要。

本文基于 Docker、Jenkins、Apache Ant、Apac...
查看更多

Mesosphere协同其数据合作伙伴在容器2.0时代和DC/OS上的赌注

绝地魔影 发表了文章 • 0 个评论 • 4010 次浏览 • 2016-08-11 19:28 • 来自相关话题


【编者的话】本文为Mesosphere在其官方博客中发布的关于容器2.0时代中其数据合作伙伴及DC/OS的介绍。

今天我们宣布,我们已经和产业领导者Confluent以及[DataStax](http:...
查看更多

DockOne微信分享(六十三):传统企业PaaS平台功能设计与业务上云思考

jniu 发表了文章 • 0 个评论 • 9917 次浏览 • 2016-06-14 22:22 • 来自相关话题


【编者的话】本次分享从四个方面展开:传统企业的应用架构与应用分类;传统企业的应用云化改造需求;基于容器的PaaS平台架构的构建;PaaS平台问题以及传统应用上云改造的一些注意点。

伴随着Docker技术的兴起,以及容器集群管理平台Mesos、Kubernet...
查看更多

使用Docker在本地搭建hadoop,spark集群

方圆小生 发表了文章 • 0 个评论 • 24910 次浏览 • 2016-01-06 16:57 • 来自相关话题


简介和环境说明

本环境使用的单个宿主主机,而不是跨主机集群,本spark集群环境存在的意义可能在于便于本地开发测试使用,非常轻量级和便捷。这个部署过程,最好在之前有过一定的hadoop,spark集群部署经验的基础,本文重点在于doc...
查看更多

Spark on Docker的实现方式?

回复

tuxknight 回复了问题 • 3 人关注 • 1 个回复 • 6074 次浏览 • 2015-12-09 21:05 • 来自相关话题

关于开辟Spark专题

回复

John_hyq 回复了问题 • 3 人关注 • 4 个回复 • 5146 次浏览 • 2015-01-12 22:48 • 来自相关话题

基于Kubernetes的Spark部署完全指南

Fannie 发表了文章 • 0 个评论 • 2215 次浏览 • 2020-03-05 20:57 • 来自相关话题


【编者的话】本文是在Kubernets上搭建Spark集群的操作指南,同时提供了Spark测试任务及相关的测试数据,通过阅读本文,你可以实践从制作Spark镜像、搭建Spark容器集群,到在集群上运行测试任务的完整流程。

Yarn曾经是Hadoop默认的资源...
查看更多

Spark on Kubernetes与阿里云的深度整合

GoKubernetes 发表了文章 • 0 个评论 • 1393 次浏览 • 2020-02-24 09:32 • 来自相关话题


最近,笔者尝试将Spark on Kubernetes与阿里云深度整合,设计一个开箱即用的Spark on Kubernetes镜像。

首先通过Terraform在阿里云上一键创建和销毁Kubernetes集群。然后写了一个脚本生成Spark镜像,使其在Ku...
查看更多

DockOne微信分享(一七一):TalkingData的Spark On Kubernetes实践

Andy_Lee 发表了文章 • 0 个评论 • 4984 次浏览 • 2018-05-09 18:54 • 来自相关话题


【编者的话】众所周知,Spark是一个快速、通用的大规模数据处理平台,和Hadoop的MapReduce计算框架类似。但是相对于MapReduce,Spark凭借其可伸缩、基于内存计算等特点,以及可以直接读写Hadoop上任何格式数据的优势,使批处理更加高效,...
查看更多

基于 Docker 快速部署多需求 Spark 自动化测试环境

李颖杰 发表了文章 • 0 个评论 • 7600 次浏览 • 2018-01-27 08:53 • 来自相关话题


【编者的话】在进行数据分析时,Spark 越来越广泛的被使用。在测试需求越来越多、测试用例数量越来越大的情况下,能够根据需求快速自动化部署 Spark 环境、快速完成所有测试越来越重要。

本文基于 Docker、Jenkins、Apache Ant、Apac...
查看更多

Spark和Mesos的诞生之地,又在研究什么新技术?

Dataman数人科技 发表了文章 • 0 个评论 • 3551 次浏览 • 2017-02-06 18:37 • 来自相关话题



大家对加州大学伯克利分校的AMPLab可能不太熟悉,但是它的项目我们都有所耳闻——没错,它就是Spark和Mesos的诞生之地。小数又那里听说了新的工具,一起来围观最前沿的技术吧!
加州大学伯克...
查看更多

距离全方位掌握Apache spark 2.0你就差最后两步

Dataman数人科技 发表了文章 • 0 个评论 • 3054 次浏览 • 2016-10-19 20:54 • 来自相关话题



经过前面两篇对于Spark概念和核心结构的介绍,让我们继续深入了解Spark:) 本篇讲述了Spark Streaming和机器学习,大数据中Spark到底做了啥,快来看看吧!
传送门:[全方位掌握Apache Spark 2.0七步走(一)](...
查看更多

全方位掌握Apache Spark 2.0七步走(二)

Dataman数人科技 发表了文章 • 0 个评论 • 3654 次浏览 • 2016-10-11 16:41 • 来自相关话题



在上一篇普及过Spark的相关概念之后,让我们继续深入研究它的核心结构以及好用的API,本篇视频内容丰富,机(fan)智(qiang)的小伙伴不容错过。
前篇传送门:[全方位掌握Apache...
查看更多

全方位掌握Apache Spark 2.0七步走(一)

Dataman数人科技 发表了文章 • 0 个评论 • 3540 次浏览 • 2016-09-29 11:02 • 来自相关话题


在这个人人都谈Spark的年代,小数也觉得有必要来发Spark的技术文章,帮助大家从入门到精通地了解和掌握Spark,从概念到编程,深刻体会它的迷人之处:)
Spark七步走,here we g...
查看更多

Mesosphere协同其数据合作伙伴在容器2.0时代和DC/OS上的赌注

绝地魔影 发表了文章 • 0 个评论 • 4010 次浏览 • 2016-08-11 19:28 • 来自相关话题


【编者的话】本文为Mesosphere在其官方博客中发布的关于容器2.0时代中其数据合作伙伴及DC/OS的介绍。

今天我们宣布,我们已经和产业领导者Confluent以及[DataStax](http:...
查看更多

DockOne微信分享(六十三):传统企业PaaS平台功能设计与业务上云思考

jniu 发表了文章 • 0 个评论 • 9917 次浏览 • 2016-06-14 22:22 • 来自相关话题


【编者的话】本次分享从四个方面展开:传统企业的应用架构与应用分类;传统企业的应用云化改造需求;基于容器的PaaS平台架构的构建;PaaS平台问题以及传统应用上云改造的一些注意点。

伴随着Docker技术的兴起,以及容器集群管理平台Mesos、Kubernet...
查看更多