Hadoop

Hadoop

在Hadoop上运行Docker容器的六大陷阱

精灵云 发表了文章 • 0 个评论 • 627 次浏览 • 2017-06-01 17:01 • 来自相关话题


关于译者Ghostcloud:
Ghostcloud(中文名:精灵云)是成都精灵云科技有限公司旗下的基于Docker的PaaS/CaaS平台品牌。公司成立于2015年,核心团队由来自EMC、Veritas、华为、IBM、Microsoft的核心技术主...
查看更多

容器和微服务在Hadoop生态系统中找到一席之地

夕口夕 发表了文章 • 0 个评论 • 1237 次浏览 • 2016-11-09 20:38 • 来自相关话题


【编者的话】容器和微服务凭借构架上的灵活优势,已经杀进了Hadoop生态系统。分别位于德国和美国两家公司的技术高管对此提出了自己的观点。

最近关于大数据的实践多是基于裸机的,这意味着Hadoop已经在非虚拟服务器上被广为实现。随着容器和微服务在应用服务界越来...
查看更多

基于Docker搭建Hadoop集群之升级版

KiwenLau 发表了文章 • 2 个评论 • 1463 次浏览 • 2016-06-14 22:58 • 来自相关话题


【编者的话】kiwenlau/hadoop-cluster-docker是去年参加[Docker巨好玩](http://www.alauda.cn/201...
查看更多

基于Docker编译Hadoop

KiwenLau 发表了文章 • 0 个评论 • 1024 次浏览 • 2016-06-07 22:31 • 来自相关话题


【编者的话】将编译Hadoop所需要的依赖软件安装到Docker镜像中,然后在Docker容器中编译Hadoop,可以提高编译效率,同时避免污染主机。编译其他软件时,也可以参考这篇博客的方法。

GitHub地址:
- [kiwenlau/com...
查看更多

在Docker上使用Weave搭建Hadoop和Spark跨主机容器集群

方圆小生 发表了文章 • 1 个评论 • 2948 次浏览 • 2016-02-24 12:42 • 来自相关话题


功能和环境说明
实际环境是开发使用的两台服务器,每个服务器上是三个集群容器节点,总共六个节点,使用weave实现跨主机的通信,并且利用小插件可以实现在局域网或者是在外网查看监控集群的webUI和开放7077等关键端口进行程序远程调试功能。
目前网...
查看更多

将 HDFS 搬上数人云:轻松实现集群的扩展收缩

Dataman数人科技 发表了文章 • 0 个评论 • 1559 次浏览 • 2016-02-02 16:58 • 来自相关话题


HDFS 是 Hadoop Distributed File System 的简称,作为 Apache Hadoop Core 项目的一部分,提供了一个高度容错性的分布式文件系统,适合部署在廉价的机器上。HDFS 可以提供高吞吐量的数据访问,非常适合大规模数据...
查看更多

为什么我们选择Docker来构建Crayon的数据处理平台

qinlu1988 发表了文章 • 0 个评论 • 3098 次浏览 • 2016-01-31 15:30 • 来自相关话题


【编者的话】随着Hadoop成为大数据的事实标准,Hadoop的生态也在不断完善,环境搭建的复杂性,给开发和测试带来了不便。如何用Docker来降低Hadoop开发中的复杂性,本文中Crayon带来了他们的方案。

之前,企业软件厂商都会尽可能多的控制客户的基...
查看更多

使用Docker在本地搭建hadoop,spark集群

方圆小生 发表了文章 • 0 个评论 • 10535 次浏览 • 2016-01-06 16:57 • 来自相关话题


简介和环境说明

本环境使用的单个宿主主机,而不是跨主机集群,本spark集群环境存在的意义可能在于便于本地开发测试使用,非常轻量级和便捷。这个部署过程,最好在之前有过一定的hadoop,spark集群部署经验的基础,本文重点在于doc...
查看更多

有在mesos 上安装hadoop的吗 这里是不是错误的

xds2000 回复了问题 • 2 人关注 • 1 个回复 • 1369 次浏览 • 2015-11-09 20:01 • 来自相关话题

反思 | 分布式框架是必须的吗?

xiaoyh 发表了文章 • 1 个评论 • 4274 次浏览 • 2015-09-23 09:50 • 来自相关话题


【编者的话】本文主要讲述了通过规范化处理流程,可以使用相同的处理流程来处理流式或者批量处理任务,例如Hadoop和Storm,从而提高重用性。

当有人问起该如何处理大数据问题时,他们总是被指引到现存的产品中,例如Hadoop或者Storm。虽然这些产品非常棒...
查看更多

容器和微服务在Hadoop生态系统中找到一席之地

夕口夕 发表了文章 • 0 个评论 • 1237 次浏览 • 2016-11-09 20:38 • 来自相关话题


【编者的话】容器和微服务凭借构架上的灵活优势,已经杀进了Hadoop生态系统。分别位于德国和美国两家公司的技术高管对此提出了自己的观点。

最近关于大数据的实践多是基于裸机的,这意味着Hadoop已经在非虚拟服务器上被广为实现。随着容器和微服务在应用服务界越来...
查看更多

为什么我们选择Docker来构建Crayon的数据处理平台

qinlu1988 发表了文章 • 0 个评论 • 3098 次浏览 • 2016-01-31 15:30 • 来自相关话题


【编者的话】随着Hadoop成为大数据的事实标准,Hadoop的生态也在不断完善,环境搭建的复杂性,给开发和测试带来了不便。如何用Docker来降低Hadoop开发中的复杂性,本文中Crayon带来了他们的方案。

之前,企业软件厂商都会尽可能多的控制客户的基...
查看更多

使用Docker在本地搭建hadoop,spark集群

方圆小生 发表了文章 • 0 个评论 • 10535 次浏览 • 2016-01-06 16:57 • 来自相关话题


简介和环境说明

本环境使用的单个宿主主机,而不是跨主机集群,本spark集群环境存在的意义可能在于便于本地开发测试使用,非常轻量级和便捷。这个部署过程,最好在之前有过一定的hadoop,spark集群部署经验的基础,本文重点在于doc...
查看更多

反思 | 分布式框架是必须的吗?

xiaoyh 发表了文章 • 1 个评论 • 4274 次浏览 • 2015-09-23 09:50 • 来自相关话题


【编者的话】本文主要讲述了通过规范化处理流程,可以使用相同的处理流程来处理流式或者批量处理任务,例如Hadoop和Storm,从而提高重用性。

当有人问起该如何处理大数据问题时,他们总是被指引到现存的产品中,例如Hadoop或者Storm。虽然这些产品非常棒...
查看更多

Docker将会改变Hadoop,变的更快更容易

hokingyang 发表了文章 • 3 个评论 • 4686 次浏览 • 2015-06-22 11:55 • 来自相关话题


【编者的话】 最近在San Jose,Clif开幕的hadoop峰会上会有关于Docker和Hadoop的话题讨论,越来越多的创业公司致力于使用Docker技术来简化hadoop应用开发部署的速度。目前有两个方向:1)使用Docker容纳Hadoop stac...
查看更多

基于Docker快速搭建多节点Hadoop集群

KiwenLau 发表了文章 • 23 个评论 • 22419 次浏览 • 2015-05-24 16:28 • 来自相关话题


【编者的话】Docker最核心的特性之一,就是能够将任何应用包括Hadoop打包到Docker镜像中。这篇教程介绍了利用Docker在单机上快速搭建多节点Hadoop集群的详细步骤。作者在发现目前的Hadoop on Docker项目所存在的问题之后,开发了接...
查看更多

利用 Spring Boot 在 Docker 中运行 Hadoop

oilbeater 发表了文章 • 0 个评论 • 5670 次浏览 • 2015-05-05 14:22 • 来自相关话题


【编者的话】Spring Boot是由Pivotal团队提供的全新框架,其设计目的是用来简化新Spring应用的初始搭建以及开发过程。本文介绍了如何利用Spring Boot在Docker中运行Hadoop任务。

简介

越来越多的应用都开始使用Hadoo...
查看更多

有在mesos 上安装hadoop的吗 这里是不是错误的

回复

xds2000 回复了问题 • 2 人关注 • 1 个回复 • 1369 次浏览 • 2015-11-09 20:01 • 来自相关话题

Docker Compose多个依赖链链接到同一个节点,如何启动?

回复

wonderflow 回复了问题 • 4 人关注 • 5 个回复 • 4317 次浏览 • 2015-05-06 14:48 • 来自相关话题

在Hadoop上运行Docker容器的六大陷阱

精灵云 发表了文章 • 0 个评论 • 627 次浏览 • 2017-06-01 17:01 • 来自相关话题


关于译者Ghostcloud:
Ghostcloud(中文名:精灵云)是成都精灵云科技有限公司旗下的基于Docker的PaaS/CaaS平台品牌。公司成立于2015年,核心团队由来自EMC、Veritas、华为、IBM、Microsoft的核心技术主...
查看更多

容器和微服务在Hadoop生态系统中找到一席之地

夕口夕 发表了文章 • 0 个评论 • 1237 次浏览 • 2016-11-09 20:38 • 来自相关话题


【编者的话】容器和微服务凭借构架上的灵活优势,已经杀进了Hadoop生态系统。分别位于德国和美国两家公司的技术高管对此提出了自己的观点。

最近关于大数据的实践多是基于裸机的,这意味着Hadoop已经在非虚拟服务器上被广为实现。随着容器和微服务在应用服务界越来...
查看更多

基于Docker搭建Hadoop集群之升级版

KiwenLau 发表了文章 • 2 个评论 • 1463 次浏览 • 2016-06-14 22:58 • 来自相关话题


【编者的话】kiwenlau/hadoop-cluster-docker是去年参加[Docker巨好玩](http://www.alauda.cn/201...
查看更多

基于Docker编译Hadoop

KiwenLau 发表了文章 • 0 个评论 • 1024 次浏览 • 2016-06-07 22:31 • 来自相关话题


【编者的话】将编译Hadoop所需要的依赖软件安装到Docker镜像中,然后在Docker容器中编译Hadoop,可以提高编译效率,同时避免污染主机。编译其他软件时,也可以参考这篇博客的方法。

GitHub地址:
- [kiwenlau/com...
查看更多

在Docker上使用Weave搭建Hadoop和Spark跨主机容器集群

方圆小生 发表了文章 • 1 个评论 • 2948 次浏览 • 2016-02-24 12:42 • 来自相关话题


功能和环境说明
实际环境是开发使用的两台服务器,每个服务器上是三个集群容器节点,总共六个节点,使用weave实现跨主机的通信,并且利用小插件可以实现在局域网或者是在外网查看监控集群的webUI和开放7077等关键端口进行程序远程调试功能。
目前网...
查看更多

将 HDFS 搬上数人云:轻松实现集群的扩展收缩

Dataman数人科技 发表了文章 • 0 个评论 • 1559 次浏览 • 2016-02-02 16:58 • 来自相关话题


HDFS 是 Hadoop Distributed File System 的简称,作为 Apache Hadoop Core 项目的一部分,提供了一个高度容错性的分布式文件系统,适合部署在廉价的机器上。HDFS 可以提供高吞吐量的数据访问,非常适合大规模数据...
查看更多

为什么我们选择Docker来构建Crayon的数据处理平台

qinlu1988 发表了文章 • 0 个评论 • 3098 次浏览 • 2016-01-31 15:30 • 来自相关话题


【编者的话】随着Hadoop成为大数据的事实标准,Hadoop的生态也在不断完善,环境搭建的复杂性,给开发和测试带来了不便。如何用Docker来降低Hadoop开发中的复杂性,本文中Crayon带来了他们的方案。

之前,企业软件厂商都会尽可能多的控制客户的基...
查看更多

使用Docker在本地搭建hadoop,spark集群

方圆小生 发表了文章 • 0 个评论 • 10535 次浏览 • 2016-01-06 16:57 • 来自相关话题


简介和环境说明

本环境使用的单个宿主主机,而不是跨主机集群,本spark集群环境存在的意义可能在于便于本地开发测试使用,非常轻量级和便捷。这个部署过程,最好在之前有过一定的hadoop,spark集群部署经验的基础,本文重点在于doc...
查看更多

反思 | 分布式框架是必须的吗?

xiaoyh 发表了文章 • 1 个评论 • 4274 次浏览 • 2015-09-23 09:50 • 来自相关话题


【编者的话】本文主要讲述了通过规范化处理流程,可以使用相同的处理流程来处理流式或者批量处理任务,例如Hadoop和Storm,从而提高重用性。

当有人问起该如何处理大数据问题时,他们总是被指引到现存的产品中,例如Hadoop或者Storm。虽然这些产品非常棒...
查看更多

Docker将会改变Hadoop,变的更快更容易

hokingyang 发表了文章 • 3 个评论 • 4686 次浏览 • 2015-06-22 11:55 • 来自相关话题


【编者的话】 最近在San Jose,Clif开幕的hadoop峰会上会有关于Docker和Hadoop的话题讨论,越来越多的创业公司致力于使用Docker技术来简化hadoop应用开发部署的速度。目前有两个方向:1)使用Docker容纳Hadoop stac...
查看更多