MapR与Ubuntu携手推免费版Hadoop工具

MapR与Ubuntu携手推免费版Hadoop工具

MapR与Ubuntu Linux开发商Canonical合作,实现Ubuntu与Hadoop大数据平台无缝兼容。 据介绍,Ubuntu/MapR包括MapR M3版本的Hadoop,以支持Ubuntu 12.04 LTS和12.10版本。该软件目前可以通过Canonical的Ubuntu合作伙伴获得,时间从4月25日开始。 Canonical公司副总裁Kyle MacDonald表示,MapR M3是一款易于部署的企业级Hadoop解决方案,“我们为Ubuntu客户提供了高效执行大数据的新途径”。 MapR M3是一款捆绑有HBase数据库、Pig开发分析工具、Hive数据仓库系统、Sqoop数据传输软件和其他Hadoop相关组件的免费版软件。 MapR是什么: MapR是MapR Technologies, Inc的一个产品,号称下一代Hadoop,使Hadoop变为一个速度更快、可靠性更高、更易于管

本地模式运行storm的demo

本地模式运行storm的demo

本例实现的是本地模式运行storm的wordcount demo! 开发过程中,可以用本地模式来运行Storm,这样就能在本地开发,在进程中测试Topology。一切就绪后,以远程模式运行 Storm,提交用于在集群中运行的Topology。 创建工程:demo-storm 目录结构如下: demo-storm ——src/main/java ————com.youku.demo ————————bolts ————————spouts ——src/test/java ——src/main/resource ————words.txt WordCounter.java: WordNormalizer.java: WordReader.java: TopologyMain.java: pom.xml: words.txt: 运行的时候需要配置参数:src/main/resources/words.txt 指定输入文件 日志输出: 会报好多zookeeper异常,还有最后的日志文

渐进学习hadoop

渐进学习hadoop

渐进式的学习Hadoop: (1)先搭建一个单节点的 Hadoop平台,先将那些疑问放一边,先去学习如何搭建这个平台; (2)尝试用Hadoop管理各类文件,尝试将数据存放于其非关系型数据库中,尝试编写一个MapReduce程序,通过些步骤,能够大概的认识到Hadoop是一个海量的数据、文件的存放平台,上面提供了各种通用的工具以帮助用户更好的去分析、应用与处理这些数据与文件; (3)考虑一个问题:如果当前有一个任务交给你,去实现一个TB、乃至PB级数据的海量存取与快速查询,你最后如果实现了这一任务,其实就是实现了一个专用任务的Hadoop平台,考虑到未来有很多类似的任务,将你的专用Hadoop平台改造成通用性平台,以方便其他用户使用,那你可能

Storm实时计算平台

Storm实时计算平台

Twitter将Storm正式开源了,这是一个分布式的、容错的实时计算系统,它被托管在GitHub上,遵循 Eclipse Public License 1.0。Storm是由BackType开发的实时处理系统,BackType现在已在Twitter麾下。GitHub上的最新版本是Storm 0.8.0,基本是用Clojure写的。

体验云存储

体验云存储

Dropbox据说在分享文件的时候是有每日20G流量限制的,超过会封号;
腾讯的微云,我问过客服,说是没有,分享人数,下载次数,流量控制等限制;
QQ中转站有下载次数限制
百度网盘有版权问题,可能会分享失败

利用devstack在ubuntu上安装openstack

利用devstack在ubuntu上安装openstack

系统要求:ubuntu12.04 32位 安装git: 获取devstack脚本: 在当前用户目录下执行命令,否则会报没权限 进入devstack目录 脚本执行过程需要按照提示设置几个密码,执行过程大概: (1)下载并安装Openstack运行所需要的系统软件,大概包括一些python的组件、mysql、rabbitmq-server等 (2)下载openstack组件,包括nova 、keystone、glance、noVNC、horizon等 (3)下载并安装openstack源码所依赖的python库和框架 (4)安装openstack各组件 (5)启动各项服务 然后就是漫长到等待,需要看网络情况,经常装到一半没速度了,可以换用其他到Ubuntu 更新源。 访问http://172.16.95.187/,输入用户名密码即可 http://devstack.org/

IaaS层实现思路

IaaS层实现思路

云计算,什么是云计算,它到底离我们有多远? 这些内容我已经在《云计算的定义和特征》中阐述过了,需要看的朋友可以再去翻出来看看。 这篇文章我们重点讨论IaaS IaaS的使用者是谁?IaaS能提供怎样的服务?他们怎么利用提供的服务? 是研发人员,有了IaaS层以后,他们就不需要等待公司的流程,盼星星盼月亮似地等着审批机器。IaaS层提供资助服务,完全可以由使用者自助申请,通过云管理平台审批,而后得到想要的机器。这种是直接提供虚拟机。 还有一种场景,我的IaaS层在外面是看不到东西的,这里的IaaS层只是为内部的中间件提供一个可部署、易维护的一个环境,而用户使用的服务是中间件提供的。这种我们得到的服务是间接的,看不到摸不着的。

Hadoop云计算资料收集

Hadoop云计算资料收集

Hadoop云计算资料收集,会陆续更新……

先说下我本人对各种资料、信息来源的看法:
1、书:有些书不错,必须得买,必须得深入的看,这种书比较少;
2、培训:任何事情都有好坏两方面,我对此的态度是不排斥,也不喜欢;好多培训课程在课程安排上还是不错的,因此在自学的时候可以参考培训学校安排的学习路线,参加不参加培训看个人基础,关键是自己知道自己应该学什么,而不是别人告诉你,你要学什么;

261个Java基础问题

261个Java基础问题

这是摘自《你必须知道的261个Java语言问题》的书目,大家可以对照着,排查下自己哪些还不熟悉,都是比较基础的问题 第1章 java基本概念及环境配置 .1 faq1.01 什么是面向对象程序设计? 1 faq1.02 面向对象程序设计的基本特征有哪些? 2 faq1.03 java语言是如何产生和发展的? 3 faq1.04 android与java语言有什么关系? 4 faq1.05 java se、java ee和java me有什么区别? 5 faq1.06 java语言的运行机制如何? 6 faq1.07 什么是jvm?有什么作用?工作机制如何? 8 faq1.08 什么是jre(或j2re)? 9 faq1.09 什么是jdk? 10 faq1.10 jdk、jre和jvm之间有什么区别? 11 faq1.11 什么是gc?gc的工作原理如何? 12 faq1.12