存档

2013年3月 的存档

MapR与Ubuntu携手推免费版Hadoop工具

2013年3月31日 tianhl 没有评论

MapR与Ubuntu Linux开发商Canonical合作,实现Ubuntu与Hadoop大数据平台无缝兼容。 据介绍,Ubuntu/MapR包括MapR M3版本的Hadoop,以支持Ubuntu 12.04 LTS和12.10版本。该软件目前可以通过Canonical的Ubuntu合作伙伴获得,时间从4月25日开始。 Canonical公司副总裁Kyle MacDonald表示,MapR M3是一款易于部署的企业级Hadoop解决方案,“我们为Ubuntu客户提供了高效执行大数据的新途径”。 MapR M3是一款捆绑有HBase数据库、Pig开发分析工具、Hive数据仓库系统、Sqoop数据传输软件和其他Hadoop相关组件的免费版软件。 MapR是什么: MapR是MapR Technologies, Inc的一个产品,号称下一代Hadoop,使Hadoop变为一个速度更快、可靠性更高、更易于管

分类: Hadoop 标签: ,

本地模式运行storm的demo

2013年3月30日 tianhl 11 条评论

本例实现的是本地模式运行storm的wordcount demo! 开发过程中,可以用本地模式来运行Storm,这样就能在本地开发,在进程中测试Topology。一切就绪后,以远程模式运行 Storm,提交用于在集群中运行的Topology。 创建工程:demo-storm 目录结构如下: demo-storm ——src/main/java ————com.youku.demo ————————bolts ————————spouts ——src/test/java ——src/main/resource ————words.txt [caption id="attachment_1359" align="aligncenter" width="194" caption="storm-demo工程目录"][/caption] WordCounter.java: package com.youku.demo.bolts; import java.util.HashMap; import java.util.Map; import ba

分类: Hadoop 标签: ,

渐进学习hadoop

2013年3月29日 tianhl 没有评论

渐进式的学习Hadoop: (1)先搭建一个单节点的 Hadoop平台,先将那些疑问放一边,先去学习如何搭建这个平台; (2)尝试用Hadoop管理各类文件,尝试将数据存放于其非关系型数据库中,尝试编写一个MapReduce程序,通过些步骤,能够大概的认识到Hadoop是一个海量的数据、文件的存放平台,上面提供了各种通用的工具以帮助用户更好的去分析、应用与处理这些数据与文件; (3)考虑一个问题:如果当前有一个任务交给你,去实现一个TB、乃至PB级数据的海量存取与快速查询,你最后如果实现了这一任务,其实就是实现了一个专用任务的Hadoop平台,考虑到未来有很多类似的任务,将你的专用Hadoop平台改造成通用性平台,以方便其他用户使用,那你可能

分类: Hadoop 标签:

Storm实时计算平台

2013年3月28日 tianhl 没有评论

Twitter将Storm正式开源了,这是一个分布式的、容错的实时计算系统,它被托管在GitHub上,遵循 Eclipse Public License 1.0。Storm是由BackType开发的实时处理系统,BackType现在已在Twitter麾下。GitHub上的最新版本是Storm 0.8.0,基本是用Clojure写的。 Storm为分布式实时计算提供了一组通用原语,可被用于“流处理”之中,实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。 Storm也可被用于“连续计算”(continuous computation),对数据流做连续查询,在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”,以并行的方式运行昂贵的运算。 Storm的主工程师Nathan Marz表示: Storm可以方便地在一个计算机

分类: 云计算 标签: ,

体验云存储

2013年3月27日 tianhl 没有评论

体验“云存储” Dropbox据说在分享文件的时候是有每日20G流量限制的,超过会封号; 腾讯的微云,我问过客服,说是没有,分享人数,下载次数,流量控制等限制; QQ中转站有下载次数限制 百度网盘有版权问题,可能会分享失败 各种廉价及有吸引力的 云选择日益增多。但是通过3月19号公布一个Strategy Analytics调查显示,美国市场已被大公司开发的生态系统所霸占。研究发现Apple在硬件和服务上的融合已很大限度上成为这种生态系统的标杆,在该领域占主导地位;而Dropbox、Amazon和Google紧随其后。 Strategy Analytics调查了接近2300个连接终端后得出结论:Apple的iCloud和iTunes Match服务拥有了市场上27%的用户;其它取得了两位数成绩的公司有:

分类: 云计算 标签:

爆笑体育完整版20130325

2013年3月26日 tianhl 没有评论

爆笑体育完整版20130325

分类: 程序人生 标签:

利用devstack在ubuntu上安装openstack

2013年3月25日 tianhl 没有评论

系统要求:ubuntu12.04 32位 安装git: sudo apt-get install git 获取devstack脚本: git clone https://github.com/openstack-dev/devstack.git 在当前用户目录下执行命令,否则会报没权限 进入devstack目录 cd devstack ./stack.sh 脚本执行过程需要按照提示设置几个密码,执行过程大概: (1)下载并安装Openstack运行所需要的系统软件,大概包括一些python的组件、mysql、rabbitmq-server等 (2)下载openstack组件,包括nova 、keystone、glance、noVNC、horizon等 (3)下载并安装openstack源码所依赖的python库和框架 (4)安装openstack各组件 (5)启动各项服务 然后就是漫长到等待,需要看网络情况,经常装到一半没速度了,可以换

分类: 云计算 标签: ,

IaaS层实现思路

2013年3月24日 tianhl 没有评论

云计算,什么是云计算,它到底离我们有多远? 这些内容我已经在《云计算的定义和特征》中阐述过了,需要看的朋友可以再去翻出来看看。 这篇文章我们重点讨论IaaS IaaS的使用者是谁?IaaS能提供怎样的服务?他们怎么利用提供的服务? 是研发人员,有了IaaS层以后,他们就不需要等待公司的流程,盼星星盼月亮似地等着审批机器。IaaS层提供资助服务,完全可以由使用者自助申请,通过云管理平台审批,而后得到想要的机器。这种是直接提供虚拟机。 还有一种场景,我的IaaS层在外面是看不到东西的,这里的IaaS层只是为内部的中间件提供一个可部署、易维护的一个环境,而用户使用的服务是中间件提供的。这种我们得到的服务是间接的,看不到摸不着的。

分类: 云计算 标签: ,

Hadoop云计算资料收集

2013年3月23日 tianhl 5 条评论

Hadoop云计算资料收集,会陆续更新…… 先说下我本人对各种资料、信息来源的看法: 1、书:有些书不错,必须得买,必须得深入的看,这种书比较少;但有些书,乍一看书目很不错,但内容多为浅尝辄止,没啥新意,看看书目就行了,作为查找资料的依据,自学的大纲,不买;垃圾书就不说了。 2、培训:任何事情都有好坏两方面,我对此的态度是不排斥,也不喜欢;好多培训课程在课程安排上还是不错的,因此在自学的时候可以参考培训学校安排的学习路线,参加不参加培训看个人基础,关键是自己知道自己应该学什么,而不是别人告诉你,你要学什么;充分利用培训网站上的课程表,安排自学路线,还是不错的方法。充分利用培训学校的培训视频,

分类: Hadoop, 云计算 标签: ,

261个Java基础问题

2013年3月22日 tianhl 4 条评论

这是摘自《你必须知道的261个Java语言问题》的书目,大家可以对照着,排查下自己哪些还不熟悉,都是比较基础的问题 第1章 java基本概念及环境配置 .1 faq1.01 什么是面向对象程序设计? 1 faq1.02 面向对象程序设计的基本特征有哪些? 2 faq1.03 java语言是如何产生和发展的? 3 faq1.04 android与java语言有什么关系? 4 faq1.05 java se、java ee和java me有什么区别? 5 faq1.06 java语言的运行机制如何? 6 faq1.07 什么是jvm?有什么作用?工作机制如何? 8 faq1.08 什么是jre(或j2re)? 9 faq1.09 什么是jdk? 10 faq1.10 jdk、jre和jvm之间有什么区别? 11 faq1.11 什么是gc?gc的工作原理如何? 12 faq1.12 

分类: Java 标签: