存档

‘Hadoop’ 分类的存档

hadoop spark 大数据相关资源

2016年12月23日 admin 没有评论

小象《Hadoop 2.X大数据平台V3》 链接:http://pan.baidu.com/s/1nvS7GFJ 密码:tqng 《Spark 1.X 大数据平台V2》11月份班 链接:http://pan.baidu.com/s/1sl6KOGX 密码:qlea 深入浅出Hive企业级架构优化、Hive Sql优化、压缩和分布式缓存 链接:http://pan.baidu.com/s/1gfsmj3X 密码:50y2 资源整理中……. 欢迎大家补充!

分类: Hadoop 标签: , ,

Presto的作用

2016年8月2日 admin 没有评论

Presto不是什么 虽然Presto一直被一些个人或者团体称为 数据库 ,但是Presto并不是数据库。 千万不要以为Presto可以解析SQL,那么Presto就是一个标准的数据库。Presto并不是传统意义上的数据库。Presto并不是MySQL、PostgreSQL或者Oracle的代替品。Presto并不能用来处理在线事务。其实很多其他的数据库产品也是被用来设计为数据仓库或者数据分析工具,但是也不能处理在线事务。 Presto是什么 Presto通过使用分布式查询,可以快速高效的完成海量数据的查询。如果你需要处理TB或者PB级别的数据,那么你可能更希望借助于Hadoop和HDFS来完成这些数据的处理。作为Hive和Pig(Hive和Pig都是通过MapReduce的管道流来完成HDFS数据的查询)的替代者,Pr

分类: Hadoop 标签:

elasticsearch在window下的安装和java查询

2016年4月7日 admin 没有评论

下载elasticsearch的zip包,elasticsearch的版本是2.2.1 ps:elasticsearch的api随版本更新的速度快,这里边需要查看对应版本的api文档 解压后安装,elasticsearch的访问地址: http://localhost:9200/ { "name" : "Venus", "cluster_name" : "elasticsearch", "version" : { "number" : "2.2.1", "build_hash" : "d045fc29d1932bce18b2e65ab8b297fbf6cd41a1", "build_timestamp" : "2016-03-09T09:38:54Z", "build_snapshot" : false, "lucene_version" : "5.4.1"

分类: Hadoop 标签:

hive视频下载

2016年4月6日 admin 没有评论

https://yunpan.cn/cqPmZzZ9QgUmK 访问密码 9920   [caption id="attachment_2363" align="alignnone" width="300" caption="hive视频下载"][/caption]

分类: Hadoop 标签:

hive中的文件格式

2016年3月30日 admin 没有评论

在hive中的文件格式主要如下几种: textfile:默认的文本方式 Sequencefile:二进制格式 rcfile:面向列的二进制格式 orc:rcfile的增强版本,列式存储 parquet:列式存储,对嵌套类型数据支持较好 hive文件支持压缩方式: 这个与底层的hadoop有关,hadoop支持的压缩,hive都支持,主要有:gzip,bizp,snappy,lzo

分类: Hadoop 标签:

训练对数字的敏感

2015年5月18日 admin 没有评论

开经营会议的时候,我常常发现很多中高层管理人员,对数字相当的不敏感。有时候,整个一场会开完,有些管理人员对各部门所报告的数据,既无问询,也不质疑,只是盯着幻灯片,任其往下翻。而报告的人,常常将一些数字念到个位数,乃至小数点后面两位数,也让我觉得不可思议。我觉得这样的会议,这样的数字,这样的管理人员,都没有价值。不能透过数字,看出数字背后的问题的管理人员,不是好管理人员。要么赶快训练对数字的敏感度,要么,干脆另谋生路。 这让我想自己与数字打交道的故事。 读书时,我的数学成绩并不好。参加工作后,我所从事的工作,却是个天天跟各种数据打交道的工作。至今还记得,第一次做统计数据的工作,一堆数字,我加过去

分类: Hadoop 标签:

Hadoop和云计算的关系

2015年5月4日 admin 没有评论

[caption id="attachment_57" align="aligncenter" width="716"] Hadoop组件[/caption] Hadoop主要是由HDFS和MapReduce组成,HDFS是一个分布式文件系统(Hadoop Distributed File System),MapReduce则是用于并行处理大数据集的软件框架。因此,Hadoop是一个能够对大量数据进行分布式处理的软件框架,它是一种技术的实现。 Hadoop是Apache基金会下的一款开源软件, 它实现了包括分布式文件系统HDFS和MapReduce框架在内的云计算软件平台的基础架构,并且在其上整合了包括数据库、云计算管理、数据仓储等一系列平台,其已成为工业界和学术界进行云计算应用和研究的标准平台。Hadoop现在已经广泛应用于包括国外的FaceBook,Twitter,Yahoo!等公司,

分类: Hadoop, 云计算 标签:

Java和云计算的关系

2015年5月4日 admin 没有评论

Java是一种程序设计语言,云计算是一种新的商业计算模型和服务模式。他们实际上是没有直接关系的,但是由于Java 技术具有卓越的通用性、高效性、平台移植性和安全性,并且广泛应用于个人PC、数据中心、游戏控制台、科学超级计算机、智能手机、物联网和互联网,同时拥有全球最大的开发者专业社群。在全球云计算和移动互联网的产业环境下,Java更具备了显著优势和广阔前景,Java已经成为一个庞大而复杂的技术平台。 hadoop Java与云计算的关系主要体现在以下几个方面: Java在云计算中的优势: Java使云计算更简单,Java具有简单性、兼容性、简易性、安全性、动态性、高性能、解释性、健壮性 Java与分布式计算: 基于JAVA的分布式程序设计: 基

分类: Hadoop, 云计算 标签: ,

大数据热门职业薪酬榜

2014年2月27日 tianhl 没有评论

随着越来越多企业开始投身于大数据技术的革新洪流,对于IT专业人士的市场需求也水涨船高。时至今日,具备收集、整理、分析以及构建不同来源数据技能的人才正迎来自己职业生涯的上升期。 在当下的数字化时代,数据量的丰富程度远远超过历史上的任何时期,很多时候这种丰富程度甚至成为一种沉重的负担。企业开始将大量资源投入到云技术、移动技术以及社交媒体当中。结合这些新兴领域,再加上企业自身运营所必然产生的信息,我们发现目前需要收集的数据总量单单用“爆炸式”已经不足以形容其扩张速度。根据Kforce公司(一家总部位于佛罗里达州坦帕市的人力资源企业)的调查,伴随着数据量的节节攀升,市场对于有能力收集、整理并利用数据内容的人才

分类: Hadoop 标签: ,

Hadoop权威博客

2014年2月21日 tianhl 没有评论

请关注Yahoo! Hadoop团队的博客(developer.yahoo.com/blogs/hadoop)。 Hadoop在eBay的应用内容是根据eBay研究人员的技术博客[2]整理而成的,其中参考了eBay分析平台开发部Anil Madan介绍的Hadoop在eBay的使用情况,大家如果想要了解Hadoop在eBay应用的更多信息,可以关注eBay研究人员的技术博客(www.ebaytechblog.com)。 百度使用Hadoop平台的情况则是根据近几届Hadoop中国云计算大会上百度研究人员的报告整理而成,大家如果想了解更详细的信息或Hadoop中国云计算大会的相关信息可登录Hadoop in China网站:http://www.hadooper.cn。 Facebook使用Hadoop的情况是根据Facebook相关技术人员在各个云计算大会上所做的报告整理而成的。 Hadoop

分类: Hadoop 标签: