存档

文章标签 ‘大数据’

hadoop spark 大数据相关资源

2016年12月23日 admin 没有评论

小象《Hadoop 2.X大数据平台V3》 链接:http://pan.baidu.com/s/1nvS7GFJ 密码:tqng 《Spark 1.X 大数据平台V2》11月份班 链接:http://pan.baidu.com/s/1sl6KOGX 密码:qlea 深入浅出Hive企业级架构优化、Hive Sql优化、压缩和分布式缓存 链接:http://pan.baidu.com/s/1gfsmj3X 密码:50y2 资源整理中……. 欢迎大家补充!

分类: Hadoop 标签: , ,

大数据热门职业薪酬榜

2014年2月27日 tianhl 没有评论

随着越来越多企业开始投身于大数据技术的革新洪流,对于IT专业人士的市场需求也水涨船高。时至今日,具备收集、整理、分析以及构建不同来源数据技能的人才正迎来自己职业生涯的上升期。 在当下的数字化时代,数据量的丰富程度远远超过历史上的任何时期,很多时候这种丰富程度甚至成为一种沉重的负担。企业开始将大量资源投入到云技术、移动技术以及社交媒体当中。结合这些新兴领域,再加上企业自身运营所必然产生的信息,我们发现目前需要收集的数据总量单单用“爆炸式”已经不足以形容其扩张速度。根据Kforce公司(一家总部位于佛罗里达州坦帕市的人力资源企业)的调查,伴随着数据量的节节攀升,市场对于有能力收集、整理并利用数据内容的人才

分类: Hadoop 标签: ,

数据的游戏:冰与火

2013年8月6日 tianhl 没有评论

我对数据挖掘和机器学习是新手,从去年7月份在Amazon才开始接触,而且还是因为工作需要被动接触的,以前都没有接触过,做的是需求预测机器学习相关的。后来,到了淘宝后,自己凭兴趣主动地做了几个月的和用户地址相关数据挖掘上的工作,有一些浅薄的心得。下面这篇文章主要是我做为一个新人仅从事数据方面技术不到10个月的一些心得,也许对你有用,也许很傻,不管怎么样,欢迎指教和讨论。 另外,注明一下,这篇文章的标题模仿了一个美剧《权力的游戏:冰与火之歌》。在数据的世界里,我们看到了很多很牛,很强大也很有趣的案例。但是,数据就像一个王座一样,像征着一种权力和征服,但登上去的路途一样令人胆颤。 数据挖掘中的三种角色 在Ama

分类: 云计算 标签: ,

BBC.地平线.大数据时代

2013年6月30日 tianhl 没有评论

“在洛杉矶,警方通过数据分析,预测12小时内哪个地区最有可能发生犯罪;在伦敦金融城,一位交易员认为,数学计算可成为发财”秘笈”;在南美,天文学家尝试为整个宇宙进行分类记录……这些迥然不同的领域如今出现同一特征:数据量的大爆发。”   这是英国广播公司品牌栏目《地平线》最新播出的纪录片《大数据时代》中的开篇一幕。

分类: 云计算 标签:

没有云的话 大数据就是个作坊by王坚

2013年5月14日 tianhl 没有评论

王坚,阿里巴巴最富争议性的人物之一,爱者极爱,恨者极恨。 5月12日,我和MTC的朋友,在杭州发起并主持了一场关于云计算的沙龙,虾米的思践聊了云音乐,快的打车陈伟星聊了云时代的产品设计,短趣网王强宇聊了云时代的创业,当然少不了王坚聊一聊他对云计算的看法。 当天,青龙老贼发了一段王坚的部分观点,遭遇了他开通微信公众号以来最强烈的退粉,也激起了圈内人的各种讨论,这就是王坚的“影响力”。 我把王坚的分享做了个详细版的梳理,里面涉及了阿里云的定位、对大数据的反思、对APP创新的不看好,信息量很大,你可以感受一下。 一、无人机是大数据的典型 我热爱和平,但一讲到云计算和大数据,我想到的两个例子,都跟战争有关。 一个

分类: 云计算 标签: , , ,

大数据是什么

2013年4月13日 tianhl 没有评论

大数据是什么? 这个视频介绍什么是大数据,为何应该关注大数据以及企业应该如何利用大数据来挖掘信息并实现巨大的竞争优势。

分类: 云计算 标签:

月上也有大数据 超级计算机未来或登月

2012年10月10日 tianhl 没有评论

月球上要搭建超级计算机?虽然这听起来有点很荒谬,但美国南加州大学的研究生们认为这很有必要,因为他们觉得这将有助于缓解未来深空网络堵塞,而这也正是NASA科学家所担心的。 Ouliang Chang在几周前召开的航空空间会议上提出了在月球上建超级计算机的想法。这个计划准备在月球的背面,也就是远离地球和电磁的那一面的陨石坑中埋藏一个巨型计算机,这样利用核动力的计算机就可以处理空间任务数据,同时也将远离地球的深空网络带入了一个以月球为中心的时代。 南加州大学工程学院Ouliang Chang的课程主管Madhu Thangavelu称,一旦物理基础主干网建设完成,它一定很像某个庞然大物的挖掘现场。 深空网络是由位于美国、澳大利亚和西班牙的13个巨

分类: 云计算 标签:

福布斯:大数据或因提前成为行业标准而消亡

2012年10月10日 tianhl 没有评论

据美国《福布斯》网站刊登网络性能管理软件提供商SevOne首席执行官迈克·费伦(Mike Phelan)的文章称,“大数据”(Big Data)或将因为提前成为行业标准而迅速消亡。一旦“大数据”变成“普通数据”(Any Data),届时的市场赢家无疑都是较早关注数据收购、分析、存储、分享和具体化方法的公司。 以下是文章内容全文: 在科技产业,热门词汇出现和消失的频率非常高,堪比政治宣传活动媒体每周热词的更新频率。然而,与其他多数热门词不同的是,“大数据”(Big Data)的受追捧程度却一直保持了数年之久。如果不能成为科技产业今年的流行词的话,“大数据”至少已经成为第三季度的热词。从事或拥有“大数据”业务的公司都在击鼓相庆,而那些不

分类: 云计算 标签:

大数据处理三大瓶颈:大容量、多格式和速度

2012年5月16日 tianhl 没有评论

导读:Yahoo CTO Raymie Stata是领导海量数据分析引擎的关键人物。IBM和Hadoop将更多的精力专注在海量数据上,海量数据正在潜移默化的改变企业和IT部门。   越来越多的大企业的数据集以及创建需要的一切技术,包括存储、网络、分析、归档和检索等,这些被认为是海量数据。这些大量信息直接推动了存储、服务器以及安全的发展。同时也是给IT部门带来了一系列必须解决的问题。 信息技术研究和分析的公司Gartner认为海量数据处理应该是将大量的不同种类以及结构化和非结构化的数据通过网络汇集到处理器和存储设备之中,并伴随着将这些数据转换为企业的商业报告。 海量数据处理的三个主要因素:大容量数据、多格式数据和速度 大容量数据(TB级