存档

作者存档

Hadoop distcp集群间同步数据

2017年3月13日 admin 没有评论

hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true -log /temp/tianhailong/ webhdfs://10.11.4.240:50070/test/tianhl webhdfs://10.11.1.10/user/hive 遇到的坑: 1、数据所在的集群所有机器,需要配置同步集群的hosts。 2、带有Kerberos安全认证,需要加参数。-D ipc.client.fallback-to-simple-auth-allowed=true 3、 注意运行日志,需要写入有权限的文件夹。 -log /temp/tianhailong/ 4、被写入数据的集群是hive用户写入的,需要找一个hive可以写入的权限的文件夹存放数据。/user/hive   参数说明: -m <num_maps> 同时拷贝的最大数目 指定了拷贝数据时map的数目。请注意并不是map数越多吞吐量越大。

分类: Hadoop 标签: ,

维度表和事实表

2017年3月2日 admin 没有评论

维度表示你要对数据进行分析时所用的一个量, 比如你要分析产品销售情况, 你可以选择按类别来进行分析,或按区域来分析. 这样的按..分析就构成一个维度。前面的示例就可以有两个维度:类型和区域。另外每个维度还可以有子维度(称为属性),例如类别可以有子类型,产品名等属性。 下面是两个常见的维度表结构: 产品维度表:Prod_id, Product_Name, Category, Color, Size, Price 时间维度表:TimeKey, Season, Year, Month, Date 而事实表是数据聚合后依据某个维度生成的结果表。它的结构示例如下: 销售事实表:Prod_id(引用产品维度表), TimeKey(引用时间维度表), SalesAmount(销售总量,以货币计), Unit(销售量)   上面的这些表就是存在

分类: Hadoop 标签:

卫语句

2017年2月13日 admin 没有评论

大量的嵌套条件分支是很容易让人望而却步的代码,我们应该极力避免这种代码的出现。尽管结构化原则一直在说一个函数只能有一个出口,但是在大量的嵌套条件分支下,让我们忘了这所谓的规则吧。 有一个专业名词叫卫语句,可以治疗这种恐怖的嵌套条件语句。它的核心思想是,将不满足某些条件的情况放在方法前面,并及时跳出方法,以免对后面的判断造成影响,经过这项手术的代码看起来会非常的清晰。 1.使用卫语句取代嵌套表达式 2.卫语句就是把复杂的条件表达式拆分成多个条件表达式,比如一个很复杂的表达式,嵌套了好几层的if – then-else语句,转换为多个if语句,实现它的逻辑,这多条的if语句就是卫语句. 3有时候条件式可能出现在嵌套n

分类: Java 标签:

java代码获取完整的Exception异常信息

2017年2月8日 admin 没有评论

下面的java代码可以获取完整的Exception异常信息: import java.io.PrintWriter; import java.io.StringWriter; public class ExceptionTest { public static void main(String[] args) { try { String aa = ""; System.out.println(aa.substring(3)); } catch (Exception e) { e.printStackTrace(); StringWriter sw = new StringWriter(); e.printStackTrace(new PrintWriter(sw, true)); String str = sw.toString(); System.out.println("=========="); System.out.println(str); } } } 控制台打印的信息: java.lang.StringIndexOutOfBoundsException: String index out of r

分类: Java 标签:

蒸发冷却效应

2017年1月24日 admin 没有评论

这种效应是指当一个生态群落中的大多数高价值贡献者发现这个群落已经不能提供他们需要的东西, 因而离开的时候,出现的现象。 这种情况一旦发生, 群落的质量就会下降,造成价值第二高的贡献者也发现群落变得平庸了。 每一层的消失都降低了团体的质量, 直到最后剩下的无技能也无知觉的人,他们根本无法知晓自己是在一个平庸的团体里面。 那些最想去结交别人的人,往往是大家最不愿意去结交的人; 那些最想说出自己看法的人,往往是大家最不愿意听他说的人; 那些最想同别人交换名片保持联络的人,往往是大家最不希望拿出名片同他交换的人; 这么说也许更清楚: 最不想来参加聚会的人,正是大家都希望能来聚会的人; 最不想来认识新朋友的人

分类: 程序人生 标签:

layer捕获页如何实现

2017年1月5日 admin 没有评论

layer捕获页代码如下: //捕获页 layer.open({ type: 1, shade: false, title: false, //不显示标题 content: $('.layer_notice'), //捕获的元素,注意:最好该指定的元素要存放在body最外层,否则可能被其它的相对元素所影响 cancel: function(){ layer.msg('捕获就是从页面已经存在的元素上,包裹layer的结构', {time: 5000, icon:6}); } }); 但是如果按照官网说的 把要指定的元素放在body外层,则根本找不到该元素。 变通的办法:在body内写一个空白的div,当触发的时候就在空白div内添加html,如果关闭掉弹出层,则把这个div的html代码全部清空。代码如下: function parvalueFocus(n){ var $ob = $(n); //alert

分类: Java 标签: ,

hadoop spark 大数据相关资源

2016年12月23日 admin 没有评论

小象《Hadoop 2.X大数据平台V3》 链接:http://pan.baidu.com/s/1nvS7GFJ 密码:tqng 《Spark 1.X 大数据平台V2》11月份班 链接:http://pan.baidu.com/s/1sl6KOGX 密码:qlea 深入浅出Hive企业级架构优化、Hive Sql优化、压缩和分布式缓存 链接:http://pan.baidu.com/s/1gfsmj3X 密码:50y2 资源整理中……. 欢迎大家补充!

分类: Hadoop 标签: , ,

CMU博士Tom Murphy的人工智能超级马里奥

2016年12月14日 admin 没有评论

跑了一下CMU博士Tom Murphy的人工智能程序来玩任天堂的超级马里奥,虽然是2013年就出来了,但是还是很激动呀。 这是他本人的博客:http://radar.spacebar.org/ 资源都在这个网上有:http://www.cs.cmu.edu/~tom7/mario/ 在文章的最下边是论文链接、源程序和编译好的可执行文件。 论文链接:http://www.cs.cmu.edu/~tom7/mario/mario.pdf 源程序:http://sourceforge.net/p/tom7misc/svn/HEAD/tree/trunk/tasbot/ 可执行程序:http://www.cs.cmu.edu/~tom7/mario/playfun.7z 解压playfun.7z压缩包,会看到这些程序 [caption id="attachment_2455" align="aligncenter" width="300" caption="playfun7z"][/caption] 打开readme文档,看作者的步骤

利用PostMan开发调试Restful API

2016年12月13日 admin 没有评论

利用PostMan开发调试Restful API 下边的图片是postman发送不同类型的请求,注意url和参数的变化: [caption id="attachment_2448" align="aligncenter" width="300" caption="get"][/caption] [caption id="attachment_2449" align="aligncenter" width="300" caption="delete"][/caption] [caption id="attachment_2450" align="aligncenter" width="300" caption="post"][/caption] [caption id="attachment_2451" align="aligncenter" width="300" caption="put"][/caption] 利用spring mvc实现restful api ,需要修改的部分: @RestController 还有就是要注意参数获取的方式, 参考后端代码: /** * Copyright &copy; 2015-2020 <

分类: Java 标签: , ,

Eclipse修改SVN的地址

2016年12月12日 admin 没有评论

在Eclipse中选择Windows-> Show View->others  选中SVN资源库  然后选中原有的地址,选择“重新定位”,然后修改url即可

分类: Java 标签: