存档

2013年7月 的存档

memcache在linux下的安装

2013年7月31日 tianhl 没有评论

大前提:安装gcc  [caption id="attachment_1811" align="aligncenter" width="300" caption="输出表明缺少gcc"][/caption] 最简单的是yum安装: yum -y install gcc 1、libevent是安装 memcached 的唯一前提条件。它是 memcached 所依赖的异步事件通知库。 tar -zxvf  libevent-1.4.11-stable.tar.gz ./configure make make install [caption id="attachment_1813" align="aligncenter" width="300" caption="configure"][/caption] [caption id="attachment_1814" align="aligncenter" width="300" caption="make"][/caption] [caption id="attachment_1815" align="aligncenter" width="300" caption="make install"][/caption] 2、me

分类: Java 标签: ,

百度百科数字博物馆:数字体验云冈石窟的魅力

2013年7月29日 tianhl 没有评论

云冈石窟,全称大同云冈石窟,是中国最大的石窟之一,与敦煌莫高窟、洛阳龙门石窟和天水麦积山石窟并称为中国四大石窟艺术宝库。 其位于山西省北部大同市区以西16公里处的武周山南麓,依山而凿,东西绵延约一公里,气势恢弘,内容丰富。现存主要洞窟45个,大小窟龛252个,造像5万1千余尊,代表了公元5至6世纪时中国杰出的早期佛教石窟艺术。其中的昙曜五窟,布局设计严谨统一,是中国佛教艺术第一个巅峰时期的经典传世杰作。 百度百科数字博物馆: 数字体验云冈石窟的魅力 http://baike.baidu.com/museum/yungang.html [caption id="attachment_1804" align="aligncenter" width="300" caption="云冈石窟"][/caption]

分类: 程序人生 标签:

一个有趣的网站

2013年7月26日 tianhl 没有评论

http://www.haniboi.com/ 一个有趣的网站 [caption id="attachment_1800" align="aligncenter" width="300" caption="hadoop云计算"][/caption]

分类: 程序人生 标签:

xss攻击

2013年7月23日 tianhl 没有评论

恶意攻击者往Web页面里插入恶意html代码,当用户浏览该页之时,嵌入其中Web里面的html代码会被执行,从而达到恶意用户的特殊目的。 XSS的种类: XSS攻击分成两类,一类是来自内部的攻击,主要指的是利用程序自身的漏洞,构造跨站语句,如:dvbbs的showerror.asp存在的跨站漏洞。 另一类则是来自外部的攻击,主要指的自己构造XSS跨站漏洞网页或者寻找非目标机以外的有跨站漏洞的网页。如当我们要渗透一个站点,我们自己构造一个有跨站漏洞的网页,然后构造跨站语句,通过结合其它技术,如社会工程学等,欺骗目标服务器的管理员打开。 XSS漏洞是Web应用程序中最常见的漏洞之一。如果您的站点没有预防XSS漏洞的固定方法,那么就存在XSS漏洞。这个利

分类: Java 标签:

由一个漏洞引发的思考

2013年7月22日 tianhl 没有评论

最近项目比较紧,没时间来写博客,意味着思考少了。两件事: 1、struts2最近爆出了一个漏洞,线上版本必须修补。但是线上的版本源代码已经不可恢复了,新版本代码又没开发、测试完成,代码版本管理没有做好,即使是自己一个人做项目也应该管理好代码。版本控制非常重要,虽说上一个版本不一定好! 2、新版程序发现一个问题,这个问题是在开发过程中很容易忽略掉的,而且必须放在并发访问中才能出现的问题。另外,由于日志输出没做好,导致调试很费劲。简单描述下该问题: 三句话: 1)从连接池获取一个连接 2)将字符型数字转换为整型数字 3)获取连接,查询数据,释放连接 问题出现在第二句话上,当第二句转换失败抛异常时,并未被处理,而是直接

分类: Java, 程序人生 标签:

[爆笑体育]完整版 20130715

2013年7月17日 tianhl 没有评论

[爆笑体育]完整版 20130715

分类: 程序人生 标签:

Hadoop map和reduce的个数

2013年7月15日 tianhl 没有评论

一般情况下,在输入源是文件的时候,一个task的map数量由splitSize来决定的,那么splitSize是由以下几个来决定的 goalSize = totalSize / mapred.map.tasks inSize = max {mapred.min.split.size, minSplitSize} splitSize = max (minSize, min(goalSize, dfs.block.size)) 一个task的reduce数量,由partition决定。 在输入源是数据库的情况下,比如mysql,对于map的数量需要用户自己指定,比如 jobconf.set(“mapred.map.tasks.nums”,20); 如果数据源是HBase的话,map的数量就是该表对应的region数量。 map和reduce是hadoop的核心功能,hadoop正是通过多个map和reduce的并行运行来实现任务的分布式并行计算,从这个观点来看,如果

分类: Hadoop 标签: ,

hadoop客户端该如何配置

2013年7月11日 tianhl 5 条评论

Hadoop集群主要是由三部分组成的:主节点、从节点和客户端,即master、slave和client。我们在搭建hadoop集群的时候通常只考虑了主节点和从节点的搭建,却忽略了客户端。当我们搭建完成后,我们在其中的一台机器上运行wordcount或者计算π时,实际上我们已经默认将一台主节点或者一台从节点当做客户端来使用了,但是,如果我想把客户端独立,该如何单独配置客户端呢? 答案其实很简单,只要在配置slave的时候,不要把客户端添加到slave里,即客户端和hadoop集群其他的节点配置是一摸一样的,但不参与运算。 完整的hadoop集群搭建过程,请参考:《Hadoop集群搭建详细简明教程》 [caption id="attachment_1781" align="aligncenter" width="300"

分类: Hadoop 标签:

[爆笑体育]完整版 20130708

2013年7月10日 tianhl 没有评论

[爆笑体育]完整版 20130708 笑哈哈

分类: 程序人生 标签:

行存储和列存储比较–理解hbase的基础

2013年7月9日 tianhl 没有评论

目前大数据存储有两种方案可供选择:行存储和列存储。业界对两种存储方案有很多争持,集中焦点是:谁能够更有效地处理海量数据,且兼顾安全、可靠、完整性。从目前发展情况看,关系数据库已经不适应这种巨大的存储量和计算要求,基本是淘汰出局。在已知的几种大数据处理软件中,Hadoop的HBase采用列存储,MongoDB是文档型的行存储,Lexst是二进制型的行存储。在这里,我不讨论这些软件的技术和优缺点,只围绕机械磁盘的物理特质,分析行存储和列存储的存储特点,以及由此产生的一些问题和解决办法。 一.结构布局 行存储数据排列 [caption id="attachment_1770" align="aligncenter" width="426" caption="行存储"][/caption] 列存储数据排列 [

分类: Hadoop 标签: