list删除指定元素

/*
* 错误
*/
public static void remove31(List list, String target){
Iterator iter = list.iterator();
while (iter.hasNext()) {
String item = iter.next();
if (item.equals(target)) {
list.remove(item);
}
}
print(list);
}
/*
* 正确
*/
public static void remove32(List list, String target){
Iterator iter = list.iterator();
while (iter.hasNext()) {
String item = iter.next();
if (item.equals(target)) {
iter.remove();
}
}
print(list);
}

接口幂等性

接口的幂等性实际上就是接口可重复调用,在调用方多次调用的情况下,接口最终得到的结果是一致的。有些接口可以天然的实现幂等性,比如查询接口,对于查询来说,你查询一次和两次,对于系统来说,没有任何影响,查出的结果也是一样。
除了查询功能具有天然的幂等性之外,增加、更新、删除都要保证幂等性。
在分布式环境中,操作互斥性问题和幂等性问题非常普遍。经过分析,我们找出了解决这两个问题的基本思路和实现原理,给出了具体的解决方案。
针对操作互斥性问题,常见的做法便是通过分布式锁来处理对共享资源的抢占。分布式锁的实现,很大程度借鉴了多线程和多进程环境中的互斥锁的实现原理。只要满足一些存储方面的基本条件,并且能够解决如网络断开等异常情况,那么就可以实现一个分布式锁。目前已经有基于Zookeeper和Redis等存储引擎的比较典型的分布式锁实现。但是由于单存储引擎的局限,我们开发了基于ZooKeeper和Tair的多引擎分布式锁Cerberus,它具有使用灵活方便等诸多优点,还提供了完善的一键降级方案。
针对操作幂等性问题,我们可以通过防止重复操作来间接的实现接口的幂等性。GTIS提供了一套可靠的解决方法:依赖于存储引擎,通过对不同操作所对应的唯一的内容特性生成一个唯一的全局ID来防止操作重复。
目前Cerberus分布式锁、GTIS都已应用在生产环境并平稳运行。两者提供的解决方案已经能够解决大多数分布式环境中的操作互斥性和幂等性的问题。值得一提的是,分布式锁和GTIS都不是万能的,它们对外部存储系统的强依赖使得在环境不那么稳定的情况下,对可靠性会造成一定的影响。在并发量过高的情况下,如果不能很好的控制锁的粒度,那么使用分布式锁也是不太合适的。总的来说,分布式环境下的业务场景纷繁复杂,要解决互斥性和幂等性问题还需要结合当前系统架构、业务需求和未来演进综合考虑。Cerberus分布式锁和GTIS也会持续不断地迭代更新,提供更多的引擎选择、更高效可靠的实现方式、更简捷的接入流程,以期满足更复杂的使用场景和业务需求。

Servlet、Spring MVC和 Struts2线程安全

Struts 2 Action对象为每一个请求产生一个实例,因此没有线程安全问题。
Spring的Ioc容器管理的bean默认是单实例的,上一次请求处理的状态信息被保持下来,并影响了下一次的请求,实际上就是Action中的类变量被不同的请求读取,出现错误结果
解决:就是不用单例, spring中bean的作用域设为prototype,每个请求对应一个实例.

js中return null和return false的区别

1. return返回null,起到中断方法执行的效果,只要不return false事件处理函数将会继续执行,表单将提交
2. return false,事件处理函数会取消事件,不再继续向下执行。比如表单将终止提交
这里面的return含有一些细节知识:
例如:onClick=’return add_onclick()’与 onClick=’add_onclick()’的区别
JAVASCRIPT在事件中调用函数时用return返回值实际上是对window.event.returnvalue进行设置。
而该值决定了当前操作是否继续。
当返回的是true时,将继续操作。
当返回是false时,将中断操作。
而直接执行时(不用return)。将不会对window.event.returnvalue进行设置
所以会默认地继续执行操作
在onclick事件上这样处理的

<input type="submit"  onclick="fun1();return false;" />

这样fun1既可以写自己想要的效果,return false 也可以取消默认的刷新行为

MyBatis获取刚刚插入对象的id

适用于对于支持自动生成主键的数据库
一、数据库表中ID的设计
id int型 自动递增
二、MyBatis的Mapper
useGeneratedKeys=”true” keyProperty=”id” 是重点

	<insert id="insert" useGeneratedKeys="true" keyProperty="id">
		INSERT INTO rdss2_report(
			report_name,
			componets,
			update_date,
			create_date,
			update_by,
			create_by
		) VALUES (
			#{reportName},
			#{componets},
			#{updateDate},
			#{createDate},
			#{updateBy.id},
			#{createBy.id}
		)
	</insert>

三、Java代码
重要代码如下,在保存完对象后,mybatis会自动把ID反填入对象中,直接获取即可

			rdss2ReportService.save(rdss2Report);
			System.out.println("test:"+rdss2Report.getId()+"-"+rdss2Report.getComponets());
	@RequestMapping(value="/saveReport", method=RequestMethod.POST)
	@ResponseBody
	public void saveReport(HttpServletRequest request, HttpServletResponse response,
			@RequestParam Map<String, Object> param) {
		JSONObject jo = new JSONObject();
		try {
			Rdss2Report rdss2Report = new Rdss2Report();
			rdss2Report.setReportName(param.get("title").toString());
			rdss2Report.setComponets(param.get("par").toString());
			rdss2ReportService.save(rdss2Report);
			System.out.println("test:"+rdss2Report.getId()+"-"+rdss2Report.getComponets());
			jo.put("result", "success");
			PrintWriter out = null;
			response.setContentType("application/json");
			out = response.getWriter();
			out.write(jo.toString());
		} catch (Exception e) {
			jo.put("result", "fail");
			PrintWriter out = null;
			response.setContentType("application/json");
			try {
				out = response.getWriter();
			} catch (IOException e1) {
				e1.printStackTrace();
			}
			out.write(jo.toString());
			e.printStackTrace();
		}
	}

Spring MVC前端JSON数据传到后端

传送List json
前端发送数据代码:

//准备数据
var componetsArray = new Array();
var dataTmp = {};
dataTmp["component_id"] = panel_biee_components.attr("id");
dataTmp["component_width"] = orgNumIndex;
componetsArray.push(JSON.stringify(dataTmp));
//发送请求
    $.ajax({
        type: "POST",
        url: $("#porjectPath").val()+"/f/report/rdss2Report/saveReport",
        datatype: "json",
        data:{"listParam" : componetsArray},
        success: function(data) {
            alert(data.result);
        }
    });

后端接收参数代码

	@RequestMapping(value="/saveReport", method=RequestMethod.POST)
	@ResponseBody
	public void saveReport(HttpServletRequest request, HttpServletResponse response,
			@RequestParam("listParam[]") List<String> param) {
		JSONObject jo = new JSONObject();
		try {
			System.out.println(param);
			jo.put("result", "success");
			PrintWriter out = null;
			response.setContentType("application/json");
			out = response.getWriter();
			out.write(jo.toString());
		} catch (Exception e) {
			jo.put("result", "fail");
			PrintWriter out = null;
			response.setContentType("application/json");
			try {
				out = response.getWriter();
			} catch (IOException e1) {
				e1.printStackTrace();
			}
			out.write(jo.toString());
			e.printStackTrace();
		}
	}

传送Map json复杂数据:
前端发送数据代码:

var componetsArray = new Array();
var dataTmp = {};
dataTmp["component_id"] = panel_biee_components.attr("id");
dataTmp["component_width"] = orgNumIndex;
componetsArray.push(JSON.stringify(dataTmp));
var jsonStr = JSON.stringify(componetsArray);
var jsonObject = {};
jsonObject['title']="标题";
jsonObject['par']=jsonStr;
    $.ajax({
        type: "POST",
        url: $("#porjectPath").val()+"/f/report/rdss2Report/saveReport",
        datatype: "json",
        data:jsonObject,
        success: function(data) {
            alert(data.result);
        }
    });

后端接收参数代码

	@RequestMapping(value="/saveReport", method=RequestMethod.POST)
	@ResponseBody
	public void saveReport(HttpServletRequest request, HttpServletResponse response,
			@RequestParam Map<String, Object> param) {
		JSONObject jo = new JSONObject();
		try {
			System.out.println(param);
			JSONArray ja = JSONArray.fromObject(param.get("par").toString());
			System.out.println(ja.toString());
			jo.put("result", "success");
			PrintWriter out = null;
			response.setContentType("application/json");
			out = response.getWriter();
			out.write(jo.toString());
		} catch (Exception e) {
			jo.put("result", "fail");
			PrintWriter out = null;
			response.setContentType("application/json");
			try {
				out = response.getWriter();
			} catch (IOException e1) {
				e1.printStackTrace();
			}
			out.write(jo.toString());
			e.printStackTrace();
		}
	}

hive中的join

一、hive中的join
inner join 等价于 join, 可以理解为 join 是 inner join 的缩写;left join 等价于 left outer join ;right join 等价于 right outer join;
二、
left join(左联接) 返回包括左表中的所有记录和右表中联结字段相等的记录
right join(右联接) 返回包括右表中的所有记录和左表中联结字段相等的记录
inner join(等值连接) 只返回两个表中联结字段相等的行

superset SQL生成的研究

superset类似系统,一期实现不要实现这么复杂的SQL拼接:

SELECT state AS state,
       job_date AS __timestamp,
       sum(job_num) AS sum_job_num
FROM
  (select count(1) as job_num,
          state,
          job_date
   from job_info
   group by state,
            job_date) AS expr_qry
INNER JOIN
  (SELECT state AS state__,
          sum(job_num) AS mme_inner__
   FROM
     (select count(1) as job_num,
             state,
             job_date
      from job_info
      group by state,
               job_date) AS expr_qry
   WHERE job_date >= STR_TO_DATE('2017-12-05 00:00:00', '%%Y-%%m-%%d %%H:%%i:%%s')
     AND job_date <= STR_TO_DATE('2018-03-15 16:26:53', '%%Y-%%m-%%d %%H:%%i:%%s')
   GROUP BY state
   ORDER BY mme_inner__ DESC
   LIMIT 50) AS anon_1 ON state = state__
WHERE job_date >= STR_TO_DATE('2017-12-05 00:00:00', '%%Y-%%m-%%d %%H:%%i:%%s')
  AND job_date <= STR_TO_DATE('2018-03-15 16:26:53', '%%Y-%%m-%%d %%H:%%i:%%s')
GROUP BY state,
         job_date
ORDER BY sum_job_num DESC
LIMIT 50000

上边是superset生成的SQL,乍看起来很复杂,经过分析,其实就是通过inner join将两个表的数据连起来。
例如:
表A 表B
id val1 id val2
1 A 1 D
2 B 2 E
3 C 3 F
通过inner join最后会变为横表
id val1 val2
1 A D
2 B E
3 C F
而通过UNION ALL则会变为纵表
id val
1 A
2 B
3 C
1 D
2 E
3 F
http://www.w3school.com.cn/sql/sql_union.asp
http://www.w3school.com.cn/sql/sql_join_inner.asp
INNER JOIN 关键字在表中存在至少一个匹配时返回行。如果 “Persons” 中的行在 “Orders” 中没有匹配,就不会列出这些行。
LEFT JOIN 关键字会从左表 (Persons) 那里返回所有的行,即使在右表 (Orders) 中没有匹配的行。
RIGHT JOIN 关键字会从右表 (Orders) 那里返回所有的行,即使在左表 (Persons) 中没有匹配的行。
superset的源码
https://github.com/apache/incubator-superset/blob/4250e239a2515be91464c1c0502db5b31ac9ee91/superset/connectors/sqla/models.py

阿里巴巴Java开发规约插件安装

Eclipse版插件支持4.2(Juno,JDK1.8+)及以上版本,我们提供自主的Update Site,通过 Help >> Install New Software 然后输入https://p3c.alibaba.com/plugin/eclipse/update 即可看到安装列表。大家可以通过 Help >> Check for Udates 进行插件新版检测。安装完成后打开java代码,右键菜单里就可以找到选项,运行查看代码质量报告。
详细使用说明:https://yq.aliyun.com/articles/224817
github地址:
https://github.com/alibaba/p3c/tree/master/idea-plugin#run-plugin
 
PMD、FindBug、checkstyle、sonar这些代码检查工具的区别?各自的侧重点是什么?
pmd:基于源代码分析,主要面向安全编码规则,如“避免声明同名变量”,包括风格类、类型使用等等,具备一定的数据流分析和路径分析能力。checkstyle:基于源代码,与pmd类似,但更侧重编码的语法风格,分析深度不及pmd。findbugs:基于字节码分析,大量使用数据流分析技术,侧重运行时错误检测,如空指针引用等,分析深度大于前述两个。sonar:定位是代码质量平台,本身不进行代码分析,但可以集成各个静态分析工具以及其他软件开发测试工具,并基于集成工具的结果数据按照一定的质量模型,如iso-9126,对软件的质量进行评估。
https://www.ibm.com/developerworks/cn/java/j-lo-statictest-tools/
使用效果如图:

什么是分布式系统中的幂等性

现如今我们的系统大多拆分为分布式SOA,或者微服务,一套系统中包含了多个子系统服务,而一个子系统服务往往会去调用另一个服务,而服务调用服务无非就是使用RPC通信或者restful,既然是通信,那么就有可能再服务器处理完毕后返回结果的时候挂掉,这个时候用户端发现很久没有反应,那么就会多次点击按钮,这样请求有多次,那么处理数据的结果是否要统一呢?那是肯定的!尤其再支付场景。
幂等性:就是用户对于同一操作发起的一次请求或者多次请求的结果是一致的,不会因为多次点击而产生了副作用。举个最简单的例子,那就是支付,用户购买商品使用约支付,支付扣款成功,但是返回结果的时候网络异常,此时钱已经扣了,用户再次点击按钮,此时会进行第二次扣款,返回结果成功,用户查询余额返发现多扣钱了,流水记录也变成了两条...
在以前的单应用系统中,我们只需要把数据操作放入事务中即可,发生错误立即回滚,但是再响应客户端的时候也有可能出现网络中断或者异常等等。
在增删改查4个操作中,尤为注意就是增加或者修改,
查询对于结果是不会有改变的,
删除只会进行一次,用户多次点击产生的结果一样
修改在大多场景下结果一样
增加在重复提交的场景下会出现
那么如何设计接口才能做到幂等呢?
方法一、单次支付请求,也就是直接支付了,不需要额外的数据库操作了,这个时候发起异步请求创建一个唯一的ticketId,就是门票,这张门票只能使用一次就作废,具体步骤如下:
异步请求获取门票
调用支付,传入门票
根据门票ID查询此次操作是否存在,如果存在则表示该操作已经执行过,直接返回结果;如果不存在,支付扣款,保存结果
返回结果到客户端
如果步骤4通信失败,用户再次发起请求,那么最终结果还是一样的
方法二、分布式环境下各个服务相互调用
这边就要举例我们的系统了,我们支付的时候先要扣款,然后更新订单,这个地方就涉及到了订单服务以及支付服务了。
用户调用支付,扣款成功后,更新对应订单状态,然后再保存流水。
而在这个地方就没必要使用门票ticketId了,因为会比较闲的麻烦
(支付状态:未支付,已支付)
步骤:
1、查询订单支付状态
2、如果已经支付,直接返回结果
3、如果未支付,则支付扣款并且保存流水
4、返回支付结果
如果步骤4通信失败,用户再次发起请求,那么最终结果还是一样的
对于做过支付的朋友,幂等,也可以称之为冲正,保证客户端与服务端的交易一致性,避免多次扣款。