maven shade解决storm Elasticsearch log4j jar包版本冲突

maven shade解决storm Elasticsearch log4j jar包版本冲突

新建一个maven简单工程即可,该工程的目的是将es、log4j等jar包里的class文件重新打包,全部放入到一个jar包里,再放入的过程中将所有“org.apache.logging.log4j”开头的报名改为“my.elasticsearch.log4j”,也就相当于将import log4j的地方统统改了,这样就相当于第三方编写的log4j,pom.xml如下: 运行mvn clean install 将打包好的jar包安装到本地,验证效果如下图: 最后在自己的工程里,引入新的jar包即可,不需要额外引入es和log4j的jar包了。

本地模式运行storm的demo

本地模式运行storm的demo

本例实现的是本地模式运行storm的wordcount demo! 开发过程中,可以用本地模式来运行Storm,这样就能在本地开发,在进程中测试Topology。一切就绪后,以远程模式运行 Storm,提交用于在集群中运行的Topology。 创建工程:demo-storm 目录结构如下: demo-storm ——src/main/java ————com.youku.demo ————————bolts ————————spouts ——src/test/java ——src/main/resource ————words.txt WordCounter.java: WordNormalizer.java: WordReader.java: TopologyMain.java: pom.xml: words.txt: 运行的时候需要配置参数:src/main/resources/words.txt 指定输入文件 日志输出: 会报好多zookeeper异常,还有最后的日志文

Storm实时计算平台

Storm实时计算平台

Twitter将Storm正式开源了,这是一个分布式的、容错的实时计算系统,它被托管在GitHub上,遵循 Eclipse Public License 1.0。Storm是由BackType开发的实时处理系统,BackType现在已在Twitter麾下。GitHub上的最新版本是Storm 0.8.0,基本是用Clojure写的。