存档

文章标签 ‘Storm’

maven shade解决storm Elasticsearch log4j jar包版本冲突

2017年4月13日 admin 没有评论

新建一个maven简单工程即可,该工程的目的是将es、log4j等jar包里的class文件重新打包,全部放入到一个jar包里,再放入的过程中将所有“org.apache.logging.log4j”开头的报名改为“my.elasticsearch.log4j”,也就相当于将import log4j的地方统统改了,这样就相当于第三方编写的log4j,pom.xml如下: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>my.elastic

本地模式运行storm的demo

2013年3月30日 tianhl 11 条评论

本例实现的是本地模式运行storm的wordcount demo! 开发过程中,可以用本地模式来运行Storm,这样就能在本地开发,在进程中测试Topology。一切就绪后,以远程模式运行 Storm,提交用于在集群中运行的Topology。 创建工程:demo-storm 目录结构如下: demo-storm ——src/main/java ————com.youku.demo ————————bolts ————————spouts ——src/test/java ——src/main/resource ————words.txt [caption id="attachment_1359" align="aligncenter" width="194" caption="storm-demo工程目录"][/caption] WordCounter.java: package com.youku.demo.bolts; import java.util.HashMap; import java.util.Map; import ba

分类: Hadoop 标签: ,

Storm实时计算平台

2013年3月28日 tianhl 没有评论

Twitter将Storm正式开源了,这是一个分布式的、容错的实时计算系统,它被托管在GitHub上,遵循 Eclipse Public License 1.0。Storm是由BackType开发的实时处理系统,BackType现在已在Twitter麾下。GitHub上的最新版本是Storm 0.8.0,基本是用Clojure写的。 Storm为分布式实时计算提供了一组通用原语,可被用于“流处理”之中,实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。 Storm也可被用于“连续计算”(continuous computation),对数据流做连续查询,在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”,以并行的方式运行昂贵的运算。 Storm的主工程师Nathan Marz表示: Storm可以方便地在一个计算机

分类: 云计算 标签: ,