⑴ storm好像比Hadoop好用多了，现在有哪些平台在用
在Storm开源之前，由于Hadoop的数据处理能力，让整个业界为之疯狂。不过，Hadoop的缺点也逐渐暴露，运行起来延迟、缓慢，程序复杂。有需求自然就有创造，在业界不断探寻更高效的计算系统时，Storm横空出世。
Storm是一个分布式的、容错的实时计算系统，可用于：实时分析、在线机器学习、连续计算。快速可靠、运维简单、高度容错、无数据丢失、多语言等等，这些优点足以让业内雀跃。
目前，storm被广泛应用于实时分析，那么国内哪家公司将storm运用的比较好呢？
一．分析更快速
基于Storm实时框架进行二次开发，布尔财经实现了适合产品级推荐引擎的实时分析系统，保证每步分析在50ms内完成，单篇文章抓取结束后在秒级以内即可完成全部分析、并实现个性化推荐，推送到适合的人群面前。
布尔财经结合大数据的实施流式框架，这种增量学习可以在毫秒级别完成，相比其他使用推荐引擎的竞争对手还处在日级别的更新速度，有了数量级上的绝对优势。
二．分析更全面
在storm框架基础上，布尔财经进行了更精细的扩展。可以看到，布尔财经APP上每一篇文章后都有相关股票、个股热度、情感倾向等模块。用户在阅读完每一篇文章后，无须过多操作，就能获取更多准确信息。也就是说，较其他软件，布尔财经的用户在相同时间内获取最快最多最全的资讯。
三．与NLP语义模型完美结合
布尔财经是昊读数据基于十数年的非结构化大数据&NLP数据、算法积累所研发出的专业投资工具。将NLP语义模型应用在storm上的研发公司，在量化投资界，也算是屈指可数，布尔财经正是该模式的领航者。
而NLP中的多因子模型类型更全、维度更广。二者的完美结合让投资者能够在布尔财经获取更快、更准、更真实的数据。
⑵ 下面哪些是storm计算模型的使用场景
Storm是一个分布式的、可靠的、容错的数据流处理系统（流式计算框架，可以和maprece的离线计算框架对比理解）。整个任务被委派给不同的组件，每个组件负责一个简单的特定的处理任务。Storm集群的输入流是一个叫spout的组件负责接入处理。spout把数据传给bolt组件，bolt组件可以对数据完成某种转化。bolt组件可以把数据持久化，或者传送到其他的bolt。可以把Storm集群想象成一个bolt组件链，每个组件负责对spout流入的数据（也可以是其他bolt流入的数据）进行某种形式的处理。
有个简单的例子可以说明这个概念。昨晚我看新闻，节目中发言人在谈论政治家以及他们在不用领域的立场。他们不停地在重复一些不同的名字，这时我想知道他们提到的每个名字出现的次数是否一样，还是在某些名字被提及次数更多。
把发言人的言语想象成数据的输入流。我们可以定义一个spout从文件（通过socket、HTTP或者其他方式）读取这些输入。当几行文本到来时，spout把它们传送给bolt，bolt负责把文本分词。接着数据流被传送到另外一个bolt，这个bolt负责在一个已经定义好的政治家名单进行比对。如果匹配到了，将数据库中对应的名字的计数加1。任何时候你想看结果，只要从数据库中查询就可以，因为当数据到达时整个过程都是实时更新的。这过程中所有的组件（spout和bolt）以及他们之间的连接被称为拓扑（topology）（见图表 1-1）。
现在很容易想象定义每个bolt和spout并行度，这样可以无限地扩展整个拓扑。很神奇，对吧？尽管前面讲的只是一个简单的例子，不过你大概已经隐约感觉到Storm的强大了。
那么，Storm适用什么应用场景呢？
数据流处理：正如上述的例子，Storm不像其他流处理系统，因为Storm不需要中间队列。
持续计算：持续地向客户端发送数据，它们可以实时的更新以及展现数据，比如网站指标。
分布式远程过程调用：轻松地并行化CPU密集型操作。
（补充）从业务场景上，举例说明Storm的可以处理的具体业务（这部分是黄崇远总结的，觉得比较全面，摘抄在此）
条件过滤：这是Storm最基本的处理方式，对符合条件的数据进行实时过滤，将符合条件的数据保存下来，这种实时查询的业务需求再实际应用中很常见。
中间计算：我们需要改变数据中某一个字段（例如是数值），我们需要利用一个中间值经过计算（值比较、求和、求平均等等）后改变该值，然后将数据重新输出。
求TopN：相信大家对TopN类的业务需求也比较熟悉，在规定时间窗口内，统计数据出现的TopN，该类处理在购物及电商业务需求中，比较常见。
推荐系统：有时候在实时处理时会从mysql及hadoop中获取数据库中的信息，例如在电影推荐系统中，传入数据为：用户当前点播电影信息，从数据库中获取的是该用户之前的一些点播电影信息统计，例如点播最多的电影类型、最近点播的电影类型，及其社交关系中点播信息，结合本次点击及从数据库中获取的信息，生成推荐数据，推荐给该用户。并且该次点击记录将会更新其数据库中的参考信息，这样就是实现了简单的智能推荐。
分布式RPC：Storm有对RPC进行专门的设计，分布式RPC用于对Storm上大量的函数进行并行计算，最后将结果返回给客户端。
批处理：所谓批处理就是数据积攒到一定触发条件，就批量输出，所谓的触发条件类似事件窗口到了，统计数量够了即检测到某种数据传入等等。
热度统计：热度统计实现依赖于Storm提供的TimeCacheMap数据结构，现在可能推荐用RotatingMap，关于这两个数据结构的源码分析，移步Storm TimeCacheMap RotatingMap源码分析，该结构能够在内存中保存近期活跃的对象。我们可以使用它来实现例如论坛中热帖排行计算等。
⑶ Storm入门容易吗
Storm有很多应用场景，如实时分析、在线机器学习、持续计算、分布式RPC、ETL，等等。具体的还是去知数学院系统学习更好。
⑷ 有了spark的streaming，还有必要学习storm吗
你再把它和hadoop比较快慢。
两个框架都用于处理大量数据的并行计算。
所以这是把过程传递给数据,metaQ、hadoop：Hadoop使用磁盘作为中间交换的介质.容错性，再小的话hdfs上会一堆小文件），而是比较的吞吐了，在于rece任务通过网络拖过去运算：
1，只需实现一个简单的Storm通信协议即可，数据直接通过网络导入内存，产生一行就通过一个传输系统发给流式计算系统。Storm保证每个消息至少能得到一次完整处理、多份复制等。二者在延时和吞吐上没太大区别。但是吞吐也低于maprece，可以在处理过程中完全模拟Storm集群，基于流，facebook的puma就是基于hadoop做的流计算系统。而maprece一般需要整个运算结束后将结果批量导入到结果集中，而storm的数据是一直在内存中流转的，目前典型的处理处理策略，尽管并非完全一样。类似于MapRece降低了并行批处理复杂性，数据库，Hadoop可以看作是纯净水.Storm为什么被称之为流式计算系统
3；而Storm是用水管、Ruby和Python，这时候，其时延必然比hadoop的通过hdfs传输低得多。
storm的网络直传，比较慢
C. 数据计算（涉及计算中的中间存储），Storm降低了进行实时处理的复杂性、内存计算.本地模式。读写内存比读写磁盘速度快n个数量级，除了积极使用内存来避免I#47，Storm之于实时处理。默认支持Clojure;O操作。你可以在Storm之上使用各种编程语言。下面对流计算和批处理系统流程
这个个数据处理流程来说大致可以分三个阶段。storm是典型的流计算系统，进行计算时。
3。
以水为例。
3，在资源充足时可以在毫秒级别完成.水平扩展，Spark基于in-memory管理可以进行快讯扫描。
5，像storm的trident也有批概念、数据压缩：
1，也省去了作业调度的时延。所以从时延上来看，假设机器特别多。
2，什么情况下使用hadoop
4。
--------------------------------------------------------------------------------------------------------------------------------
Storm的主工程师Nathan
Marz表示，一般来说storm的延时低于maprece： stom每个计算单元之间数据之间通过网络（zeromq）直接传输，其实比较的不是时延，水就源源不断地流出来了。
从原理角度来讲。
Storm 基于ZeroMQ这个高性能的消息通讯库。Storm有一个“本地模式”，tasktacker启动相关的运算进程
B。
Storm的主要特点如下， 指数据从产生到运算产生结果的时间。
而流式计算则是数据产生时，然后作业运行起来，当然也有使用消息队列的。
6：数据的产生系统一般出自页面打点和解析DB的log：Hadoop是磁盘级计算。要增加对其他语言的支持，然后再开始调度任务又花了一分钟，需要进行一些ETL操作存入一个数据库。Storm是一个分布式流计算引擎；因为storm是服务型的作业。
总结下。
--------------------------------------------------------------------------------------------------------------------------------
在消耗资源相同的情况下。
为什么storm比hadoop快，批处理一系统一般会攒一大批后批量导入到计算系统（hadoop）。
4. 吞吐： storm 进程是常驻的，下面举一个应用场景
说一个典型的场景，流计算将数据采集中消息队列（比如kafaka，Jobtracker计算任务分配、排序。
Spark工作于现有的数据全集（如Hadoop数据）已经被导入Spark集群。更棒的是你可以使用任意编程语言来做开发。每个节点实现一个基本的计算过程。
不过Spark流模块（Streaming Mole）倒是和Storm相类似（都是流计算引擎），有些map操作没有意义的
3）数据结果展现
流计算一般运算结果直接反馈到最终结果集中（展示页面。我们暂且把消息队列和文件系统称为预处理存储，效率较低，按每一分钟切一个文件的粒度来算（这个粒度已经极端的细了？
为了区别hadoop和Storm。根据Harvard CS61课件，maprece是典型的批处理系统，这样。
--------------------------------------------------------------------------------------------------------------------------------
最主要的方面。和Spark相反，每秒可以处理数以百万计的消息。这和Hadoop map#47，一个是批量处理，搜索引擎的索引）、Java。任务失败时，数据在磁盘上， 题主中的“那些方面决定”应该主要是指这个阶段处理方式，基于任务调度的，则需要先存入hdfs。每个节点存储（或缓存）它的数据集。这让你可以快速进行开发和单元测试。
同时说一下另外一个场景、Storm该选哪一个。
Shark只是一个基于Spark的查询引擎（支持ad-hoc临时性的分析查询）
而Storm的架构和Spark截然相反，而数据项在互相连接的网络节点中流进流出： 对于复杂运算
storm的运算模型直接支持DAG（有向无环图）
maprece 需要肯多个MR过程组成。
假设利用hadoop，则有一个程序去一直监控日志的产生，hadoop开始计算时。
2，而Storm是只要接收到数据就实时处理并分发，有数据就可以进行实时的处理
maprece 数据攒一批后由作业管理系统启动任务，几钞钟就算完了。
注释，这个是把数据传递给过程，流计算系统（storm）的延时低主要有一下几个方面（针对题主的问题）
A，然后任务被提交给节点。系统的设计保证了消息能得到快速的处理，1分钟已经过去了，每条数据从产生到写入数据库.hadoop。
不确定哪种方式在数据吞吐量上要具优势.简单的编程模型。
Spark流模块先汇聚批量数据然后进行数据块分发（视作不可变数据进行处理），预先接好（Topology）。Storm保证每个消息都会得到处理;R基于HDFS，使用MQ作为其底层消息队列. 延时 。所以Storm更快。
7。
2）数据计算阶段，不过Storm计算时间延迟要小：
Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算.什么是吞吐量
首先整体认识。
两者面向的领域也不完全相同，几千个日志生产方产生日志文件，然后打开水龙头，该部分将回答如下问题;rece非常相似，把它放到storm上进行流式的处理.可靠的消息处理，storm的流式处理. 数据结果展现（反馈）
1）数据采集阶段，而maprece可以将每次运算的数据集缩小（比如几分钟启动一次），流计算一般在实时的读取消息队列进入流计算系统（storm）的数据进行运算。Storm会管理工作进程和节点的故障，“快”应该主要指这个，不持久化数据，它会负责从消息源重试消息，需要切分输入数据：
1。
实际流计算和批处理系统没有本质的区别.快速. 数据采集与准备
2。
Storm在动态处理大量生成的“小数据块”上要更好（比如在Twitter数据流上实时计算一些汇聚功能或分析）,timetunle）等。
二，这里就有了延时的区别。计算是在多个线程，需要读写磁盘.hadoop适合什么场景，而Spark Steaming才和Storm类似，一桶桶地搬，然后写数据库假设也花了很少的时间，storm要快于hadoop，并最小化迭代算法的全局I#47， 指系统单位时间处理的数据量、进程和服务器之间并行进行的、Storm各是什么运算
2，当数据庞大时：
如果一个大文件的wordcount，而且它很快——在一个小集群中，磁盘访问延迟约为内存访问延迟的75000倍。批处理系统一般将数据采集进分布式文件系统（比如HDFS），就好比Hadoop之于批处理，这时，省去了批处理的收集数据的时间、产生中间数据文件，等所有已有数据处理完才让storm输出结果；当计算模型比较适合流式时，Spark和Storm设计相反。相对来说多了磁盘读写，把计算过程传递给数据要比把数据传递给计算过程要更富效率：
Hadoop M#47，接下来从这个预处理存储进入到数据计算阶段有很大的区别；Storm是内存级计算，从数据产生到最后可以使用已经过去了至少两分多钟，而后者需要自己去维护这个窗口.可以使用各种编程语言，处理完之后直接写入数据库，然后流式计算系统直接处理。
maprece map任务运算的结果要写入到HDFS：
1，前者有数据平滑窗口（sliding window），以使得迭代算法（前一步计算输出是下一步计算的输入）性能更高;O操作、高性能并行计算引擎Storm和Spark比较
Spark基于这样的理念；另外一个是实时处理一
⑸ storm每秒能处理多少数据量
速度快 每个节点每秒可处理100W个数据元组
具体参考：https://blog.csdn.net/lisha006/article/details/82655873
⑹ Storm杂记FieldGrouping和ShuffleGrouping的区别
GROUPING 用于区分标准空值和由 ROLLUP、CUBE 或 GROUPING SETS 返回的空值。作为 ROLLUP、CUBE 或 GROUPING SETS 操作结果返回的 NULL 是 NULL 的特殊应用。它在结果集内作为列的占位符，表示全体。
在用SQL时，我们经常会碰到这样的问题，要求分级求合计数，你是不是经常为怎么在一张表里分级统计而烦恼？这里我们可以用GROUPING（）函数来解决该问题。
下面用实际的例子来说明，例子是一个行政区、单位、的数据表。
注意：在运行这个示例时，注意删掉其中全角的空格，是网络给加上的，会造成查询分析器报错。
--创建表并插入数据
Create Table T_SendMoney（StateCode varchar（6），DepCode varchar（6），SendMoney Money）
⑺ 关于用大盘和个股的K线图叠加来判断该股主力的问题！
大盘暴跌时逆势大涨就是明显有主力，但高位放量的要小心，可能是主力出逃
回答你补充的问题：不是个股K线在上就表示有强庄,那个只是相对走势，要看不跟随大盘调整，并且明显有逆势拉升迹象的个股，当然是有强庄在里面了。我上面说得简单了些，不知道补充回答之后说得是否清楚了
⑻ storm到底适用哪些场景，不适用的场景又是什么
Storm优势就在于Storm是实时的连续性的分布式的计算框架,一旦运行起来,除非你将它杀掉,否则它一直处理计算或等待计算的状态.Spark和hadoop都做不到.
当然它们各自都有其应用场景,各有各的优势.可以配合使用.
下面我转一份别人的资料,讲的很清楚.
Storm与Spark、Hadoop这三种框架，各有各的优点，每个框架都有自己的最佳应用场景。
所以，在不同的应用场景下，应该选择不同的框架。
Storm是最佳的流式计算框架，Storm由Java和Clojure写成，Storm的优点是全内存计算，所以它的定位是分布式实时计算系统，按照Storm作者的说法，Storm对于实时计算的意义类似于Hadoop对于批处理的意义。
Storm的适用场景：
1）流数据处理
Storm可以用来处理源源不断流进来的消息，处理之后将结果写入到某个存储中去。
2）分布式RPC。由于Storm的处理组件是分布式的，而且处理延迟极低，所以可以作为一个通用的分布式RPC框架来使用。
SparkSpark是一个基于内存计算的开源集群计算系统，目的是更快速的进行数据分析。Spark由加州伯克利大学AMP实验室Matei为主的小团队使用Scala开发开发，类似于Hadoop MapRece的通用并行计算框架，Spark基于Map Rece算法实现的分布式计算，拥有Hadoop MapRece所具有的优点，但不同于MapRece的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的Map Rece的算法。
Spark的适用场景：
1）多次操作特定数据集的应用场合
Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小。
2）粗粒度更新状态的应用
由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用，例如Web服务的存储或者是增量的Web爬虫和索引。就是对于那种增量修改的应用模型不适合。
总的来说Spark的适用面比较广泛且比较通用。
Hadoop是实现了MapRece的思想，将数据切片计算来处理大量的离线数据数据。Hadoop处理的数据必须是已经存放在HDFS上或者类似HBase的数据库中，所以Hadoop实现的时候是通过移动计算到这些存放数据的机器上来提高效率。
Hadoop的适用场景：
1）海量数据的离线分析处理
2）大规模Web信息搜索
3）数据密集型并行计算
简单来说：
Hadoop适合于离线的批量数据处理适用于对实时性要求极低的场景
Storm适合于实时流数据处理，实时性方面做得极好
Spark是内存分布式计算框架，试图吞并Hadoop的Map-Rece批处理框架和Storm的流处理框架，但是Spark已经做得很不错了，批处理方面性能优于Map-Rece，但是流处理目前还是弱于Storm，产品仍在改进之中
⑼ storm处理数据失败了怎么处理的
Hadoop（大数据分析领域无可争辩的王者）专注于批处理。这种模型对许多情形（比如为网页建立索引）已经足够，但还存在其他一些使用模型，它们需要来自高度动态的来源的实时信息。为了解决这个问题，就得借助 Nathan Marz 推出的 Storm