03 2016 档案
摘要：该文档包涵了storm实战中经常遇到一些问题，及对应解决方案。这个文档是群里一个朋友在学习storm，并实战storm中遇到的一些问题，及和群里其他朋友一起交流给出的对应解决方案，并由他整理好，委托我发布出来（也算是交流者之一），供大家参考，希望能对大家有所帮助。 感谢 某某（哈哈 鉴于部分原因，不
阅读全文
摘要：说明：本文翻译自Storm在GitHub上的官方Wiki中提供的Storm代码结构描述一节Structure of the codebase，希望对正在基于Storm进行源码级学习和研究的朋友有所帮助。 Storm的源码共分为三个不同的层次。 首先，Storm在设计之初就考虑到了兼容多语言开发。Ni
阅读全文
摘要：用Firefox访问12306.cn, 总是提示"This Connection is Untrusted", 曾经有个"Add Exception" 按钮, 现在也没有了, 只有"Get me out of here!". 那么, "What should I do?" "What should
阅读全文
摘要：安装Git, 到项目目录下右击->Git Bash, 输入命令: 效果如下, 还是挺简便的.
阅读全文
摘要：your_domain->Environment ->Servers ->your_server->Configuration->Tuning->Stuck Thread Max Time
阅读全文
摘要：第一次 被 一首歌打动的泪流满面。那段早已随风逝去，"不知道爱你从哪一年"的恋情，除了心口的绞痛，已不记得什么细节了。我想许多人在所谓的【成熟】或 麻木之前，多有过这么一段时光，没有什么人什么事让你不许做点什么，并满怀梦想！就如歌里唱的，"花开在眼前，我们一起牵手向明天，每次我总是临风清唱，更好的额
阅读全文
摘要：来源：中国之声（ID：zgzs001） 再卑微的人或者动物，在孩子面前也是伟大的母亲！ 而今天的主人公，是这句话最好的例证！ 这一幕发生在重庆解放碑好吃街。 这只背部满是烟头烫伤痕迹的狗狗被爱狗志愿者李女士发现的时候，几位年轻人正拿着烟头往狗狗身上烫，狗狗每被烫一下，就会得到一块卤肉。 烟头每一次烫
阅读全文
摘要：原命令行： sudo sed -i 's/${storm.home}\/logs\/var\/log\/storm/g' /usr/share/storm/log4j/storm.log.properties 报错信息： sed: -e expression #1, char 15: untermi
阅读全文
摘要：1：改变拥有者和群组 命令：chown mail:mail server.log2：改变文件拥有者和群组 命令：chown root: server.log3：改变文件群组 命令：chown :mail server.log4：改变指定目录以及其子目录下的所有文件的拥有者和群组 命令：chown -
阅读全文
摘要：这是linux中一个非常重要命令，请大家一定要熟悉。它的功能是为某一个文件或目录在另外一个位置建立一个同步的链接，类似Windows下的超级链接。这个命令最常用的参数是-s，具体用法是：sudo ln -s 源文件 目标文件 举例： 当前目录是/local，而我经常要访问/usr/local/lin
阅读全文
摘要：tar在linux上是常用的打包、压缩、加压缩工具，他的参数很多，折里仅仅列举常用的压缩与解压缩参数 参数： -c ：create 建立压缩档案的参数；-x ： 解压缩压缩档案的参数；-z ： 是否需用用gzip压缩；-v： 压缩的过程中显示档案；-f： 置顶文档名，在f后面立即接文件名，不能再加参
阅读全文
摘要：storm的并发机制 storm计算支持在多台机器上水平扩容，通过将计算切分为多个独立的tasks在集群上并发执行来实现。 一个task可以简单地理解：在集群某节点上运行的一个spout或者bolt实例。 topology的组成部分：Nodes(服务器):配置在一个storm集群中的服务器，会执行t
阅读全文
摘要：ps：都是学习的别人的博客，只是做了个整理所有就写成了原创，其实都是人家的东西 当一个topology在storm cluster中运行时，它的并发主要跟3个逻辑对象相关：worker，executor 和task 1. Worker 是运行在工作节点上面，被Supervisor守护进程创建的用来干
阅读全文
摘要：组成：一个运行中的拓扑是由什么构成的：工作进程（worker processes），执行器（executors）和任务（tasks）！ 在一个 Storm 集群中，Storm 主要通过以下三个部件来运行拓扑： 工作进程（worker processes） 执行器（executors） 任务（task
阅读全文
摘要：1、Storm并行度相关的概念 Storm集群有很多节点，按照类型分为nimbus（主节点）、supervisor（从节点），在conf/storm.yaml中配置了一个supervisor,有多个槽（supervisor.slots.ports），每个槽就是一个JVM，就是一个worker(一个节
阅读全文
摘要：本文详细介绍了 Storm 集群的安装配置方法。如果需要在 AWS 上安装 Storm，你应该看一下 storm-deploy 项目。storm-deploy 可以自动完成 E2 上 Storm 集群的准备、配置、安装的全部过程，同时还设置好了 Ganglia，方便监控 CPU、磁盘以及网络的使用信
阅读全文
摘要：说明：本文翻译自Storm在GitHub上的官方Wiki中提供的Storm代码结构描述一节Structure of the codebase，希望对正在基于Storm进行源码级学习和研究的朋友有所帮助。 原文出处：http://www.cnblogs.com/yufengof/p/storm-cod
阅读全文
摘要：Storm在集群上运行一个Topology时，主要通过以下3个实体来完成Topology的执行工作：1. Worker（进程）2. Executor（线程）3. Task下图简要描述了这3者之间的关系： 注：supervisor.slots.ports:对于每个工作节点配置该节点可以运行多少个wor
阅读全文
摘要：nimbus-datastorm-core/backtype/storm/nimbus.clj (defn nimbus-data [conf inimbus] (let [forced-scheduler (.getForcedScheduler inimbus)] {:conf conf :in
阅读全文
摘要：配置 Storm 有大量配置项用于调整 nimbus、supervisors 和拓扑的行为。有些配置项是系统级的配置项，在拓扑中不能修改，另外一些配置项则是可以在拓扑中修改的。 每一个配置项都在 Storm 代码库的 defaults.yaml 中有一个默认值。可以通过在 Nimbus 和 Supe
阅读全文
摘要：Nimbus server, 首先从启动命令开始, 同样是使用storm命令"storm nimbus”来启动看下源码, 此处和上面client不同, jvmtype="-server", 最终调用"backtype.storm.daemon.nimbus"的mainnimbus是用clojure实
阅读全文
摘要：nimbus是storm集群的"控制器"，是storm集群的重要组成部分。我们可以通用执行bin/storm nimbus >/dev/null 2>&1 &来启动nimbus。bin/storm是一个python脚本，在这个脚本中定义了一个nimbus函数： nimbus函数 def nimbus
阅读全文
摘要：启动流程图 mk-assignments 功能：对当前集群中所有Topology进行新一轮的任务调度。 实现源码路径： \apache-storm-0.9.4\storm-core\src\clj\backtype\storm\daemon\ nimbus.clj 方法原型： 1 defnk mk-
阅读全文
摘要：storm集群里面工作机器分为两种一种是nimbus, 一种是supervisor, 他们通过zookeeper来进行交互，nimbus通过zookeeper来发布一些指令，supervisor去读zookeeper来执行这些指令! 具体nimbus和supervisor在zookeeper上交换了
阅读全文
摘要：一、Eclipse在线安装JD-Eclipse反编译插件 1、在eclipse的help—》Install New Software...中添加新软件开发，添加它的源： name：jd-eclipse_update_siteaddress：http://jd.benow.ca/jd-eclipse/
阅读全文
摘要：详细步骤：第一部分 GIT介绍 （1）GIT往世今生2005年开发Samba的Andrew试图破解BitKeeper（一款商业的版本控制系统）的协议（这么干的其实也不只他一个），被BitMover公司发现了，于是BitMover公司怒了，要收回Linux社区的免费使用权。于是Linus花了两周时间自
阅读全文
摘要：一、问题再现 二、如何解决
阅读全文
摘要：在进群生产环境下运行Topology和在本地模式下运行非常相似。下面是步骤： 1、定义Topology（如果使用Java开发语言，则使用TopologyBuilder来创建） 2、使用StormSubmitter向集群提交Topology。StormSubmitter有三个参数，Topology的名
阅读全文
摘要：本文将介绍如何设置Storm的开发环境。下面是大纲： 1.下载Storm发布包，解压，将解压的 bin目录放到你电脑的PATH中。 2.为了能够在远程集群中启动或者停止Topology，请将集群信息放到~/.storm/storm.yaml中 下面是步骤的详细说明。 什么是开发环境？ Storm有两
阅读全文
摘要：使用其他语言编写Bolt Bolt可以使用任意语言编写。用另外一种语言编写Bolt来作为子进程运行。Storm会在标准输入输出的基础上使用Json来与子进程通信。通信协议之需要一个100行的适配器库，Storm自带了Ruby,Python,和Fancy的适配器库。 下面是WordCountTopol
阅读全文
摘要：本文将讲述如何在开发环境创建一个Storm项目，下面是步骤： 1、将Storm的相关jar包添加到classpath中； 2、如果使用多语言开发，也要将多语言目录添加到classpath; 点击storm-starter来了解如何使用Eclipse创建storm-starter项目。 将Storm的
阅读全文
摘要：Storm作为当前最流行的实时计算框架，自Twitter将其开源后就一直备受关注。由于其具有先天的稳定性以及便捷性，目前被许多大公司所采用，国外像雅虎、雅虎日本、Twitter、OOYALA、Spotify，国内像京东、腾讯、阿里等都使用Storm来完成大量实时计算来为用户提供优质服务。目前官方的最
阅读全文