2015 年 3月随笔档案 - xymaqingxiang

笔试面试的路上——努力ing

摘要：积累：最值得阅读学习的 10 个 C 语言开源项目代码改变计算技术的 9 个伟大算法程序员选修课丨追妹子的各种算法追MM 和设计模式：趣解 23 种设计模式设计高可用性、容错和数据隔离的Hadoop集群题库：程序员面试：电话面试问答Top 50程序员面试笔试宝典学习记录（一）百度2015校园招聘面试... 阅读全文

posted @ 2015-03-31 21:28 xymaqingxiang 阅读(218) 评论(0) 推荐(0) 编辑

Storm配置项详解【转】

摘要：Storm配置项详解 ——阿里数据平台技术博客：storm配置项详解什么是Storm?Storm是twitter开源的一套实时数据处理框架，基于该框架你可以通过简单的编程来实现对数据流的实时处理变换。Storm的配置文件一般存放在$STORM_HOME/conf下，通常名为storm.yaml，它... 阅读全文

posted @ 2015-03-31 21:12 xymaqingxiang 阅读(1129) 评论(0) 推荐(0) 编辑

storm UI

摘要：Storm UI ——本文主要解释下storm ui上各项属性的含义。通过http://UI_Server:8080可以打开Storm Web UI看看Storm集群的状态。1. mainpage 首页主要分为3块: a. Cluster Summary version：stor... 阅读全文

posted @ 2015-03-31 20:59 xymaqingxiang 阅读(1830) 评论(0) 推荐(0) 编辑

Storm on Yarn ：原理分析+平台搭建

摘要：Storm on YARN： Storm on YARN被视为大规模Web应用与传统企业应用之间的桥梁。它将Storm事件处理平台与YARN（Yet Another Resource Negotiator）应用管理框架进行了组合，为此前进行批处理的Hadoop应用提供了低延迟的处理能力。诞生背景（... 阅读全文

posted @ 2015-03-31 18:56 xymaqingxiang 阅读(1010) 评论(0) 推荐(0) 编辑

数据结构 + 算法 -> 收集

摘要：董的博客：数据机构与算法合集背包问题应用(2011-08-26)数据结构之红黑树(2011-08-20)素数判定算法(2011-06-26)算法之图搜索算法(一)(2011-06-22)算法之排列与组合算法(2011-06-21)数据结构之位图(2011-05-22)数据结构之AVL树(2011-0... 阅读全文

posted @ 2015-03-31 18:14 xymaqingxiang 阅读(185) 评论(0) 推荐(0) 编辑

Storm与Spark：谁才是我们的实时处理利器

摘要：Storm与Spark：谁才是我们的实时处理利器 ——实时商务智能目前已经逐步迈入主流，而Storm与Spark开源项目的支持无疑在其中起到了显著的推动作用。那么问题来了：实时处理到底哪家强？实时商务智能这一构想早已算不得什么新生事物（早在2006年维基百科中就出现了关于这一概念的页面）。然而... 阅读全文

posted @ 2015-03-31 16:45 xymaqingxiang 阅读(416) 评论(0) 推荐(0) 编辑

Hadoop 2.0 NameNode HA和Federation实践【转】

摘要：Hadoop 2.0 NameNode HA和Federation实践Posted on2012/12/10一、背景天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案，由于行业的特殊性，客户对服务的可用性有着非常高的要求，而HDFS长久以来都... 阅读全文

posted @ 2015-03-30 22:33 xymaqingxiang 阅读(304) 评论(0) 推荐(0) 编辑

Hadoop2.0中单点故障解决方案分析

摘要：Hadoop 1.0内核主要由两个分支组成：MapReduce和HDFS，众所周知，这两个系统的设计缺陷是单点故障，即MR的JobTracker和HDFS的NameNode两个核心服务均存在单点问题，该问题在很长时间内没有解决，这使得Hadoop在相当长时间内仅适合离线存储和离线计算。令人欣... 阅读全文

posted @ 2015-03-30 17:18 xymaqingxiang 阅读(591) 评论(0) 推荐(1) 编辑

Fault Tolerance —— Storm的故障容错性

摘要：——本文讲解了Storm故障容忍性(Fault-Tolerance)的设计细节：当Worker、节点、Nimbus或者Supervisor出现故障时是如何实现故障容忍性，以及Nimbus是否存在单点故障问题。当一个Worker挂了会怎样？When a worker dies, the supervi... 阅读全文

posted @ 2015-03-30 10:44 xymaqingxiang 阅读(824) 评论(0) 推荐(0) 编辑

storm源码之storm代码结构【译】【转】

摘要：【原】storm源码之storm代码结构【译】说明：本文翻译自Storm在GitHub上的官方Wiki中提供的Storm代码结构描述一节Structure of the codebase，希望对正在基于Storm进行源码级学习和研究的朋友有所帮助。Storm的源码共分为三个不同的层次。首先，Stor... 阅读全文

posted @ 2015-03-28 22:03 xymaqingxiang 阅读(283) 评论(0) 推荐(0) 编辑

storm源码之理解Storm中Worker、Executor、Task关系 + 并发度详解

摘要：本文导读：1 Worker、Executor、task详解2 配置拓扑的并发度3 拓扑示例4 动态配置拓扑并发度Worker、Executor、Task详解：Storm在集群上运行一个Topology时，主要通过以下3个实体来完成Topology的执行工作：1. Worker Process（工作进... 阅读全文

posted @ 2015-03-28 21:54 xymaqingxiang 阅读(4311) 评论(0) 推荐(1) 编辑

storm源码之一个class解决nimbus单点问题【转】

摘要：本文导读：1 storm nimbus 单节点问题概述2 storm与解决nimbus单点相关的概念3 nimbus目前无法做到多节点的原因4 解决nimbus单点问题的关键5 业界对nimbus单点问题的努力6 nimbus单点问题的解决思路7 NimbusCloudStorage的实现8 总结：... 阅读全文

posted @ 2015-03-28 21:48 xymaqingxiang 阅读(883) 评论(0) 推荐(0) 编辑

对互联网海量数据实时计算的理解 + 业界开源实时流处理系统小结 _ (技术调研参考)

摘要：对互联网海量数据实时计算的理解1. 实时计算的概念互联网领域的实时计算一般都是针对海量数据进行的，除了像非实时计算的需求（如计算结果准确）以外，实时计算最重要的一个需求是能够实时响应计算结果，一般要求为秒级。个人理解，互联网行业的实时计算可以分为以下两种应用场景：1）数据源是实时的不间断的，要求... 阅读全文

posted @ 2015-03-27 22:25 xymaqingxiang 阅读(1553) 评论(0) 推荐(0) 编辑

SQL语句的添加、删除、修改多种方法 —— 基本操作

摘要：添加、删除、修改使用db.Execute(Sql)命令执行操作╔----------------╗☆ 数据记录筛选 ☆╚----------------╝注意：单双引号的用法可能有误(没有测试)Sql = "Select Distinct 字段名 From 数据表"Distinct函数，查询数据库存... 阅读全文

posted @ 2015-03-27 21:42 xymaqingxiang 阅读(524) 评论(0) 推荐(0) 编辑

大白话strom——问题收集（持续更新ing）

摘要：本文导读：1、基于storm的应用2、storm的单点故障解决3、strom与算法的结合学习4、杂记——常见问题的解答5、http://www.blogchong.com/catalog.asp?tags=问题整理(storm)Storm存在的一些问题：（V 0.7.4之前）1、编程门槛对普通用户较... 阅读全文

posted @ 2015-03-27 17:58 xymaqingxiang 阅读(617) 评论(0) 推荐(0) 编辑

maven环境快速搭建（转）

摘要：Apache Maven is a software project management and comprehension tool 使用maven可以有效的管理项目中使用的JAR，特别是JAR之间的相互依赖。也是优秀的项目构建和单元测试的工具。1:下载最新版本的mavenhttp://ma... 阅读全文

posted @ 2015-03-27 17:33 xymaqingxiang 阅读(177) 评论(0) 推荐(0) 编辑

storm环境搭建（前言）—— 翻译 Setting Up a Development Environment

摘要：Setting Up a Development Environment搭建storm开发环境所需步骤：Download aStorm release, unpack it, and put the unpackedbin/directory on your PATH.（下载storm的releas... 阅读全文

posted @ 2015-03-27 11:10 xymaqingxiang 阅读(331) 评论(0) 推荐(0) 编辑

在本地（Eclipse）运行第一个strom-starter例子

摘要：一、在Eclipse中建立storm项目：具体步骤如下：1、在Eclipse中新建java project项目并导入jar包：File-> New -> Java Project ->随便取个名字-> Next -> Libraries -> add External JARs...-> 追加twi... 阅读全文

posted @ 2015-03-27 10:34 xymaqingxiang 阅读(882) 评论(0) 推荐(0) 编辑

storm环境搭建

摘要：备注——使用： 1、单机版本：启动zkServer、nimbus、supervisor、ui服务：通过http://UI_Server:8080可以打开Storm Web UI看看Storm集群的状态。在命令窗口输入: jps 可以查看各个进程的运行状态： 2、集群版本：将此台nimbus电阅读全文

posted @ 2015-03-27 09:04 xymaqingxiang 阅读(620) 评论(0) 推荐(0) 编辑

从Apache Storm学到的经验教训 —— storm的由来（转）

摘要：阅读目录Storm来源初探再探构建第一个版本被Twitter收购开源的Storm发布之后Storm的技术演进构建开发者社区版离开Twitter提交到ApacheApache孵化结论Apache Storm最近成为了ASF的顶级项目，这对于该项目和我个人而言是一个重大的里程碑。很难想像4年前Storm... 阅读全文

posted @ 2015-03-26 18:02 xymaqingxiang 阅读(1604) 评论(0) 推荐(0) 编辑

Distributed RPC —— 分布式RPC

摘要：This tutorial showed how to do basic stream processing on top of Storm. There's lots more things you can do with Storm's primitives. One of the most i... 阅读全文

posted @ 2015-03-25 21:21 xymaqingxiang 阅读(183) 评论(0) 推荐(0) 编辑

Transactional topologies —— 事务拓扑

摘要：事务拓扑是怎么回事？Storm guarantees that every message will be played through the topology at least once.Storm has a feature called transactional topologies th... 阅读全文

posted @ 2015-03-25 21:15 xymaqingxiang 阅读(394) 评论(0) 推荐(0) 编辑

Guaranteeing message processing —— 可靠的消息处理

摘要：Storm's reliability API: how Storm guarantees that every message coming off a spout will be fully processed.(storm的可靠性API： storm如何保证spout发出的每一个tuple都被... 阅读全文

posted @ 2015-03-25 21:12 xymaqingxiang 阅读(551) 评论(0) 推荐(0) 编辑

storm Tutorial 的解读 + 个人理解

摘要：参考链接：Tutorialstorm Tutorial 中文解读+分析导读、摘要：1.hadoop有master与slave，Storm与之对应的节点是什么？2.Storm控制节点上面运行一个后台程序被称之为什么？3.Supervisor的作用是什么？4.Topology与Worker之间的关系是什... 阅读全文

posted @ 2015-03-25 17:59 xymaqingxiang 阅读(780) 评论(0) 推荐(0) 编辑

Storm Grouping —— 流分组策略

摘要：Storm Grouping：Shuffle Grouping ：随机分组，尽量均匀分布到下游Bolt中将流分组定义为混排。这种混排分组意味着来自Spout的输入将混排，或随机分发给此Bolt中的任务。shuffle grouping对各个task的tuple分配的比较均匀。Fields Group... 阅读全文

posted @ 2015-03-25 11:46 xymaqingxiang 阅读(7837) 评论(0) 推荐(0) 编辑

抓取网页内容生成Kindle电子书（转）

摘要：抓取网页内容生成Kindle电子书阅读全文

posted @ 2015-03-24 10:19 xymaqingxiang 阅读(412) 评论(0) 推荐(0) 编辑

浅析PageRank算法（转）

摘要：浅析PageRank算法本文首先会讨论搜索引擎的核心难题，同时讨论早期搜索引擎关于结果页面重要性评价算法的困境，借此引出PageRank产生的背景。第二部分会详细讨论PageRank的思想来源、基础框架，并结合互联网页面拓扑结构讨论PageRank处理Dead Ends及平滑化的方法。第三部分讨论T... 阅读全文

posted @ 2015-03-24 10:18 xymaqingxiang 阅读(123) 评论(0) 推荐(0) 编辑

自旋锁+信号量

摘要：本文将为你介绍内核同步算法中的自旋锁和信号量。在这之前，先了解一些概念。执行线程：thread of execution，指任何正在执行的代码实例，可能是一个正在内核线程，一个中断处理程序等。有时候会将执行线程简称为线程。临界区：critical region，即访问和操作共享数据的代码段。多个执行... 阅读全文

posted @ 2015-03-24 10:13 xymaqingxiang 阅读(540) 评论(0) 推荐(0) 编辑

如果看了这篇文章你还不懂傅里叶变换，那就过来掐死我吧（转）

摘要：如果看了这篇文章你还不懂傅里叶变换，那就过来掐死我吧：http://news.cnblogs.com/n/209014/ 阅读全文

posted @ 2015-03-24 10:13 xymaqingxiang 阅读(159) 评论(0) 推荐(0) 编辑

俄罗斯方块——shell

摘要：1 #!/bin/bash 2 3 # Tetris Game 4 # 10.21.2003 xhchen 5 6 #APP declaration 7 APP_NAME="${0##*[\\/]}" 8 APP_VERSION="1.0" 9 10 11 #颜色... 阅读全文

posted @ 2015-03-24 10:12 xymaqingxiang 阅读(358) 评论(0) 推荐(0) 编辑

shell学习之路（整理ing）

摘要：学习 shell脚本之前的基础知识http://www.92csz.com/study/linux/12.htmSHELL脚本http://www.92csz.com/study/linux/14.htm 阅读全文

posted @ 2015-03-24 10:12 xymaqingxiang 阅读(133) 评论(0) 推荐(0) 编辑

软件设计模式（Design pattern）（待续）

摘要：软件设计模式是在面向对象的系统设计过程中反复出现的问题解决方案。设计模式通常描述了一组相互紧密作用的类与对象。设计模式提供一种讨论软件设计的公共语言，使得熟练设计者的设计经验可以被初学者和其他设计者掌握。设计模式还为软件重构提供了目标。参考学习补充：1、23个设计模式的简明教程（推荐）2、大话设计模... 阅读全文

posted @ 2015-03-24 10:10 xymaqingxiang 阅读(251) 评论(0) 推荐(0) 编辑

微信开发（待续）

摘要：（http://mp.weixin.qq.com/wiki/index.php?title=%E9%A6%96%E9%A1%B5）目录如下：阅读全文

posted @ 2015-03-24 10:10 xymaqingxiang 阅读(149) 评论(0) 推荐(0) 编辑

一致性哈希（整理待续）

摘要：Consistent hashing一致性哈希算法及其在分布式系统中的应用Consistent Hashing一致性哈希库libconhash的使用与实现阅读全文

posted @ 2015-03-24 10:09 xymaqingxiang 阅读(186) 评论(0) 推荐(0) 编辑

scaffolding —— 脚手架（转）

摘要：Scaffolding — 基架基于数据库架构生成网页模板的过程。在 ASP .NET 中，动态数据使用基架来简化基于 Web 的 UI 的生成过程。用户可以通过这种 UI 来查看和更新数据库。脚手架项目： Github源码阅读全文

posted @ 2015-03-24 10:09 xymaqingxiang 阅读(226) 评论(0) 推荐(0) 编辑

如何实现一个malloc（转）

摘要：博文链接：http://blog.codinglabs.org/articles/a-malloc-tutorial.html1 什么是malloc2 预备知识2.1 Linux内存管理2.1.1 虚拟内存地址与物理内存地址2.1.2 页与地址构成2.1.3 内存页与磁盘页2.2 Linux进程级内... 阅读全文

posted @ 2015-03-24 10:08 xymaqingxiang 阅读(146) 评论(0) 推荐(0) 编辑

如何实现一个2048-AI - 算法分析（转）

摘要：博文链接阅读全文

posted @ 2015-03-24 10:07 xymaqingxiang 阅读(383) 评论(0) 推荐(0) 编辑

双基准快速排序（Dual-Pivot Quicksort）（转）

摘要：课本上常见的快速排序都是选择一个枢纽元（Pivot），基于这个枢纽元从前后双向扫描分成大于枢纽元和小于枢纽元的。而从JDK 7开始，java.util.Arrays.sort()使用双基准快速排序（Dual-Pivot Quicksort）作为实现。传统快速排序：选择枢纽元pivot,有很多种选法，... 阅读全文

posted @ 2015-03-24 10:00 xymaqingxiang 阅读(2676) 评论(0) 推荐(0) 编辑

公告

03 2015 档案