2015 年 4月随笔档案 - xymaqingxiang

后Hadoop时代的大数据架构

摘要：提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代，这不是说不用Hadoop，而是像NoSQL （Not Only SQL）那样，有其他的选型补充。背景篇Hado... 阅读全文

posted @ 2015-04-30 12:32 xymaqingxiang 阅读(520) 评论(0) 推荐(0) 编辑

ZooKeeper典型使用场景一览

摘要：ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得zookeeper能够应用于很多场景。zk的使用场景进行归类介绍：场景类别典型场景描述(ZK特性，使用方法)应用中的具体使用数据发布与订阅... 阅读全文

posted @ 2015-04-29 17:03 xymaqingxiang 阅读(362) 评论(0) 推荐(0) 编辑

分布式服务框架 Zookeeper -- 管理分布式环境中的数据

摘要：Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。本文将从使用者角度详细介绍 Zookeeper 的安装和配置文件中各个配置项的意义，以及分析... 阅读全文

posted @ 2015-04-29 12:16 xymaqingxiang 阅读(475) 评论(0) 推荐(0) 编辑

阿里Linux Shell脚本面试25个经典问答

摘要：Q:1 Shell脚本是什么、它是必需的吗?答:一个Shell脚本是一个文本文件，包含一个或多个命令。作为系统管理员，我们经常需要使用多个命令来完成一项任务，我们可以添加这些所有命令在一个文本文件(Shell脚本)来完成这些日常工作任务。Q:2 什么是默认登录shell，如何改变指定用户的登录she... 阅读全文

posted @ 2015-04-27 19:12 xymaqingxiang 阅读(1227) 评论(0) 推荐(0) 编辑

TCP连接的建立与终止过程详解

摘要：TCP连接的建立与终止：1.TCP连接的建立设主机B运行一个服务器进程，它先发出一个被动打开命令，告诉它的TCP要准备接收客户进程的连续请求，然后服务进程就处于听的状态。不断检测是否有客户进程发起连续请求，如有，作出响应。设客户进程运行在主机A中，他先向自己的TCP发出主动打开的命令，表明要向某... 阅读全文

posted @ 2015-04-24 11:21 xymaqingxiang 阅读(5950) 评论(0) 推荐(0) 编辑

Http错误码大全

摘要：Http错误码大全http://en.wikipedia.org/wiki/List_of_HTTP_status_codes响应码由三位十进制数字组成，它们出现在由HTTP服务器发送的响应的第一行。响应码分五种类型，由它们的第一位数字表示：1.1xx：信息，请求收到，继续处理2.2xx：成功，行为... 阅读全文

posted @ 2015-04-24 11:09 xymaqingxiang 阅读(482) 评论(0) 推荐(0) 编辑

优秀Python学习资源收集汇总（强烈推荐）

摘要：Python简介： Python是一种面向对象、直译式计算机程序设计语言。它的语法简捷和清晰，尽量使用无异义的英语单词，与其它大多数程序设计语言使用大括号不一样，它使用縮进来定义语句块。与Scheme、Ruby、Perl、Tcl等动态语言一样，Python具备垃圾回收功能... 阅读全文

posted @ 2015-04-24 08:50 xymaqingxiang 阅读(248) 评论(0) 推荐(0) 编辑

常问面试题：C++中sizeof的陷阱及应答

摘要：C++中sizeof是经常被问到的一个概念，比如，下面的几个关于sizeof的面试题反复出现在各大IT公司的技术面试当中，我们有必要完全理解并掌握。注：在曾经面试大公司时，我的确被问到过这样的问题。面试题：定义一个空的数据类型，里面没有任何成员变量和成员函数，对该类型求sizeof，得到的结果是多少... 阅读全文

posted @ 2015-04-24 08:34 xymaqingxiang 阅读(336) 评论(0) 推荐(0) 编辑

C/C++ 智能指针简单剖析

摘要：导读最近在补看《C++ Primer Plus》第六版，这的确是本好书，其中关于智能指针的章节解析的非常清晰，一解我以前的多处困惑。C++面试过程中，很多面试官都喜欢问智能指针相关的问题，比如你知道哪些智能指针？shared_ptr的设计原理是什么？如果让你自己设计一个智能指针，你如何完成？等等... 阅读全文

posted @ 2015-04-23 16:22 xymaqingxiang 阅读(882) 评论(0) 推荐(0) 编辑

判断系统大小端方法的总结

摘要：何为大小端？大端模式：字数据的高字节存放在低地址中，而字数据的低字节则存放在高地址中。(低地址存放最高有效字节MSB)小端模式：与大端存储格式相反，低地址中存放的是字数据的低字节，高地址中存放的是字数据的高字节。(低地址存放最低有效字节LSB)使用C语言程序判断CPU大小端的方法：NO1：直接使用看... 阅读全文

posted @ 2015-04-23 12:26 xymaqingxiang 阅读(1213) 评论(0) 推荐(0) 编辑

C/C++ 笔试、面试题目大汇总

摘要：这些东西有点烦，有点无聊。如果要去C++面试就看看吧。几年前网上搜索的。刚才看到，就整理一下，里面有些被我改了，感觉之前说的不对或不完善。1.求下面函数的返回值（微软）intfunc(x){intcountx=0;while(x){countx++;x=x&(x-1);}returncountx;... 阅读全文

posted @ 2015-04-21 10:14 xymaqingxiang 阅读(322) 评论(0) 推荐(0) 编辑

C/C++求职宝典重点笔记

摘要：这是我之前准备找工作时看《C/C++求职宝典》一书做的笔记，都是一些笔试面试中常考的重点难点问题，但比较基础，适合初学者看。1. char c = '\72'; 中的\72代表一个字符，72是八进制数，代表ASCII码字符“:”。2. 10*a++ 中a先进行乘法运算再自增（笔试中经常喜欢出这类运算... 阅读全文

posted @ 2015-04-21 10:01 xymaqingxiang 阅读(212) 评论(0) 推荐(0) 编辑

23种设计模式全解析

摘要：一、设计模式的分类总体来说设计模式分为三大类：创建型模式，共五种：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型模式，共七种：适配器模式、装饰器模式、代理模式、外观模式、桥接模式、组合模式、享元模式。行为型模式，共十一种：策略模式、模板方法模式、观察者模式、迭代子模式、责任链模式... 阅读全文

posted @ 2015-04-20 20:27 xymaqingxiang 阅读(299) 评论(0) 推荐(0) 编辑

计算机网络常见面试题汇总

摘要：计算机网络常见面试题汇总1、OSI，TCP/IP，五层协议的体系结构OSI（Open System Interconnect）：开放系统互联，是一个七层的计算机网络模型，分别为：物理层、数据链路层、网络层、传输层、会话层、表示层和应用层。TCP/IP（Transmission Control Pro... 阅读全文

posted @ 2015-04-20 19:58 xymaqingxiang 阅读(12298) 评论(0) 推荐(0) 编辑

操作系统常见面试题总结

摘要：本文导读：一、操作系统常见面试题总结进程与线程的区别进程的状态及其转换进程同步与互斥进程间通信方法作业（或进程）的调度算法有哪些？死锁产生的原因，死锁产生的必要条件是什么，如何预防死锁，如何避免死锁，死锁定理？分段式存储管理、分页式存储管理，两个的区别？页面置换算法有... 阅读全文

posted @ 2015-04-20 18:28 xymaqingxiang 阅读(8914) 评论(0) 推荐(0) 编辑

STL中的容器

摘要：STL中的容器一. 种类：标准STL序列容器：vector、string、deque和list。标准STL关联容器：set、multiset、map和multimap。非标准序列容器slist和rope。slist是一个单向链表，rope本质上是一个重型字符串非标准关联容器hash_set、hash... 阅读全文

posted @ 2015-04-20 18:16 xymaqingxiang 阅读(242) 评论(0) 推荐(0) 编辑

常用排序算法的C++实现

摘要：常用排序算法的C++实现 1 #include 2 using namespace std; 3 void swap(int &i,int &j)//实现i,j交换的函数 4 { 5 i=i^j; 6 j=i^j; 7 i=i^j; 8 } 9 void D... 阅读全文

posted @ 2015-04-20 18:11 xymaqingxiang 阅读(233) 评论(0) 推荐(0) 编辑

STL中的排序算法

摘要：本文转自：STL中的排序算法1.所有STL sort算法函数的名字列表:函数名功能描述sort 对给定区间所有元素进行排序stable_sort 对给定区间所有元素进行稳定排序partial_sort 对给定区间所有元素部分排序partial_so... 阅读全文

posted @ 2015-04-20 18:08 xymaqingxiang 阅读(229) 评论(0) 推荐(0) 编辑

STL 算法

摘要：STL 算法（本文转自：http://www.cnblogs.com/kzloser/archive/2012/11/02/2751424.html）阅读目录如下：STL算法概述查找算法堆算法关系算法集合算法排列组合算法排序和通用算法删除和替换算法生成和变异算法算数算法STL算法概述简介:STL算法... 阅读全文

posted @ 2015-04-20 18:05 xymaqingxiang 阅读(174) 评论(0) 推荐(0) 编辑

Storm可靠性实例解析——ack机制

摘要：对于Storm，它有一个很重要的特性：“Guarantee no data loss” ——可靠性很显然，要做到这个特性，必须要track每个data的去向和结果。Storm是如何做到的呢——acker机制。先概括下acker所参与的工作流程：Spout创建一个新的Tuple时，会发一个消息通知ac... 阅读全文

posted @ 2015-04-19 09:56 xymaqingxiang 阅读(1613) 评论(0) 推荐(0) 编辑

Maven的使用

摘要：Maven是基于项目对象模型(POM)，可以通过一小段描述信息来管理项目的构建，报告和文档的软件项目管理工具。如果你已经有十次输入同样的Ant targets来编译你的代码、jar或者war、生成javadocs，你一定会自问，是否有一个重复性更少却能同样完成该工作的方法。Maven便提供了... 阅读全文

posted @ 2015-04-17 22:14 xymaqingxiang 阅读(290) 评论(0) 推荐(0) 编辑

流式大数据处理的三种框架：Storm，Spark和Samza

摘要：许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。Apache Storm 在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（ma... 阅读全文

posted @ 2015-04-17 02:09 xymaqingxiang 阅读(428) 评论(0) 推荐(0) 编辑

Netty

摘要：Netty简介： Netty是由JBOSS提供的一个java开源框架。Netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序。 Netty 是一个基于NIO的客户，服务器端编程框架，使用Netty 可以确保你快速和简单的开发出一个网络应用，例... 阅读全文

posted @ 2015-04-17 01:57 xymaqingxiang 阅读(304) 评论(0) 推荐(0) 编辑

MVC、MVP、MVVM

摘要：1 简介演变：MVC ——> MVP ——> MVVM 英文原文：MVC vs.MVP vs.MVVM 三者的目的都是分离关注，使得UI更容易变换（从Winform变为Webform），使得UI更容易进行单元测试。 MVC模式（Model-View-Controller）是软件工程中的一种... 阅读全文

posted @ 2015-04-16 11:46 xymaqingxiang 阅读(217) 评论(0) 推荐(0) 编辑

乐观锁与悲观锁

摘要：为什么需要锁（并发控制）？在多用户环境中，在同一时间可能会有多个用户更新相同的记录，这会产生冲突。这就是著名的并发性问题。典型的冲突有：丢失更新：一个事务的更新覆盖了其它事务的更新结果，就是所谓的更新丢失。例如：用户A把值从6改为2，用户B把值从2改为6，则用户A丢失了他的更新。脏读：当一个事务... 阅读全文

posted @ 2015-04-16 10:38 xymaqingxiang 阅读(145) 评论(0) 推荐(0) 编辑

3 条重要的软件开发原则

摘要：英文原文：3 Key Software Principles You Must Understand，翻译：iteye在本文中将介绍 3 条重要的软件开发原则(DRY、KISS、YAGNI原则)，你可能已经知道，也可能只知道其中一条。这些原则看似很简单，但实施起来会很难。无论如何，这些原则提供了一个... 阅读全文

posted @ 2015-04-16 10:18 xymaqingxiang 阅读(302) 评论(0) 推荐(0) 编辑

面试10大算法汇总——Java篇

摘要：问题导读 1 字符串和数组 2 链表 3 树 4 图 5 排序 6 递归 vs 迭代 7 动态规划 8 位操作 9 概率问题10 排列组合11 其他 -- 寻找规律英文版以下从Java角度解释面试常见的算法和数据结构：字符串，链表，树，图，排序，递归 vs. 迭代，动态规划，位操作，概率问题，排列组... 阅读全文

posted @ 2015-04-16 09:39 xymaqingxiang 阅读(552) 评论(0) 推荐(0) 编辑

thrift框架总结，可伸缩的跨语言服务开发框架

摘要：thrift框架总结，可伸缩的跨语言服务开发框架前言：目前流行的服务调用方式有很多种，例如基于 SOAP 消息格式的 Web Service，基于 JSON 消息格式的 RESTful 服务等。其中所用到的数据传输方式包括 XML，JSON 等，然而 XML 相对体积太大，传输效率低，JSON 体积... 阅读全文

posted @ 2015-04-14 22:29 xymaqingxiang 阅读(338) 评论(0) 推荐(0) 编辑

关于storm的Spout、Bolt、及其可靠性

摘要：本文导读：Component全家谱结构图Spout分析 ——类图 ——分析（接口实现）、结论 ——可靠的与不可靠的消息（推荐）Bolt分析 ——类图 ——分析（接口实现）、结论 ——可靠的与不可靠的Bolt（推荐）Component： Storm中，Spout和Bolt都是其Compo... 阅读全文

posted @ 2015-04-14 15:45 xymaqingxiang 阅读(5968) 评论(0) 推荐(0) 编辑

Lisp语言简介

摘要：摘自维基百科，原链接为：http://zh.wikipedia.org/zh/LISP因为Clojure是Lisp的一种的方言，所以我们可以先来了解一下Lisp这个比较小众的编程到底是什么~-------------------------------------------------------... 阅读全文

posted @ 2015-04-14 11:00 xymaqingxiang 阅读(2619) 评论(0) 推荐(0) 编辑

storm 原理简介及单机版安装指南——详细版【转】

摘要：storm 原理简介及单机版安装指南本文翻译自：https://github.com/nathanmarz/storm/wiki/Tutorial原文链接自：http://www.open-open.com/lib/view/open1417653922886.html阅读目录1、准备工作2、一个S... 阅读全文

posted @ 2015-04-13 21:12 xymaqingxiang 阅读(221) 评论(0) 推荐(0) 编辑

大数据领域的顶级开源工具大集合

摘要：如今，从小型初创企业到行业巨头，各种规模的供应商都在使用开源来处理大数据和运行预测分析。本文介绍了一些大数据方面的顶级开源工具，分为四个领域：数据存储，开发平台，开发工具和集成，分析和报告工具。随着大数据与预测分析的成熟，开源作为底层技术授权解决方案的最大贡献者的优势越来越明显。如今，从... 阅读全文

posted @ 2015-04-13 20:04 xymaqingxiang 阅读(276) 评论(0) 推荐(0) 编辑

一个最简单的JStorm例子

摘要：最简单的JStorm例子分为以下几个步骤：1、生成Topology 1 Map conf = new HashMp(); 2 //topology所有自定义的配置均放入这个Map 3 4 TopologyBuilder builder = new TopologyBuilder(); 5 //创建... 阅读全文

posted @ 2015-04-09 11:24 xymaqingxiang 阅读(2598) 评论(0) 推荐(0) 编辑

JStorm开发经验+运维经验总结

摘要：1、开发经验总结——12 Sep 2014·8 revisions在jstorm中， spout中nextTuple和ack/fail运行在不同的线程中，从而鼓励用户在nextTuple里面执行block的操作，原生的storm，nextTuple和ack/fail在同一个线程，不允许nextT... 阅读全文

posted @ 2015-04-09 10:21 xymaqingxiang 阅读(4685) 评论(0) 推荐(0) 编辑

Storm-166：Nimbus HA solution based on Zookeeper

摘要：Nimbus HA feature is quite important for our application running on the storm cluster. So, we've been working on the problem for some time and now a... 阅读全文

posted @ 2015-04-08 17:35 xymaqingxiang 阅读(406) 评论(0) 推荐(0) 编辑

Storm实战集锦

摘要：一、Kafka+Storm+HDFS整合实践本文导读：1 前言2 Kafka安装配置3 Storm安装配置4 整合Kafka+Storm5 整合Storm+HDFS6 整合Kafka+Storm+HDFS7 参考链接参考链接：大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组... 阅读全文

posted @ 2015-04-08 16:05 xymaqingxiang 阅读(322) 评论(0) 推荐(0) 编辑

JStorm之Nimbus简介

摘要：本文导读：——JStorm之Nimbus简介1、简介2、系统框架与原理3、实现逻辑和代码剖析 1）Nimbus启动 2）Topology提交 3）任务调度 4）任务监控4、结束语5、参考文献附：JStorm之NimbusServer启动流程一、简介 JStorm集群包含两类... 阅读全文

posted @ 2015-04-07 12:21 xymaqingxiang 阅读(1387) 评论(0) 推荐(0) 编辑

BF算法 + KMP算法

摘要：准备：字符串比大小：比的就是字符串里每个字符的ASCII码的大小。（其实这样的比较没有多大的意义，我们关心的是字符串是否相等，即匹配等）字符串的存储结构：同线性表（顺序存储+链式存储）顺序存储结构是一组地址连续的存储单元来存储字符串中的字符序列；按照预定义的大小，为每个定义的字符串变量分配一个固... 阅读全文

posted @ 2015-04-06 22:17 xymaqingxiang 阅读(429) 评论(0) 推荐(0) 编辑

分布式消息系统：Kafka

摘要：本文导读：1 Kafka简介2 Kafka设计 + 设计要点3 Kafka应用场景4 参考资料（推荐）分布式消息系统：KafkaKafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它... 阅读全文

posted @ 2015-04-03 11:40 xymaqingxiang 阅读(571) 评论(0) 推荐(0) 编辑

分布式服务框架：Zookeeper简介

摘要：分布式服务框架：Zookeeper(分布式系统的可靠协调系统) 本文导读：1 Zookeeper概述2 Zookeeper总体结构 ——逻辑图、运转流程、特点、优点、数据结构3 Zookeeper应用场景Zookeeper概述： Zookeeper是一个高性能，分布式的，开源分布式应用协调服务。... 阅读全文

posted @ 2015-04-03 11:38 xymaqingxiang 阅读(656) 评论(0) 推荐(0) 编辑

Storm和JStorm(阿里的流处理框架)

摘要：本文导读：1、What——JStorm是什么？ 1.1 概述 1.2优点 1.3应用场景 1.4JStorm架构2、Why——为什么启动JStorm项目？(与storm的区别) 2.1storm的现状、缺陷 2.2JStorm比Storm更稳定，功能更强大，更快！... 阅读全文

posted @ 2015-04-03 11:35 xymaqingxiang 阅读(13574) 评论(0) 推荐(1) 编辑

Storm系统高可用性HA表现

摘要：关于Storm的高可用，有以下几个方面： (1)数据利用阶段可以通过ACK机制保证数据被处理； (2)在进程级别，worker失效，supervisor会自动重启worker线程; (3)在组件级别，supervisor节点失效，会在其他节点重启该supervisor任务；但是一个很大... 阅读全文

posted @ 2015-04-03 11:10 xymaqingxiang 阅读(2248) 评论(0) 推荐(0) 编辑

GitHub上整理的一些工具【转】

摘要：技术站点Hacker News：非常棒的针对编程的链接聚合网站Programming reddit：同上MSDN：微软相关的官方技术集中地，主要是文档类infoq：企业级应用，关注软件开发领域OSChina：开源技术社区，开源方面做的不错哦cnblogs，51cto，csdn：常见的技术社区，各有专... 阅读全文

posted @ 2015-04-02 21:07 xymaqingxiang 阅读(281) 评论(0) 推荐(0) 编辑

大数据技术大合集：Hadoop家族、Cloudera系列、spark、storm【转】

摘要：大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好的架构大数据项目，这里整理一下，供技术人员，项目经理，架构师选择合适的技术，了解大数据各种技术之间的关系，选择合适的语言。我们可以带着下面问题来阅读本文章：... 阅读全文

posted @ 2015-04-02 21:06 xymaqingxiang 阅读(527) 评论(0) 推荐(0) 编辑

Twitter Storm源代码分析之ZooKeeper中的目录结构

摘要：徐明明博客：Twitter Storm源代码分析之ZooKeeper中的目录结构我们知道Twitter Storm的所有的状态信息都是保存在Zookeeper里面，nimbus通过在zookeeper上面写状态信息来分配任务，supervisor，task通过从zookeeper中读状态来领取任... 阅读全文

posted @ 2015-04-02 16:12 xymaqingxiang 阅读(350) 评论(0) 推荐(0) 编辑

Storm分布式实时流计算框架相关技术总结

摘要：Storm分布式实时流计算框架相关技术总结 Storm作为一个开源的分布式实时流计算框架，其内部实现使用了一些常用的技术，这里是对这些技术及其在Storm中作用的概括介绍。以此为基础，后续再深入了解Storm的内部实现细节。1. Zookeeper集群 Zookeeper是一个针对大型分布式系统... 阅读全文

posted @ 2015-04-02 16:03 xymaqingxiang 阅读(360) 评论(0) 推荐(0) 编辑

上手开源项目的几点建议【转】

摘要：你有个任务，需要用到某个开源项目;或者老大交代你一个事情，让你去了解某个东西。怎么下手呢？如何开始呢？我的习惯是这样：1.首先，查找和阅读该项目的博客和资料，通过google你能找到某个项目大体介绍的博客，快速阅读一下就能对项目的目的、功能、基本使用有个大概的了解。2.阅读项目的文档，重点关注类似G... 阅读全文

posted @ 2015-04-02 11:35 xymaqingxiang 阅读(297) 评论(0) 推荐(0) 编辑

公告

04 2015 档案