01 2014 档案

hbase 第一篇
摘要：参考：http://www.jdon.com/38244 http://chuanwang66.iteye.com/blog/1683533 阅读全文
posted @ 2014-01-27 18:09 唐僧吃肉 阅读(82) 评论(0) 推荐(0) 编辑
数据库的伸缩性
摘要：我主要来回顾一些一个慢慢变大的互联网应用如何应对数据库这一层的伸缩。 首先刚开始，人不多，压力也不大,搞一台数据库服务器就搞定了，此时所有的东东都塞进一个Server里，包括web server,app server,db server,但是随着人越来越多，系统压力越来越多，这个时候可能你把... 阅读全文
posted @ 2014-01-27 18:06 唐僧吃肉 阅读(250) 评论(0) 推荐(0) 编辑
hadoop第一篇
摘要：1 hadoop整体架构 2 各组件关系 hdfs只是一个存储空间，他的完整名字是分布式文件系统。有名可知他的作用了。 hbase是一个内存数据库，简单点说hbase把表啊什么的存在hdfs上。 阅读全文
posted @ 2014-01-27 17:36 唐僧吃肉 阅读(132) 评论(0) 推荐(0) 编辑
javascript第一篇----使用简介
摘要：使用技巧 Javascript加入网页有两种方法：直接方式和引用方式。 直接方式 直接调用分为两种形式:代码块和代码行 代码行引用: aa 这种方式应用比较简单,直观,多用于测试 代码块: 这是最常用的方法，大部分含有Javascript的网页都采用这种方法，例如： ... 阅读全文
posted @ 2014-01-26 18:23 唐僧吃肉 阅读(157) 评论(0) 推荐(0) 编辑
highcharts第一篇---简介和使用
摘要：Highcharts 是一个用纯JavaScript编写的一个图表库, 能够很简单便捷的在web网站或是web应用程序添加有交互性的图表，并且免费提供给个人学习、个人网站和非商业用途使用。HighCharts支持的图表类型有曲线图、区域图、柱状图、饼状图、散状点图和综合图表 具体参考： hig... 阅读全文
posted @ 2014-01-26 11:59 唐僧吃肉 阅读(122) 评论(0) 推荐(0) 编辑
mahout第一篇-----Mahout学习路线图
摘要：Mahout学习路线图 前言 Mahout是Hadoop家族中与众不同的一个成员，是基于一个Hadoop的机器学习和数据挖掘的分布式计算框架。Mahout是一个跨学科产品，同时也是我认为Hadoop家族中，最有竞争力，最难掌握，最值得学习的一个项目之一。 Mahout为数据分析人员，... 阅读全文
posted @ 2014-01-26 09:49 唐僧吃肉 阅读(204) 评论(0) 推荐(0) 编辑
posix第二篇-----linux 锁机制
摘要：1 简介 锁机制(lock) 是多线程编程中最常用的同步机制,用来对多线程间共享的临界区(Critical Section) 进行保护。 Pthreads提供了多种锁机制,常见的有： 1) Mutex（互斥量）：pthread_mutex_*** 2) Spin lock（自旋锁）：pth... 阅读全文
posted @ 2014-01-24 15:19 唐僧吃肉 阅读(1045) 评论(0) 推荐(0) 编辑
23种设计模式简单概述之单例模式
摘要：1 单例模式 单例模式是一种常用的软件设计模式。在它的核心结构中只包含一个被称为单例类的特殊类。通过单例模式可以保证系统中一个类只有一个实例而且该实例易于外界访问，从而方便对实例个数的控制并节约系统资源。如果希望在系统中某个类的对象只能存在一个，单例模式是最好的解决方案。 实现： .N... 阅读全文
posted @ 2014-01-22 19:38 唐僧吃肉 阅读(167) 评论(0) 推荐(0) 编辑
hive第二篇----hive中partition如何使用
摘要：一、背景 1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。 2、分区表指的是在创建表时指定的partition的分区空间。 3、如果需要创建有分区的表，需要在creat... 阅读全文
posted @ 2014-01-22 17:24 唐僧吃肉 阅读(6237) 评论(0) 推荐(0) 编辑
hive第一篇----简介和使用客户端
摘要：摘要by crazyhacking：•Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。•本质是将SQL转换为MapReduce程序的映射器 详细的入门教程大家参考《hive指南》比较好。 Hive是Hadoop项... 阅读全文
posted @ 2014-01-22 15:23 唐僧吃肉 阅读(400) 评论(0) 推荐(0) 编辑
函数指针
摘要：摘要： 函数指针作用一般有二：1 调用函数 2 作为参数。 需要注意的是typedef这种是定义了 一种函数指针的类型（特定的参数类型和返回值） 代码示例如下， int func1(int x){ return x; } int func2(int x){ cout<<"we ar... 阅读全文
posted @ 2014-01-22 11:06 唐僧吃肉 阅读(183) 评论(0) 推荐(0) 编辑
一个UWSGI的例子
摘要：摘要：uwsgi执行顺序：启动master进程，执行python脚本的公共代码（import同一层）。然后生成worker进程，uwsgi.post_fork_hook=init_functions，初始化生成work子进程。然后请求来临时，每个子进程执行application代码 配置文... 阅读全文
posted @ 2014-01-21 17:59 唐僧吃肉 阅读(320) 评论(0) 推荐(0) 编辑
boost库使用说明
摘要：1 下载安装 2 编译的时候，需要添加头文件和链接对应的库 阅读全文
posted @ 2014-01-16 14:31 唐僧吃肉 阅读(174) 评论(0) 推荐(0) 编辑
expect ------提供用户名和密码的SSH自动登录脚本
摘要：使用VPN，每次都要在Terminal上重复输入命令： ssh -D port user@host 出来密码提示符后，把复杂的密码拷贝下来，然后粘贴到Terminal，敲回车... 终于忍受不了这样的重复了，于是用Shell写一个可以自动登录的脚本： Shell script代... 阅读全文
posted @ 2014-01-15 11:31 唐僧吃肉 阅读(758) 评论(0) 推荐(0) 编辑
protobuf python api
摘要：摘要： python中一切都可以看作类。那么如何查看每个类的API。使用ipython python protobuf 的函数在message中定义 此处所有的api说明：https://developers.google.com/protocol-buffers/docs/reference... 阅读全文
posted @ 2014-01-10 21:05 唐僧吃肉 阅读(2122) 评论(0) 推荐(0) 编辑
UWSGITOP-----监控uwsgi 性能
摘要：启动 uwsgi -x etc/bfdds_cookiemapping_conf.xml --stats /tmp/stats.socket 查看 uwsgitop /tmp/stats.socket或者uwsgitop ip:port 阅读全文
posted @ 2014-01-10 17:08 唐僧吃肉 阅读(2586) 评论(0) 推荐(0) 编辑
head和tail命令-----得到头尾N行或者这去掉尾头N/N-1行
摘要：[algo@localhost tmp]$ cat test 1 2 3 4 5 head得到头部2行，删掉尾部2行 [algo@localhost tmp]$ head -n +2 test 1 2 [algo@localhost tmp]$ head -n -2 test 1 2 ... 阅读全文
posted @ 2014-01-10 15:30 唐僧吃肉 阅读(1432) 评论(0) 推荐(0) 编辑
-linux删除大量文件----rm,rsync
摘要：要在linux下删除海量文件，比如有数十万个文件，此时常用的rm -rf * 就会等待时间很长。这时我们可以使用rsync快速删除大量文件。 1、建立一个空目录 mkdir -p /tmp/rsync_blank 2、确立需要清空的目标目录 /data/web/vip/htd... 阅读全文
posted @ 2014-01-10 11:14 唐僧吃肉 阅读(1492) 评论(0) 推荐(0) 编辑
前端后端工具汇总
摘要：一、http_load 程序非常小，解压后也不到100K http_load以并行复用的方式运行，用以测试web服务器的吞吐量与负载。但是它不同于大多数压力测试工 具，它可以以一个单一的进程运行，一般不会把客户机搞死。还可以测试HTTPS类的网站请求。 下载地址：http://sof... 阅读全文
posted @ 2014-01-09 11:29 唐僧吃肉 阅读(316) 评论(0) 推荐(0) 编辑
UWSGI配置文件---ini和xml示例
摘要：一 conf.ini文件: [uwsgi] http = $(HOSTNAME):9033 http-keepalive = 1 pythonpath = ../ module = service master = 1 processes = 8 daemonize = logs/uwsgi... 阅读全文
posted @ 2014-01-07 13:36 唐僧吃肉 阅读(2422) 评论(0) 推荐(0) 编辑