摘要:
近期简单写了一个基于Cassandra/C++的日志缓存,虽然是Nosql,但是在实际应用中,还是期望能有部分的临时CQL统计 或+-*/可以支持所以在针对部分字段入库时,选择了作为整形录入,于是麻烦就来了。1,第一个碰到的是Not enough bytes to read value of component 0 经过百般测试发现在建表时的WITH COMPACT STORAGE干扰最大。当去掉该语句时,Thrift程序写入会报错,cql执行会通过。翻阅官网HANDBOOK后发现,也许是出于节省磁盘空间的出发点,在2.0以后cql界面建表不再自带该参数,cli界面建表自动带上该参数。根据官. 阅读全文
摘要:
心血来潮,同时想用C++连连手。面对如火如荼的MP,一阵念头闪过,如果把一些ML领域的玩意整合到MP里面是不是很有意思确实很有意思,可惜mahout来高深,我也看不懂。干脆自动动手丰衣足食,加上自己对JAVA一窍不通,于是写了streming C++版的ID3,数据源是来大神orisun的原始数据。整个过程都是下班后一边带孩子一边撰写,总共历时2周多,写了两个版本:1,shell+streming(屌丝版,MP运行速度在3分钟,单机OS运行速度541毫秒)2,streaming一次成型(高富帅版,MP运行速度23秒,单机OS运行速度42毫秒)先贴一些ID3的数据流向,ID3 先算每种因素的出现 阅读全文
摘要:
正好公司为了检测前台网络,力图收集有力证据与某CDN PK,所以随手写了一个群PING的程序。写的内容比较简单,没有去特别追求线程效率,也没有去用LINUX 2.6+的殿堂级神器,以追求实现效率为主,一些参数大家可以自己调。同事后来帮忙补了些日志处理,当然如果有兴趣的,还可以直接与AS3做SOCKET展示。大致的源码如下:#Linux REHL 6,x64,4C/32G,GCC#define MAXTD 2#include #include #include #include char IP[230][30];char *PINGI=NULL;char *PINGC=NULL;char *PI 阅读全文
摘要:
1,对于AWK通配符的处理例如文本:AAAAAAAA(CZ航母STYLE+CZ航母STYLE+CZ航母STYLE+CZ航母STYLE);XXXX;CCCCC(F22战机+F22战机);33333(蘑菇云+蘑菇云);3300LS对于排除括号内的截取可以使用如下AWKawk -F '[(*)]' '{print $1,$3,$5}'2,NodeJs+TR截取server-status Wait状态//req.jsvar http=require('http');http.get("http://10.9.131.171/server-sta 阅读全文
摘要:
Hadoop目前人气超旺,返璞归真的KV理念让人们再一次换一个角度来冷静思考一些问题。但随着近些年来写C/C++的人越来越少,网上和官方WIKI的教程直接落地的成功率却不高,多少会碰到这样那样的问题。现在我就重新整理下搭建过程的一些细节,供同好者分享,也请多多指点。1,一些条件:VituralBox 4.3 Win7 x64Centos 6.4 x64_86(来自某国内某镜像网站)Hadoop-1.2.1.tar.gz安装openssl、zlib、glib必备(之前cassandra的文章有提及)2,搭建集群过程(这部分简写,网上很多参考)2.1 ssh_key互信主备:ssh-keygen 阅读全文
摘要:
//Centos6 x86_64#include #include #include #include int main( int argc, char *argv[] ){ time_t tmp_time; struct tm *ptime; struct tm *tmp; tmp_time = time(NULL); if(argv[1]==0) { printf("Input Value Null!\n"); printf("Example:\n"); printf("zz -10 // before 10 mi... 阅读全文
摘要:
工作的需要,开始更多地倾向于去中心化的结构,目前看来Cassandra算是去中心化DB中性能/管理最热门的选择,崇尚其P2P的理念。自身原因对JAVA不擅长(周围写C的好少),还是更热衷于C++/JS,所以把Cassandr C++/NODEJS(内网环境下)搭建的过程记录下来,共同好者分享。1,一些条件:VituralBox 4.3 Win7 x64Centos 6.4 x64_86(来自某国内某镜像网站) thrift-0.9.1.tar.gz openssl-1.0.1e.tar.gz apache-cassandra-2.0.2-bin.tar.gzrepo指向[base]name=C 阅读全文