随笔分类 - 工具框架
摘要:最近做一些音乐类、读物类的自然语言理解,就调研使用了下Stanford corenlp,记录下来。 功能 Stanford Corenlp是一套自然语言分析工具集包括: POS(part of speech tagger)-标注词性 NER(named entity recognizer)-实体名识
阅读全文
摘要:分布式锁客户端执行如下命令,来获取锁和释放锁。random = random()ok = (Set key random PX 2000ms NX)if (ok) { //do something if (redis->get(key) == random) { (del ...
阅读全文
摘要:maven利用各种插件来管理构建项目,本文记录下工作中常用到的插件及使用方法。每个插件都会提供多个目标(goal),用于标示任务。各插件配置在pom.xml里,如下: <build> [...] <plugins> <plugin> ... </plugin> </plugins> [...] </
阅读全文
摘要:消息队列两个用处:服务间解耦,缓解压力(削峰平谷),以前用过ZMQ、狼厂内部的NMQ,现在接触了java开源的kafka和RabbitMQ。目前先不求甚解,有个大概的认识。RabbitMQ的安装和入门例子见http://www.rabbitmq.com/,挺全的。安装前需要安装erlang,启动方便...
阅读全文
摘要:该系列基于redis-2.8.18,主要记录自己的理解或者想法。redis以自己支持存储的数据结构丰富吸引了大批人,把memcached比了下去。本文就从简单基本的数据结构入手。双向链表-adlisttypedef struct listNode { struct listNode *prev...
阅读全文
摘要:Kafka是一个分布式的消息队列,学习见Apache Kafka文档,中文翻译见Kafka分享,一个简单的入门例子见kafka代码入门实例。本文只针对自己感兴趣的点记录下。1.架构Producer/Consumer:消息的生成者和使用者。Broker:kafka server充当broker角色,起...
阅读全文
摘要:zk支持java/c访问,java常用的有apache-zkclient、社区版的i0tec-zkclient、github.adyliu,apache-zkclient是zk自身提供的接口,i0tec/adyliu都是对apache版的封装丰富,提供了便捷的事件监听和数据序列化。C版的使用见"zk...
阅读全文
摘要:接触zk是2年前了,最近工作又比较依赖于zk,所以准备起个系列文章,系统的总结下。zookeeper是一个分布式的用于协调的服务,起源于Hadoop中的一个组件。分布式系统可以用zookeeper实现统一命名服务、配置管理、分布式锁、集群管理等功能。数据结构zk维护的数据结构类似于操作系统中的文件系...
阅读全文
摘要:MFS(MooseFS)是一个容错的、网络分布式文件系统,是GFS的开源实现。它把数据分散在多个物理机上,对外展现为一个整体资源。支持的功能Unix的通用文件系统功能:目录树;记录POSIX文件属性(权限、最近读取、修改时间);支持特殊文件(块和字符设备、管道和套接口);符号链接和硬链接;根据IP和...
阅读全文
摘要:redis自身提供了主从的机制,通过配置可以实现服务的备份(Master->Slave)。配置项 slaveof masterauth //如果master设置了requirepass password 复制流程Slave启动或重新与Master连接时...
阅读全文
摘要:下面是一些看了,但觉得用处不大,不记下又可惜的东西。Redis删除过期数据redis通过expire/expireat(秒为单位)或者pexpire/pexpireat(毫秒为单位)来设置key的过期时间,reids是如何自动删除过期数据的呢?当client主动访问key时,如果key已过期会立刻删...
阅读全文
摘要:redis对数据的持久化有两种方式:RDB(快照保存)和AOF(命令日志)。RDB介绍:将内存快照保存到磁盘,dump.rdb二进制文件触发:满足“N 秒内数据集至少有 M 个改动”,或使用save/bgsave命令。save同步阻塞客户端,bgsave异步后台存储。工作:Redis 调用forks...
阅读全文
摘要:redis越来越受大家欢迎,提升下速度,做下缓存,完成KPI之利器呀。翻译一篇文章>,来介绍下Redis的适用场景。展现最新数据Web应用常常要展现最新数据,就会根据时间对数据排序:SELECT * FROM foo WHERE ... ORDER BY time DESC LIMIT 10随着数据...
阅读全文
摘要:Redis 是完全开源免费的,遵守BSD协议,先进的key - value持久化产品。它通常被称为数据结构服务器,因为值(value)可以是 字符串(String), 哈希(Map), 列表(list), 集合(sets) 和 有序集合(sorted sets)等类型。redis客户端连接比较简单...
阅读全文
摘要:1.unixtime和可读时间的转换unixtime是距"1970-01-01 08:00:00"的时间秒数unixtime -> readableselect from_unixtime(double,format)readable -> unixtimeselect unix_timestamp...
阅读全文
摘要:《MySQL++简介》介绍了如何使用C++来访问mysql,本文记录下使用C API访问mysql,mysql++就是对本文介绍的C-API的封装。常用函数(名字就能告诉我们用法):MYSQL * mysql_init(MYSQL *mysql)int mysql_options(MYSQL *my...
阅读全文
摘要:CGI(Common Gateway Interface)公共网关接口,是HTTP服务器与其他程序通信的工具。FastCGI是一个long-live型的CGI,支持分布式计算,它将CGI解释器进程保持在内存中并因此获得较高的性能。FastCGI工作方式是接受Web服务器的请求,以HTTP Reque...
阅读全文
摘要:ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务。分布式应用可以使用它来实现诸如:统一命名服务、配置管理、分布式锁服务、集群管理等功能。公司常用到的是Java服务集群的管理。1.函数介绍//create a handle to used communicate with zooke...
阅读全文
摘要:1.安装protobuf编译器./configure --prefix=dist; make; make install; 配置bin路径2.进入解压后的python目录下参考README.txt,python setup.py install3.使用message RowProto {requir...
阅读全文
摘要:Google Protocol Buffer( 简称 Protobuf) 是 Google 公司内部的混合语言数据标准,目前已经正在使用的有超过 48,162 种报文格式定义和超过 12,183 个 .proto 文件。他们用于 RPC 系统和持续数据存储系统。Protocol Buffers 是...
阅读全文