摘要：
PHP:之前用过eclipse很久，当时也是唯一的选择，不过现在看来是非常不好的选择。Netbeans和PHPStorm都是很优秀的选择。一个细节：单元测试唯一可用的就是PHPUnit, 但是适合的场景是：工具类（即不怎么依赖其他外部资源），适配过的框架（如Yaf，Yii，官方有定制版的PHPUni... 阅读全文
摘要：
做IP的访问限制，对资源性网页进行频率限制 ，首先看了很多网页都说mod_limit就是找不到这个插件的官网。后来找到https://github.com/matsumoto-r/mod_vlimit，一个日本人写的按这个github的描述，先安装并加载这个模块，我的测试环境是Ubuntu 12.0... 阅读全文
摘要：
公司决定用win开发php，瞬间泪牛满面，感觉从linux走向win开发有一种从原始社会走向现代社会的赶脚。各个IDE的的断电调试实在是太方便了。之前做过不短时间的PHP开发，反正没搞定xdebug就对了。这次必须搞定，要不然很费效率。我的wamp装在D:/wamp。下官方版本的wamp，本来按照官方说明准备下载xdebug，发现怎么配置都不好使，发现wamp安装已自带而且配置都弄好了，在最新版wamp下都不用关心xdebug了，把apache的php.ini最后一行都改为zend_extension = "D:/wamp/bin/php/php5.3.13/zend_ext/php 阅读全文
摘要：
参考安装方法想了解详细的说明看上面的链接，总共就这么几步。在安装中，我在wordpress和mysql用的都是同样的密码（当然可以不一样），这些最后配置的时候需要用。sudo apt-get updatesudo apt-get install lamp-server^sudo apt-get install php5 php5-gd php5-mysql php5-curl php5-cli php5-cgi php5-dev sudo apt-get install phpmyadminsudo apt-get install wordpresssudo ln -s /usr/share/ 阅读全文
摘要：
笔者搭建的是伪分布，其他方式页面里面也有。安装参考：安装伪分布配置新建表create 'dailystats','uid','sTime','eTime','calories','steps','activeValue','pm25suck','runDist','runDura','cycDist','cycDura','walkDist','walkDura',' 阅读全文
摘要：
【Schema设计】首先碰到的问题就是如何设计表结构。关键字：partition，cluster，row format建表需要对如下几个feature弄情况，合理使用partition 就是按某个字段分文件夹index 据说索引并不成熟，至少有一点，每次导数据后倒要重建索引，感觉挺傻的store as rcfile 这个结构结合了行表和列表的优势，对比Text和Sequence 俩种存储external table 如果数据不止在hive处理需要其他的工具，使用外部表bucket 为了并行处理，文件夹下的文件会散列到bucket个文件中实验表OKCREAT... 阅读全文
摘要：
今天尝试跑了一个这样的Hive SQL，跑过去30天的用户的平均步数和卡路里。#!/bin/bashcur_date=`date +%Y%m%d`pasts=""for i in `seq 30`do iday=`date -d "$i days ago" +%Y%m%d` if [ 1 -eq $i ] then pasts=$iday else pasts=$pasts","$iday fidone# echo $pastssudo -su hdfs hive -e "select uid,avg(steps),avg( 阅读全文
摘要：
用的是阿里云主机，发现系统盘只有20G，但是送了一块130G数据盘（要是给我直接一块150G的系统盘就好了，阿里云的说法是，数据系统分开互不干扰）本来打算要升级硬盘，后来启动了130G硬盘并挂载在某目录下（/ad）。需要修改hadoop配置，不需要修改hive配置。下面是CDH4默认给我们配置的(1) /etc/hadoop/conf/hdfs-site.xml dfs.replication 1 dfs.safemode.extension 0 dfs.safemode.min.datanodes 1 ... 阅读全文
摘要：
2014-3-10【需求】接受的工作需要处理海量数据，第一步先用工具做一些运营数据的产出，考虑采用hadoop方便以后跟随数据量变大可以补充机器，而不用动统计逻辑。当前的hadoop社区非常活跃，hadoop周边工具不断出新，以下是部分热门工具的初步了解：数据存储 hadoop，包含hdfs和mapreduce hbase，支持大表，需要zk zookeeper，分布式集群管理，简称zk数据传输 flume/sribe/Chukwa 分布式日志收集系统，从多个机器汇总到一个节点 sqoop，传统db和hdfs/hbase之间数据传输主要查询接口 hive，一个SQL查询接口 pig，一个脚本查 阅读全文
摘要：
论文出处：Histograms of Oriented Gradients f or Human Detection (author: Navneet Dalal and Bill T riggs)HOG特征+SVM方法现在常用于人车识别中。一张图片中，某个3*3的九宫格（格子里代表是黑白化后的灰度值） a b c d e f g h i关注中间的格子（红色的e），对于e而言，它的梯度是大小：方向：按照这个方法可以计算所有的细胞（cell）像素点的梯度。初始化一个2*2的block。block的4个细胞像素的梯度规约（投影）到4个方向（如直角坐标的四个方向,下面以4为例）或8个方向（多了东南， 阅读全文