10 2014 档案

爬虫/抓取工具汇总
摘要：（1）casperjs 内置完整的浏览器引擎，可以抓取（网页特定内容），交互（提交表单等），做测试工具使用。 阅读全文
posted @ 2014-10-24 10:28 唐僧吃肉 阅读(178) 评论(0) 推荐(0) 编辑
python socket编程---从使用Python开发一个Socket示例说到开发者的思维和习惯问题
摘要：今天主要说的是一个开发者的思维和习惯问题。 思维包括编程的思维和解决一个具体问题的分析思维，分析思路，分析方法，甚至是分析工具。 无论是好习惯还是不好的习惯，都是在者一天一天的思维中形成的。那些不好的习惯，久了确实不好改。所以说，如果今天你认识到了，那么就从今天开始改，早改早受益，晚改痛苦... 阅读全文
posted @ 2014-10-23 15:40 唐僧吃肉 阅读(177) 评论(0) 推荐(0) 编辑
debug经验汇总
摘要：（1）使用pstack (2)调试core文件 # gdb ./segment core (3)使用strace strace -tt -f -s 1234 -o /tmp/strace.cwc -p pidnum 阅读全文
posted @ 2014-10-22 22:27 唐僧吃肉 阅读(168) 评论(0) 推荐(0) 编辑
storm的并发
摘要：1 storm并行的基本概念 storm集群中的一个机器可以运行一个或者多个worker,对应于一个或者多个topologies.1个worker进程运行1个或多个excutor线程。每个worker从属于一个topology.executor是单线程。每1个executor运行着相同的组... 阅读全文
posted @ 2014-10-20 14:52 唐僧吃肉 阅读(297) 评论(0) 推荐(0) 编辑
storm第一篇--概念，例子，参数优化
摘要：1 概念 目前最新的0.8.0版本里面 worker -> 进程。一个worker只能执行同一个spout/bolt的task，一个worker里面可以有多个executor。 executor -> 线程。 一个executor执行可以执行多个task。 task -> storm进行任务分配... 阅读全文
posted @ 2014-10-15 18:30 唐僧吃肉 阅读(419) 评论(0) 推荐(0) 编辑
maven 教程一 入门
摘要：摘要： （1）maven是项目管理工具，类似makefile。主要的生命阶段有 validate：验证工程是否正确，所有需要的资源是否可用。 compile：编译项目的源代码。 test：使用合适的单元测试框架来测试已编译的源代码。这些测试不需要已打包和布署。 Package：把已编译... 阅读全文
posted @ 2014-10-14 17:20 唐僧吃肉 阅读(171) 评论(0) 推荐(0) 编辑
回归分析之线性回归
摘要：1回归分析 1.1概念 回归分析（英语：Regression Analysis）是一种统计学上分析数据的方法，目的在于了解两个或多个变量间是否相关、相关方向与强度，并建立数学模型以便观察特定变量来预测研究者感兴趣的变量。 运用十分广泛，回归分析按照涉及的自变量的多少，可分为一元回归分析和多元回... 阅读全文
posted @ 2014-10-14 16:00 唐僧吃肉 阅读(1792) 评论(0) 推荐(0) 编辑
awk 数组排序-- asort 与 asorti
摘要：两者排序区别： asort 是对数组的值进行排序，并且会丢掉原先键值； asorti是对数组的下标进行排序。 数据文件： 12 34 78 90 23 45 1. awk是关联数组。for…in循环输出时候，默认打印出来是无序数组。 [root@zhenjian... 阅读全文
posted @ 2014-10-11 15:58 唐僧吃肉 阅读(1119) 评论(0) 推荐(0) 编辑