2015 年 12月随笔档案 - alex.shu

用python爬虫抓站的一些技巧总结

摘要：Reference:http://www.open-open.com/lib/view/open1375945149312.html1.最基本的抓站?1import urllib2 content= urllib2.urlopen('http://XXXX').read()2.使用代理服务器这在某些... 阅读全文

posted @ 2015-12-30 22:35 alex.shu 阅读(451) 评论(0) 推荐(0) 编辑

使用python爬虫抓站的一些技巧总结：进阶篇

摘要：Reference:http://python.jobbole.com/82000/一、gzip/deflate支持现在的网页普遍支持gzip压缩，这往往可以解决大量传输时间，以VeryCD的主页为例，未压缩版本247K，压缩了以后45K，为原来的1/5。这就意味着抓取速度会快5倍。然而python... 阅读全文

posted @ 2015-12-28 16:59 alex.shu 阅读(356) 评论(0) 推荐(0) 编辑

Python模块学习：threading 多线程控制和处理

摘要：Reference:http://python.jobbole.com/81546/threading.ThreadThread 是threading模块中最重要的类之一，可以使用它来创建线程。有两种方式来创建线程：一种是通过继承Thread类，重写它的run方法；另一种是创建一个threading... 阅读全文

posted @ 2015-12-26 19:22 alex.shu 阅读(612) 评论(0) 推荐(0) 编辑

Redis操作命令总结

摘要：Part I 一、key pattern 查询相应的key （1）redis允许模糊查询key 有3个通配符 *、?、[] （2）randomkey：返回随机key （3）type key：返回key存储的类型（4）exists key：判断某个key是否存在（5）del key：删除key （阅读全文

posted @ 2015-12-14 23:15 alex.shu 阅读(237) 评论(0) 推荐(0) 编辑

Redis介绍

摘要：Reference:http://langgufu.iteye.com/blog/1434408一 Redis介绍Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由... 阅读全文

posted @ 2015-12-14 22:50 alex.shu 阅读(193) 评论(0) 推荐(0) 编辑

linux内核设计与实现笔记进程调度

摘要：转载：http://blog.chinaunix.net/uid-24919665-id-3013590.html 阅读全文

posted @ 2015-12-09 17:01 alex.shu 阅读(173) 评论(0) 推荐(0) 编辑

Python常见数据结构整理

摘要：Python中常见的数据结构可以统称为容器（container）。序列（如列表和元组）、映射（如字典）以及集合（set）是三类主要的容器。一、序列（列表、元组和字符串）序列中的每个元素都有自己的编号。Python中有6种内建的序列。其中列表和元组是最常见的类型。其他包括字符串、Unicode字符串、... 阅读全文

posted @ 2015-12-09 10:52 alex.shu 阅读(1887) 评论(0) 推荐(0) 编辑

Linux进程调度原理

摘要：转载自：http://www.cnblogs.com/zhaoyl/archive/2012/09/04/2671156.htmlLinux进程优先级进程提供了两种优先级，一种是普通的进程优先级，第二个是实时优先级。前者适用SCHED_NORMAL调度策略，后者可选SCHED_FIFO或SCHE... 阅读全文

posted @ 2015-12-08 16:58 alex.shu 阅读(6291) 评论(0) 推荐(0) 编辑

Python yield

摘要：生成器是python中一个非常酷的特性，python 2.2中引入后在2.3变成了标准的一部分。它能够让你在许多情况下以一种优雅而又更低内存消耗的方式简化无界（无限）序列相关的操作。生成器是可以当做iterator使用的特殊函数，它功能的实现依赖于关键字yield，下面是它如何运作一个简单的演示：>... 阅读全文

posted @ 2015-12-08 14:49 alex.shu 阅读(254) 评论(0) 推荐(0) 编辑

怎样理解阻塞非阻塞与同步异步的区别？

摘要：本篇文章来源于 Linux公社网站(www.linuxidc.com) 原文链接：http://www.linuxidc.com/Linux/2015-07/120338.htm“阻塞”与"非阻塞"与"同步"与“异步"不能简单的从字面理解，提供一个从分布式系统角度的回答。1.同步与异步同步和异步关注... 阅读全文

posted @ 2015-12-08 09:33 alex.shu 阅读(6328) 评论(1) 推荐(2) 编辑

Python的lambda匿名函数

摘要：lambda函数也叫匿名函数，即，函数没有具体的名称。先来看一个最简单例子：def f(x):return x**2print f(4)Python中使用lambda的话，写成这样g = lambda x : x**2print g(4)lambda表达式在很多编程语言都有对应的实现。比如C#：va... 阅读全文

posted @ 2015-12-07 22:29 alex.shu 阅读(644) 评论(0) 推荐(0) 编辑

Twisted源码分析系列01-reactor

摘要：转载自：http://www.jianshu.com/p/26ae331b09b0简介Twisted是用Python实现的事件驱动的网络框架。如果想看教程的话，我觉得写得最好的就是Twisted Introduction了，这是翻译。下面就直接进入主题了。我们通过一个示例开始分析源码，那么先看下面这... 阅读全文

posted @ 2015-12-07 16:51 alex.shu 阅读(510) 评论(0) 推荐(0) 编辑

Python装饰器学习（九步入门）

摘要：这是在Python学习小组上介绍的内容，现学现卖、多练习是好的学习方式。第一步：最简单的函数，准备附加额外功能?12345678# -*- coding:gbk -*-'''示例1: 最简单的函数,表示调用了两次'''def myfunc():print("myfunc() called.")myf... 阅读全文

posted @ 2015-12-07 16:42 alex.shu 阅读(284) 评论(0) 推荐(0) 编辑

Python关键字yield的解释

摘要：yield是一个类似return的关键字，只是这个函数返回的是个生成器。>>> def createGenerator() :... mylist = range(3)... for i in mylist :... yield i*i...>>> mygenerator ... 阅读全文

posted @ 2015-12-07 09:40 alex.shu 阅读(245) 评论(0) 推荐(0) 编辑

scrapy bug

摘要：Issue onedescrible: scrapy No module named mail.smtpsolution:sudo apt-get install python-twisted 阅读全文

posted @ 2015-12-05 21:42 alex.shu 阅读(244) 评论(0) 推荐(0) 编辑

基于Python,scrapy,redis的分布式爬虫实现框架

摘要：原文http://www.xgezhang.com/python_scrapy_redis_crawler.html爬虫技术，无论是在学术领域，还是在工程领域，都扮演者非常重要的角色。相比于其他技术，爬虫技术虽然在实现上比较简单，没有那么多深奥的技术难点，但想要构建一套稳定、高效、自动化的爬虫框架，... 阅读全文

posted @ 2015-12-05 11:30 alex.shu 阅读(10402) 评论(2) 推荐(1) 编辑

大数据全栈式开发语言 – Python

摘要：前段时间，ThoughtWorks在深圳举办一次社区活动上，有一个演讲主题叫做“Fullstack JavaScript”，是关于用JavaScript进行前端、服务器端，甚至数据库(MongoDB)开发，一个Web应用开发人员，只需要学会一门语言，就可以实现整个应用。受此启发，我发现Pytho... 阅读全文

posted @ 2015-12-04 15:40 alex.shu 阅读(1005) 评论(1) 推荐(0) 编辑

MySQL性能优化的最佳经验，随时补充

摘要：1、为查询优化你的查询大多数的MySQL服务器都开启了查询缓存。这是提高性最有效的方法之一，而且这是被MySQL的数据库引擎处理的。当有很多相同的查询被执行了多次的时候，这些查询结果会被放到一个缓存中，这样，后续的相同的查询就不用操作表而直接访问缓存结果了。这里最主要的问题是，对于程序员来说，这个事... 阅读全文

posted @ 2015-12-02 22:28 alex.shu 阅读(242) 评论(0) 推荐(0) 编辑

Jmeter 新手

摘要：转载：http://www.cnblogs.com/TankXiao/p/4059378.html什么是压力测试顾名思义：压力测试，就是被测试的系统，在一定的访问压力下，看程序运行是否稳定/服务器运行是否稳定（资源占用情况）比如： 2000个用户同时到一个购物网站购物，这些用户打开页面的速度是否会... 阅读全文

posted @ 2015-12-02 15:17 alex.shu 阅读(190) 评论(0) 推荐(0) 编辑

alex.shu

12 2015 档案