03 2016 档案

用户IP地址的三个属性的区别(HTTP_X_FORWARDED_FOR,HTTP_VIA,REM_addr
摘要：一、没有使用代理服务器的情况： REMOTE_ADDR = 您的 IP HTTP_VIA = 没数值或不显示 HTTP_X_FORWARDED_FOR = 没数值或不显示 二、使用透明代理服务器的情况：Transparent Proxies REMOTE_ADDR = 最后一个代理服务器 IP HT 阅读全文

posted @ 2016-03-24 18:06 alex.shu 阅读(333) 评论(0) 推荐(0) 编辑

selenium Chromediver
摘要：Here we use wget to fetch the version number of the latest release, then plug the version into another wget invocation in order to fetch the chromedri 阅读全文

posted @ 2016-03-23 15:57 alex.shu 阅读(202) 评论(0) 推荐(0) 编辑

Centos 防火墙
摘要：1、开启端口（以80端口为例） 方法一： /sbin/iptables -I INPUT -p tcp --dport 80 -j ACCEPT 写入修改 /etc/init.d/iptables save 保存修改 service iptables restart 重启防火墙，修改生效 方法二： 阅读全文

posted @ 2016-03-23 15:17 alex.shu 阅读(143) 评论(0) 推荐(0) 编辑

VirtualBox 安装增强工具
摘要：菜单的： Device>insert guest addtion. 定位: cd /media/cdrom 安装: sudo sh ./VBoxLinuxAdditions-x86.run 然后，根据安装的提示，我们可以看到是unable to find the sources of your cu 阅读全文

posted @ 2016-03-23 13:46 alex.shu 阅读(372) 评论(0) 推荐(0) 编辑

安装pybloomfiltermmap 遇到bug
摘要：pybloomfiltermmap pip 安装 : sudo pip install pybloomfiltermmap I want to try one program which have makefile on it but when I put make in the shell the 阅读全文

posted @ 2016-03-20 12:26 alex.shu 阅读(892) 评论(0) 推荐(0) 编辑

同时运行多个scrapy爬虫的几种方法（自定义scrapy项目命令）
摘要：Reference: http://www.cnblogs.com/rwxwsblog/p/4578764.html 试想一下，前面做的实验和例子都只有一个spider。然而，现实的开发的爬虫肯定不止一个。既然这样，那么就会有如下几个问题：1、在同一个项目中怎么创建多个爬虫的呢？2、多个爬虫的时候是 阅读全文

posted @ 2016-03-19 21:02 alex.shu 阅读(7223) 评论(0) 推荐(2) 编辑

利用Linux命令行进行文本按行去重并按重复次数排序
摘要：利用Linux命令行进行文本按行去重并按重复次数排序 linux命令行提供了非常强大的文本处理功能，组合利用linux命令能实现好多强大的功能。本文这里举例说明如何利用Linux命令行进行文本按行去重并按重复次数排序。主要用到的命令有sort，uniq和cut。其中，sort主要功能是排序，uniq 阅读全文

posted @ 2016-03-19 12:01 alex.shu 阅读(4019) 评论(0) 推荐(0) 编辑

Python爬虫框架Scrapy安装使用步骤
摘要：一、爬虫框架Scarpy简介Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架，爬取网站，从网站页面得到结构化的数据，它有着广泛的用途，从数据挖掘到监测和自动测试，Scrapy完全用Python实现，完全开源，代码托管在Github上，可运行在Linux，Windows，Mac和BSD平台上， 阅读全文

posted @ 2016-03-19 01:43 alex.shu 阅读(4485) 评论(0) 推荐(0) 编辑

python callable 函数
摘要：callable(object) 中文说明：检查对象object是否可调用。如果返回True，object仍然可能调用失败；但如果返回False，调用对象ojbect绝对不会成功。 注意：类是可调用的，而类的实例实现了__call__()方法才可调用。 版本：该函数在python2.x版本中都可用。 阅读全文

posted @ 2016-03-12 14:31 alex.shu 阅读(472) 评论(0) 推荐(0) 编辑

用python实现模拟登录人人网
摘要：用python实现模拟登录人人网 字数4068 阅读1762 评论19 喜欢46 我决定从头说起。懂的人可以快速略过前面理论看最后几张图。 web基础知识 从OSI参考模型（从低到高：物理层，数据链路层，网络层，传输层，会话层，表示层，应用层）来说，我们的互联网属于应用层。从TCP/IP参考模型（从 阅读全文

posted @ 2016-03-07 00:37 alex.shu 阅读(245) 评论(0) 推荐(0) 编辑

Celery 和 Redis 入门
摘要：Reference: http://www.thinksaas.cn/group/topic/395734/ Celery是一个广泛应用于网络应用程序的任务处理系统。 它可以在以下情况下使用: 在请求响应周期中做网络调用。服务器应当立即响应任何网络请求。如果在请求响应周期内需要进行网络调用，则应在周 阅读全文

posted @ 2016-03-03 23:45 alex.shu 阅读(249) 评论(0) 推荐(0) 编辑

python 数据结构
摘要：有序数据结构就是可以通过下标访问的。 无需数据结构就是不能通过下标访问的。 阅读全文

posted @ 2016-03-01 20:33 alex.shu 阅读(246) 评论(0) 推荐(0) 编辑

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示