[置顶] Scrapy框架之如何给你的请求添加代理
摘要： 首先做好准备工作，创建一个Scrapy项目，目录结构如下： 注：spiders目录下多了3个文件，db.py，default.init和items.json。db.py是我简单封装的一个数据库访问的lib文件，default.init是我的数据库和代理相关的配置文件，items.json是最后的输出 阅读全文
posted @ 2016-12-08 17:10 不一样的小鹏 阅读(5401) 评论(0) 推荐(1) 编辑
2015年8月4日
linux网络编程之TCP/IP基础篇（一）
摘要： 从今天起，将会接触到网络编程，平台是linux，实现语言C语言，最后将会实现一个简易的miniftp服务器。 主要的内容安排为：linux网络编程之TCP/IP基础篇，SOCKET编程篇，进程间通信篇，线程篇，实战ftp篇。 1.ISO/OSI参考模型：open system interco... 阅读全文
posted @ 2015-08-04 23:34 不一样的小鹏 阅读(1472) 评论(0) 推荐(0) 编辑
2015年8月3日
基于Linux的OJ系统的设计与开发（一）
摘要： 最近在研究基于linux的OJ系统，然后想自己写一系列文章记录自己这段时间的学习成果。 首先，从原理上讲，OJ功能实现并不难，最主要解决的是安全性问题。总结一下，而安全性方面问题主要是用户可能提交恶意不友好的代码。关于如何过滤这些不安全的代码，我从网上收集整理了许多资料，大体上思路如下： 先说错... 阅读全文
posted @ 2015-08-03 21:02 不一样的小鹏 阅读(3429) 评论(0) 推荐(0) 编辑