04 2017 档案
摘要：本人学爬虫一段时间，爬的都是简单的网页。但突然有一天爬网页被拦截，不知如何是好，问度娘上百次，总结了一下经验 在访问网页的时候被拦截，封你的IP，登录验证等手段不让爬客们得逞，但是道高一尺，魔高一丈。我开始研习突破反爬虫限制的功法 1.伪装流浪器报头 很多服务器通过浏览器发给它的报头来确认是否是人类
阅读全文
摘要：以下做的项目是用Python3.5版本，爬取股票数据存储数据库# coding:utf8import re #匹配正则表达式import requests #Requests 使用的是 urllib3，因此继承了它的所有特性。Requests 支持 HTTP 连接保持和连接池，支持使用 cookie
阅读全文
摘要：本人步骤： 1>setting.py: ITEM_PIPELINES = { 'newding.pipelines.NewdingPipeline': 300,} 以上配置；创建项目会自动出现这些 以下是想要入数据库的（阶段）：
阅读全文
摘要：# encoding:utf8import requests # Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。from lxml
阅读全文
摘要：urllib 和urllib2都是接受URL请求的相关模块,但是提供了不同的功能.两个最显著的不同如下 urllib2 can accept a Request object to set the headers for a URL request,urllib accepts only a URL
阅读全文
摘要：爬虫使用代理ip 获得代理IP的网站： http://www.xicidaili.com/ 验证代理是否可用的方式之一： globalUrl = "http://ip.chinaz.com/getip.aspx" 如何使用代理： 一 使用requests： ip = "http://" + i[0]
阅读全文
摘要：前端Js框架汇总 概述： 有些日子没有正襟危坐写博客了，互联网飞速发展的时代，技术更新迭代的速度也在加快。看着Java、Js、Swift在各领域心花路放，也是煞是羡慕。寻了寻.net的消息，也是振奋人心，.net core 1，mono，xamarin等等，但大多都还在狂吼的阶段。其实一直以来对技术
阅读全文
摘要：windows下scrapy 的安装 2016-07-18 20:27:53 安装python 根据你的需求下载python安装包，安装python（本文基于python27）https://www.python.org/downloads/ 在 环境变量 "Path"中加入路径："安装目录/pyt
阅读全文
摘要：分类： Python/Ruby 最近刚开始使用python来做爬虫爬取相关数据，使用了python自带的urllib和第三方库requests，解析html使用了beautifulsoup以及lxml 这里说下lxml，lxml是python的一个html、xml解析库，lxml使用XPath能快速
阅读全文
摘要：（以下是借鉴别人的，多多体谅） TCP协议三次握手与四次挥手 TCP协议三次握手过程分析 TCP(Transmission Control Protocol) 传输控制协议 TCP是主机对主机层的传输控制协议，提供可靠的连接服务，采用三次握手确认建立一个连接: 位码即tcp标志位,有6种标示:SYN
阅读全文
摘要：1.什么是生成器？ 生成器是一次生成一个值的特殊类型函数。可以将其视为可恢复函数。调用该函数将返回一个可用于生成连续 x 值的生成器【Generator】，简单的说就是在函数的执行过程中，yield语句会把你需要的值返回给调用生成器的地方，然后退出函数，下一次调用生成器函数的时候又从上次中断的地方开
阅读全文
摘要：1.什么是爬虫？ 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 2.什么是聚焦爬虫 聚焦网络爬虫（Focused Crawler），又称主题
阅读全文
摘要：为什么制作实验报告： 加强实验的熟练程度； 做为毕业后工作时必须查询资料的复习资料； 实验报告要求： 实验报告标题； 姓名； 班级； 讲师； 班主任； 时间； 实验目的； 实验步骤（禁止黑底白字，简单复制粘贴）； 实验总结； 实验报告要求统一使用microsoft office 2003编写； 打印
阅读全文
摘要：5W2H分析法 5W2H分析法又叫七何分析法，是二战中美国陆军兵器修理部首创。简单、方便，易于理解、使用，富有启发意义，广泛用于企业管理和技术活动，对于决策和执行性的活动措施也非常有帮助，也有助于弥补考虑问题的疏漏。 中文名 5W2H分析法 别 称 七何分析法 表达式 WHAT+WHY+WHEN+W
阅读全文
