摘要：
1.什么是互联网思维？ 建立在算法、共享、服务、品牌基础之上并能够很好的融入人性的平等等经济。 2.互联网思维特征 大数据 零距离 驱透明 惠分享 便操作 3.九大思维 3.1 用户思维 产品的本质就是用户需求。0-1的过程，冷启动阶段 3.2 简约思维 简约而不简单，简约至上。例如：高德的lbs（ 阅读全文
摘要：
1.settings.py # Scrapy settings for scrapy_ixigua project # # For simplicity, this file contains only settings considered important or # commonly used 阅读全文
摘要：
某些网站建立了反爬手段，这就需要在爬取中设置UA和cookie 1.UA 的设置 第一种方式 在settings中找到 USER_AGENT，将内容写成真正的浏览器UA即可，将注释解开，这个UA 是全局的。 第二种方式 在DEFAULT_REQUEST_HEADERS种配置UA 2.cookie的设 阅读全文
摘要：
#https://www.ixigua.com/search/%E5%B9%BF%E5%9C%BA%E8%88%9E/?logTag=da15511cf98419ebe3b8&tab_name=search import requests import pymysql url = 'https:// 阅读全文
摘要：
import json import scrapy class TestpostSpider(scrapy.Spider): name = 'testpost' allowed_domains = ['fanyi.baidu.com'] # post请求如果没有参数那么这个请求将没有任何意义 # 所 阅读全文
摘要：
（1）日志级别 CRITICAL：严重错误 ERROR：一般错误 WARNING：警告 INFO：一般信息 DEBUG：调试信息 默认的日志等级是DEBUG 只要出现了DEBUG或者DEBUG以上等级的日志 那么这些日志将会打印 （2）settings.py文件设置 默认的级别为DEBUG，会显示上 阅读全文
摘要：
本案是将爬取得到的数据插入到Mysql数据库中持久化保存。 1.创建持久化数据库 创建数据库spider01，并创建一个book数据表 /* Navicat Premium Data Transfer Source Server : localhost(HRBJYKJ-Battery) Source 阅读全文
摘要：
CrawlSpider （1）继承自scrapy.Spider （2）独门秘籍 CrawlSpider可以定义规则，再解析html内容的时候，可以根据连接规则提取出指定的链接，然后再向这些链接发送请求。 所以，如果有需要跟进链接的需求，意思就是爬取了网页之后，需要提取链接再次爬取，使用CrawlSp 阅读全文
摘要：
本案例以爬取电影天堂第一级页面的电影名称和点击链接后二级页面的img地址，并将第一级的名称和第二级页面的图片地址一起写入json文件，涉及到多级页面数据的组合。 创建项目和页面命令这里就不说了，可以参考我之前的文章，这里主要说明核心代码。 1.spiders下的mv.py代码 import scra 阅读全文
摘要：
本案例以爬取当当网的书名和图片，利用多个管道执行下载，一个管道执行写json文件，一个管道执行下载图片并保存本地 1.创建项目 scrapy startproject scrapy_dangdang 2.创建一个爬虫文件 爬取地址：http://category.dangdang.com/cp01. 阅读全文