python爬虫---js加密和混淆,scrapy框架的使用.

python爬虫---js加密和混淆,scrapy框架的使用.

一丶js加密和js混淆

js加密

​ 对js源码进行加密,从而保护js代码不被黑客窃取.(一般加密和解密的方法都在前端)

http://www.bm8.com.cn/jsConfusion/ # 反解密

js混淆

# 目的: 为了缩小js体积，加快http传输速度 ,混淆的目的是保护代码
	· 合并多个js文件

    · 去除js代码里面的空格和换行

    · 压缩js里面的变量名

    · 剔除掉注释

二丶SCRAPY爬虫框架

概述scrapy框架特点

    - 高性能的网络请求
    - 高性能的数据解析
    - 高性能的持久化存储
    - 深度爬取
    - 全栈爬取
    - 分布式
    - 中间件
    - 请求传参

下载与安装

- 环境的安装：
    - mac/linux：pip install scrapy
    - window:
        - pip install wheel
        - 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
        - 进入下载目录，执行 pip install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl
        - pip install pywin32
        - pip install scrapy

基本使用

​ 创建项目

 - 新建一个工程：scrapy startproject ProName
        - 目录结构：
            - spiders（包）：空包
            - settings：配置文件
                - 不遵从robots
                - UA伪装
                - 日志等级的指定

    - cd ProName：进入到工程目录中
    - 在spiders（爬虫文件夹）中创建一个爬虫文件
        - scrapy genspider spiderName www.xxx.com
    - 编写代码：主要的代码会编写在爬虫文件中
    - 执行工程：scrapy crawl spiderName
    

​ scrapy目录结构

- 项目名
	- 同名项目文件夹
		- spiders 文件夹
		- init.py
		- items.py
		- middlewares.py
		- pipelines.py
		- settings.py 
	- scrapy.cfg

​ scrapy数据解析

# scrapy 可以使用 xpath进行解析
	# extract_first() 获取 读取文本并获得索引为0的字符串
    # extract() 获取文本 
  content = div.xpath('.//div[@class="link-detail"]/a/text()').extract_first()

​

​ scrapy数据存储

# 基于终端进行持久化存储
	- 只可以将parse方法的返回值存储到本地的磁盘文件（指定形式后缀）中
	- scrapy crawl spiderName -o filePath


    
    
# 基于管道持久化存储 (**)
	- 在items注册存储的字段 (Filed万能字段,包含大部分数据类型)
	- 在piplelines文件 编写管道类 ,并在settings配置文件进行注册'ITEM_PIPELINES'
    
    
	- 编码流程
	    - 1.在爬虫文件中进行数据解析
	    - 2.在item类中定义相关的属性
	    - 3.将解析到的数据存储到一个item类型的对象中
	    - 4.将item类型的对象提交给管道 (yiled item)
	    - 5.管道类的process_item方法负责接受item，接受到后可以对item实现任意形式的持久化存储操作
            - 6.在配置文件中开启管道

	- 一个管道类对应一种平台的持久化存储
    
	## 两种方式
    	# 基于 本地的管道存储
class ChoutiproPipeline(object):
    # 重写父类的方法, 只执行一次
    fp = None

    def open_spider(self, spider):
        print('开始爬虫~~~~')
        self.fp = open('./本地持久化存储文件.txt', 'w', encoding='utf-8')

    def process_item(self, item, spider):
        author = item['author']
        content = item['content']

        self.fp.write(author + ':' + content + '\n')

        return item

    def close_spider(self, spider):
        print('爬虫结束~~~')
        self.fp.close()
        
        
        
        # 基于 mysql的管道存储
class MySqlChoutiproPipeline(object):
    conn = None
    cursor = None

    def open_spider(self, spider):
        print('创建数据库连接~~')
        # 建立数据库连接
        self.conn = pymysql.Connection(host='127.0.0.1', port=3306, db='scrapy_db1', user='root', password='123',charset='utf8')
                    # pymysql.Connection(host='127.0.0.1', port=3306, user='root', password='123', db='spider', charset='utf8')
    def process_item(self, item, spider):
        authro = item['author']
        content = item['content']

        sql = 'insert into chouti values ("%s","%s")' %(authro ,content)
        self.cursor = self.conn.cursor()

        try:
            self.cursor.execute(sql)
            self.conn.commit() # 提交

        except Exception as e:
            print(e)
            self.conn.rollback() # 回滚

        return item

    def close_spider(self,spider):
        self.cursor.close()
        self.conn.close()