摘要：
Referer是浏览器在页面跳转时带入的HTTP头，指示用户上一个页面的URL， 一般来说，网站90%以上的流量应该带有Referer头， 在一些常见的反爬策略中， 大量的不带Referer头的源IP请求会触发"要求输入验证码"策略。 User-Agent 是一个古老的HTTP头，指示用户浏览器的版 阅读全文
摘要：
import requests import re import os from fontTools.ttLib import TTFont class MaoYan(object): def __init__(self): self.url = 'http://maoyan.com/films/1 阅读全文
摘要：
web_font的一些基本原理 https://blog.csdn.net/fdipzone/article/details/68166388 实例1 猫眼电影 http://www.cnblogs.com/my8100/p/js_maoyandianying.html 实战反爬虫解析-字体替换(天 阅读全文
摘要：
替换函数后面的表达式，一般是去掉eval之后的 点我解密 阅读全文
摘要：
前言： “去重”是日常工作中会经常用到的一项技能，在爬虫领域更是常用，并且规模一般都比较大。去重需要考虑两个点：去重的数据量、去重速度。为了保持较快的去重速度，一般选择在内存中进行去重。 数据量不大时，可以直接放在内存里面进行去重，例如python可以使用set()进行去重。 当去重数据需要持久化时 阅读全文