python 爬虫登录保存会话去获取只有登录能获取的数据
摘要：#!/usr/bin/env python # -*- coding: utf-8 -*- # import ConfigParser import datetime import sys import requests from requests.cookies import RequestsCookieJar from bs4 import BeautifulSoup import log...
阅读全文
posted @
2018-10-26 10:42
不负前行
阅读(492)
推荐(0) 编辑
python 爬虫proxy,BeautifulSoup+requests+mysql 爬取样例
摘要：实现思路： 由于反扒机制，所以需要做代理切换，去爬取，内容通过BeautifulSoup去解析，最后入mysql库 1.在西刺免费代理网获取代理ip，并自我检测是否可用 2.根据获取的可用代理ip去发送requests模块的请求，带上代理 3.内容入库 注：日志模块在上一篇随笔 下面附上代码 1.可
阅读全文
posted @
2018-10-19 11:27
不负前行
阅读(493)
推荐(0) 编辑
python 日志模块工具类
摘要：#!/usr/bin/env python # -*- coding: utf-8 -*- import logging # logName 日志中的某个格式化的字段名，logFile生成的日志文件名 def getlogger(logName, logFile): logger=logging.getLogger(logName) logger.setLevel(log...
阅读全文
posted @
2018-10-19 11:18
不负前行
阅读(442)
推荐(0) 编辑
springcloud +spring security多种验证方式之第三方token生成自己的token通过校验和自己的表单验证大体流程
摘要：步骤： 1.继承 WebSecurityConfigurerAdapter.class,其中使用两个过滤器，一个spring scurity自带的UsernamePasswordAuthenticationFilter，一个是自定义的过滤器ZTSSOAuthenticationProcessingF
阅读全文
posted @
2018-10-12 11:10
不负前行
阅读(9468)
推荐(0) 编辑
