10 2018 档案
python 爬虫登录保存会话去获取只有登录能获取的数据
摘要:#!/usr/bin/env python # -*- coding: utf-8 -*- # import ConfigParser import datetime import sys import requests from requests.cookies import RequestsCookieJar from bs4 import BeautifulSoup import log... 阅读全文
posted @ 2018-10-26 10:42 不负前行 阅读(573) 评论(0) 推荐(0)
python 爬虫proxy,BeautifulSoup+requests+mysql 爬取样例
摘要:实现思路: 由于反扒机制,所以需要做代理切换,去爬取,内容通过BeautifulSoup去解析,最后入mysql库 1.在西刺免费代理网获取代理ip,并自我检测是否可用 2.根据获取的可用代理ip去发送requests模块的请求,带上代理 3.内容入库 注:日志模块在上一篇随笔 下面附上代码 1.可 阅读全文
posted @ 2018-10-19 11:27 不负前行 阅读(512) 评论(0) 推荐(0)
python 日志模块工具类
摘要:#!/usr/bin/env python # -*- coding: utf-8 -*- import logging # logName 日志中的某个格式化的字段名,logFile生成的日志文件名 def getlogger(logName, logFile): logger=logging.getLogger(logName) logger.setLevel(log... 阅读全文
posted @ 2018-10-19 11:18 不负前行 阅读(452) 评论(0) 推荐(0)
python 爬虫之requests+日志+配置文件读取+mysql入库
摘要:mysql.conf 阅读全文
posted @ 2018-10-12 11:30 不负前行 阅读(475) 评论(0) 推荐(0)
springcloud +spring security多种验证方式之第三方token生成自己的token通过校验和自己的表单验证大体流程
摘要:步骤: 1.继承 WebSecurityConfigurerAdapter.class,其中使用两个过滤器,一个spring scurity自带的UsernamePasswordAuthenticationFilter,一个是自定义的过滤器ZTSSOAuthenticationProcessingF 阅读全文
posted @ 2018-10-12 11:10 不负前行 阅读(9611) 评论(0) 推荐(0)