01 2018 档案

摘要:# coding:utf-8 import json import redis import time import requests session = requests.session() import logging.handlers import pickle import sys import re import datetime from bs4 import BeautifulS... 阅读全文
posted @ 2018-01-21 23:05 淋哥 阅读(2856) 评论(0) 推荐(0) 编辑
摘要:代码很少,自己去体会 代码不能运行,仅供参考。 阅读全文
posted @ 2018-01-19 09:33 淋哥 阅读(647) 评论(1) 推荐(0) 编辑
摘要:# coding:utf-8 import json import redis import time import requests session = requests.session() import logging.handlers import pickle import sys import re import datetime from bs4 import BeautifulS... 阅读全文
posted @ 2018-01-18 22:22 淋哥 阅读(3150) 评论(0) 推荐(1) 编辑
摘要:使用说明: 阅读全文
posted @ 2018-01-18 13:35 淋哥 阅读(2131) 评论(0) 推荐(0) 编辑
摘要:使用说明: 阅读全文
posted @ 2018-01-18 13:29 淋哥 阅读(10465) 评论(0) 推荐(0) 编辑
摘要:对MySQL选择的封装 阅读全文
posted @ 2018-01-18 13:25 淋哥 阅读(1726) 评论(0) 推荐(0) 编辑
摘要:今天使用python 和selenium爬取动态数据,主要是通过不停的更新页面,实现数据的爬取,要爬取的数据如下图 源代码: 阅读全文
posted @ 2018-01-08 13:31 淋哥 阅读(11448) 评论(0) 推荐(0) 编辑
摘要:我们打开新浪新闻,看到页面如下,首先去爬取一级 url,图片中蓝色圆圈部分 第二zh张图片,显示需要分页, 源代码: 阅读全文
posted @ 2018-01-06 19:28 淋哥 阅读(1457) 评论(0) 推荐(0) 编辑
摘要:一。 为什么要用解析框架 bs4 我觉得爬虫最难得问题就是编码格式,因为你不知道要爬取目标网站的编码格式,有可能是Unicode,utf-8, ASCII , gbk格式,但是使用Beautiful Soup解析后,文档都被转换成了Unicode,通过Beautiful Soup输出文档时,不管输入 阅读全文
posted @ 2018-01-04 17:53 淋哥 阅读(2648) 评论(0) 推荐(0) 编辑
摘要:# encoding=utf-8 agents = [ "Mozilla/5.0 (Linux; U; Android 2.3.6; en-us; Nexus S Build/GRK39F) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1", "Avant Browser/1.2.789... 阅读全文
posted @ 2018-01-03 10:55 淋哥 阅读(1051) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示