2018年10月26日
Python下selenium的实战和普通爬虫的对比
摘要： 1.普通爬取数据 """普通爬取数据爬虫，只要有反爬，cookie就不是很稳定。并不利于数据爬取""" import requests import re from lxml import etree headers = { "User-Agent": "Mozilla/5.0 (Windows N 阅读全文
posted @ 2018-10-26 13:49 知你几分 阅读(2555) 评论(0) 推荐(0) 编辑
Python下selenium的简单用法
摘要： 1.学习之前请下载chromedriver等之类的浏览器插件 """ 动态渲染页面页面抓取。 JavaScript除了可以Ajax直接获取数据之外，还可以通过计算生成，加密参数等形式 来更安全的获取数据。这些通过特别处理的数据我们很难找出规律直接Ajax去获取。 为了解决这些问题，我们可以直接使用模 阅读全文
posted @ 2018-10-26 08:58 知你几分 阅读(889) 评论(0) 推荐(0) 编辑
2018年10月25日
Python爬虫之queue线程安全实战
摘要： 1.普通下载 import requests import os import re from lxml import etree from urllib import request def get_detail(url): headers = { "User-Agent": "Mozilla/5 阅读全文
posted @ 2018-10-25 11:52 知你几分 阅读(1964) 评论(0) 推荐(1) 编辑
2018年10月24日
Python下MongoDB的简单应用
摘要： 1.傻瓜安装失败请看下面方法 1.mongodb下载zip文件 2.解压到D或者E盘 3.创建mangodb文件夹，把mongodb自创建文件夹中的所有文件剪切到mongodb 4.此时目录结构D|E:\mongodb\bin等等文件 5.在D|E:\mongodb目录下创建data和log文件夹， 阅读全文
posted @ 2018-10-24 20:13 知你几分 阅读(272) 评论(0) 推荐(0) 编辑
threading多线程的生产者消费者模型
摘要： 理解此篇请先看http://www.cnblogs.com/haiyan123/p/7445584.html """多线程下生产者消费者模型。定义：在同一进程，同一主线程下， 采用多线程完成多个任务的同时，各自数据保持干净整洁。即、花最少的时间 完成最多的任务""" import threading 阅读全文
posted @ 2018-10-24 17:54 知你几分 阅读(333) 评论(0) 推荐(0) 编辑
Python中csv和json文件操作
摘要： 1.csv的存储操作 """ csv两种写入操作 csv就是字符分隔的纯文本，字段间的分隔符是其他字符或字符串 csv写入之后的文件可以直接Excel打开 """ import csv def write_csv_demo(): headers = ["username", "age", "heig 阅读全文
posted @ 2018-10-24 11:01 知你几分 阅读(897) 评论(0) 推荐(0) 编辑
Python爬虫re解析实战
摘要： 1.如下内容，欲练此功，必先....正则 """古诗文爬取""" import requests import re def parse_page(url): rep = requests.get( url=url, headers={"user-agent": "Mozilla/5.0 (Wind 阅读全文
posted @ 2018-10-24 09:32 知你几分 阅读(786) 评论(0) 推荐(0) 编辑
2018年10月23日
Python爬虫bs4解析实战
摘要： 1.常用方法 from bs4 import BeautifulSoup html = """ <table class="tablelist" cellpadding="0" cellspacing="0"> <tr class="h"> <td class="l" width="374">职位名 阅读全文
posted @ 2018-10-23 11:58 知你几分 阅读(4062) 评论(0) 推荐(0) 编辑
2018年10月21日
Python爬虫lxml解析实战
摘要： """爬取豆瓣网站的信息""" import requests from lxml import etree # 请求头设置 headers = { "User-Agentv": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHT 阅读全文
posted @ 2018-10-21 18:29 知你几分 阅读(4731) 评论(0) 推荐(0) 编辑
Pyhton全栈的知识点(6)
摘要： 1.MySQL数据库 - 引擎： - innodb - 支持事务 - 锁 - 行锁 - 表锁 - 示例： - 终端： begin; 加锁 select xx from xx for update; ... 阅读全文
posted @ 2018-10-21 14:29 知你几分 阅读(169) 评论(0) 推荐(0) 编辑