黎明NB - 博客园

用scrapy爬取亚马逊网站项目

摘要：这次爬取亚马逊网站，用到了scrapy，代理池，和中间件： spiders里面： # -*- coding: utf-8 -*- import scrapy from scrapy.http.request import Request from urllib.parse import urlenc 阅读全文

posted @ 2018-01-24 21:08 黎明NB 阅读(574) 评论(0) 推荐(0) 编辑

Scrapy

摘要：一介绍二安装三命令行工具四项目结构以及爬虫应用简介五 Spiders 六 Selectors 七 Items 八 Item Pipeline 九 Dowloader Middeware 十 Spider Middleware 十一 settings.py 十二爬取亚马逊商品信息一阅读全文

posted @ 2018-01-23 19:40 黎明NB 阅读(190) 评论(0) 推荐(0) 编辑

MongoDB修改与聚合二

摘要： 1.修改方法一语法里面有三个大的语句:一个是查询条件；一个是修改字段；一个是其他参数(目前就有两个) db.table.update( 条件, 修改字段, 其他参数 ) update db1.t1 set id=10 where name="egon";#这是sql语句的更新使用 db.tab 阅读全文

posted @ 2018-01-22 18:49 黎明NB 阅读(972) 评论(0) 推荐(0) 编辑

爬虫性能相关

摘要：一：背景知识二：同步、异步、回调机制三：高性能一：背景知识爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，采用串行的方式执行，只能等待爬取一个结束后才能继续下一个，效率会非常低。需要强调的是：串行并不意味着低效，如果串行的都是纯计算的任务，那么cpu的利用阅读全文

posted @ 2018-01-20 20:09 黎明NB 阅读(171) 评论(0) 推荐(0) 编辑

爬虫基本原理

摘要：一.爬虫是什么？二.爬虫的基本流程三.请求与响应四.Request 五.Response 六.总结一爬虫是什么？二爬虫的基本流程三请求与响应四.Request from urllib.parse import urlencode import requests headers={ 'A 阅读全文

posted @ 2018-01-20 11:56 黎明NB 阅读(456) 评论(0) 推荐(0) 编辑

selenium模块

摘要：一、介绍二、安装三、基本使用四、选择器五、等待元素加我六、元素交互操作七、其他八、项目练习一、介绍官网：http://selenium-python.readthedocs.io 二、安装 #安装：selenium+chromedriver pip3 install seleni 阅读全文

posted @ 2018-01-17 19:56 黎明NB 阅读(142) 评论(0) 推荐(0) 编辑

用requests爬取一个招聘网站

摘要：第二步：登陆第三步：授权第五步：筛选职位信息没有取到数据，因为数据是通过ajax发送的，所以我们换另一种方法解决：阅读全文

posted @ 2018-01-17 19:43 黎明NB 阅读(267) 评论(0) 推荐(0) 编辑

SALALchemy Session与scoped_session的源码分析

摘要：我们发现Session与scoped_session都有一些方法：但是scoped_session的源码里面没有设置这些方法让我们从源码里去窥探下源码在哪里设置了这些方法： Session里面的方法放在了public_methods里面： scoped_session的源码里面没有这些方法？：那阅读全文

posted @ 2018-01-13 11:37 黎明NB 阅读(933) 评论(0) 推荐(0) 编辑

Flask-SQLAlchemy

摘要： SQLAlchemy介绍安装命令： pip install mysqlclient -i http://pypi.douban.com/simple --trusted-host pypi.douban.com 一. 介绍 SQLAlchemy是一个基于Python实现的ORM框架。该框架建立在阅读全文

posted @ 2018-01-11 21:16 黎明NB 阅读(160) 评论(0) 推荐(0) 编辑

ajax 数据类型结构

摘要：阅读全文

posted @ 2018-01-01 23:58 黎明NB 阅读(96) 评论(0) 推荐(0) 编辑