python - 文章分类(第2页) - 孙龙-程序员

flask-信号

摘要：Flask框架中的信号基于blinker，其主要就是让开发者可是在flask请求过程中定制一些用户行为。 1. 内置信号源码示例 class Flask(_PackageBoundObject): def full_dispatch_request(self): self.try_trigger_ 阅读全文

posted @ 2018-09-09 16:32 孙龙-程序员阅读(92) 评论(0) 推荐(0) 编辑

Python数据库连接池DBUtils

摘要：https://www.cnblogs.com/sunlong88/p/9613477.html 阅读全文

posted @ 2018-09-09 13:54 孙龙-程序员阅读(65) 评论(0) 推荐(0) 编辑

flask上下文

摘要：https://www.cnblogs.com/sunlong88/p/9606965.html 阅读全文

posted @ 2018-09-09 00:08 孙龙-程序员阅读(57) 评论(0) 推荐(0) 编辑

Flask

摘要：Flask是一个基于Python开发并且依赖jinja2模板和Werkzeug WSGI服务的一个微型框架，对于Werkzeug本质是Socket服务端，其用于接收http请求并对请求进行预处理，然后触发Flask框架，开发人员基于Flask框架提供的功能对请求进行相应的处理，并返回给用户，如果要返阅读全文

posted @ 2018-09-07 12:18 孙龙-程序员阅读(101) 评论(0) 推荐(0) 编辑

ElasticSearch使用

摘要：ES CRUD API mget 批量获取 bluk 批量操作 Mapping映射基本查询 # 导入实验数据 POST /library { "settings": { "number_of_shards": 5, "number_of_replicas": 1 }, "mappings": { 阅读全文

posted @ 2018-09-06 09:14 孙龙-程序员阅读(147) 评论(0) 推荐(0) 编辑

ElasticSearch核心基础之映射

摘要：一 mapping相关的概念 1.1 映射类型映射类型也就是我们所谓的type，一个索引可以一个或者多个类型。每一个映射类型包括： # 元数据字段：用来定义如何处理文档的元数据。元数据字段包括文档的_index字段、_type、_id、_source字段等 # 字段或者属性，每一个类型都包括一些字阅读全文

posted @ 2018-09-05 22:47 孙龙-程序员阅读(473) 评论(0) 推荐(0) 编辑

window安装es

摘要：1，安装jdk8 java下载地址如下图： jdk-8u121-windows-x64.exe 安装好了后，配置环境变量 CLASSPATH .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar JAVA_HOME C:\Program Files\ 阅读全文

posted @ 2018-09-04 20:22 孙龙-程序员阅读(577) 评论(0) 推荐(0) 编辑

爬虫-在无GUI的CentOS上使用Selenium+Chrome

摘要：安装Chromeium: 去这个地方：https://sites.google.com/a/chromium.org/chromedriver/downloads 下载ChromeDriver驱动放在/usr/bin/目录下：完成结果如下：安装XVFB：新建在/usr/bin/ 一个名叫 xv 阅读全文

posted @ 2018-09-03 14:10 孙龙-程序员阅读(206) 评论(0) 推荐(0) 编辑

Scrapy随机切换用户代理User-Agent

摘要：使用fake-useragent：https://github.com/hellysmile/fake-useragent这是一个可以随机切换访问头的插件安装方法：使用方法：写一个随机更换user-agent的Downloader Middleware，新的middlewares.py代码如下阅读全文

posted @ 2018-09-02 23:51 孙龙-程序员阅读(279) 评论(0) 推荐(0) 编辑

request

摘要：requests Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是，它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务。 Requests 是使用 Apache2 License 阅读全文

posted @ 2018-09-02 22:36 孙龙-程序员阅读(181) 评论(0) 推荐(0) 编辑

scrapy--pipelines基本用法--如何自定义ImagesPipeline抓取图片

摘要：1.常用功能面几个函数都有spider参数，spider有name属性，是爬虫的名字，当一个文件里有多个spider和多个Pipeline类时可以通过这个来确保spider与Pipeline类对应起来。 2.DropItem 如果抓取到的房子价格为空，就可以用此方法丢掉。当有多个pipeline 阅读全文

posted @ 2018-09-02 20:37 孙龙-程序员阅读(332) 评论(0) 推荐(0) 编辑

scrapy系列1--ItemLoader讲解

摘要：scrapy提供了一个强大的工具类ItemLoader，本文通过一个实例介绍一些常用用法。以链家的一个具体房源为目标，页面大概长这样的我们的目标是提取出红框中的信息。编写items 编写spider ItemLoader有三个常用的函数，add_xpath，add_css，add_value，阅读全文

posted @ 2018-09-02 20:27 孙龙-程序员阅读(144) 评论(0) 推荐(0) 编辑

scrapy--Itemloader数据清洗--input_processor和output_processor比较

摘要：processor scrapy提供了一个processors类，里面有下列几种方法:Join,TakeFirst,MapCompose,Compose,Identity,SelectJmes 对这几种方法的用法简单介绍一下： TakeFirst是取第一个不为空的元素 input--output I 阅读全文

posted @ 2018-09-02 19:54 孙龙-程序员阅读(252) 评论(0) 推荐(0) 编辑

scrapy框架

摘要：前面学习了python爬虫：scrapy框架xpath和css选择器语法接下来学习爬虫爬取网页： Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，也可以阅读全文

posted @ 2018-08-31 10:58 孙龙-程序员阅读(312) 评论(0) 推荐(0) 编辑

python爬虫：scrapy框架xpath和css选择器语法

摘要：Xpath基本语法一、常用的路径表达式：举例元素标签为artical标签二、谓语谓语被嵌在方括号内，用来查找某个特定的节点或包含某个制定的值的节点三、通配符 Xpath通过通配符来选取未知的XML元素四、取多个路径使用“|”运算符可以选取多个路径五、Xpath轴轴可以定义相对于当前阅读全文

posted @ 2018-08-29 22:54 孙龙-程序员阅读(360) 评论(0) 推荐(0) 编辑

安装scrapy

摘要：安装：http://www.cnblogs.com/wupeiqi/articles/6229292.htmlLinuxpip3 install scrapyWindowsa. pip3 install wheelb. 下载twisted http://www.lfd.uci.edu/~gohlke 阅读全文

posted @ 2018-08-29 18:41 孙龙-程序员阅读(110) 评论(0) 推荐(0) 编辑

Linux环境搭建之安装Python3.6.x

摘要：yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel wge 阅读全文

posted @ 2018-08-29 15:23 孙龙-程序员阅读(231) 评论(0) 推荐(0) 编辑

闭包

摘要：def make_averager(): series = [] def averager(new_value): series.append(new_value) total = sum(series) return total/len(series) return averager avg = make_aver... 阅读全文

posted @ 2018-08-29 10:12 孙龙-程序员阅读(68) 评论(0) 推荐(0) 编辑

bisect

摘要：import bisectprint(dir(bisect))看看模块的结构：#['__builtins__', '__cached__', '__doc__', '__file__', '__loader__', '__name__', '__package__', '__spec__', 'bi 阅读全文

posted @ 2018-08-28 10:33 孙龙-程序员阅读(150) 评论(0) 推荐(0) 编辑

序列构成的数组

摘要：列表推导，笛卡尔乘积元祖不仅仅是不可变的列表元组和记录元组拆包还可以用*把一个可迭代对象拆开作为函数的参数具名元组阅读全文

posted @ 2018-08-27 16:50 孙龙-程序员阅读(100) 评论(0) 推荐(0) 编辑

文章分类 - python

搜索

常用链接

我的标签

随笔分类 (377)

随笔档案 (454)

文章分类 (299)

阅读排行榜

评论排行榜

推荐排行榜

最新评论