孔扎根

python中常用函数整理

摘要： 1、map map是python内置的高阶函数，它接收一个函数和一个列表，函数依次作用在列表的每个元素上，返回一个可迭代map对象。用法举例：将列表li中的数值都加1, li = [1,2,3,4,5] 2、lambda表达式是一个表达式，可以创建匿名函数，冒号前是参数，冒号后只能有一个表达阅读全文

posted @ 2018-02-08 07:18 孔扎根阅读(2978) 评论(0) 推荐(0) 编辑

scrapy简单分布式爬虫

摘要：经过一段时间的折腾，终于整明白scrapy分布式是怎么个搞法了，特记录一点心得。虽然scrapy能做的事情很多，但是要做到大规模的分布式应用则捉襟见肘。有能人改变了scrapy的队列调度，将起始的网址从start_urls里分离出来，改为从redis读取，多个客户端可以同时读取同一个redis，从阅读全文

posted @ 2018-02-07 15:18 孔扎根阅读(742) 评论(0) 推荐(0) 编辑

selenium获取cookie

摘要：参考地址：https://www.cnblogs.com/lingwang3/p/7750156.html 阅读全文

posted @ 2018-02-01 16:00 孔扎根阅读(603) 评论(1) 推荐(0) 编辑

scrapy之spider模块

摘要： scrapy中的spider的用法： 1、scrapy命令行可以传参数给构造器构造器接收传入的参数 2、spider.Spider：在系统生成的脚本或自己编写的脚本都必须要继承Spider类，功能是调用start_urls/start_requests并将结果给parse处理 allowd_d 阅读全文

posted @ 2018-01-31 18:06 孔扎根阅读(476) 评论(0) 推荐(0) 编辑

pymongo的用法总结

摘要：一、安装与更新二、创建数据库、集合三、插入数据 1、插入单条数据（返回一个id） 2、插入多条数据（返回多个id） 3、插入的数据可以指定id吗四、删除数据 1、删除一条数据 2、一次删除多条数据五、修改数据 1、修改一条数据六、查询七、排序阅读全文

posted @ 2018-01-31 11:03 孔扎根阅读(1146) 评论(0) 推荐(0) 编辑

scrapy

摘要： scrapyd: https://github.com/rmax/scrapy-redis 阅读全文

posted @ 2018-01-31 07:01 孔扎根阅读(149) 评论(0) 推荐(0) 编辑

pymysql的使用

摘要： pymysql和MySqlDB的用法，大同小异，官方文档也只是给个简单的例子，看一看很容易明白：我自己总结了一段代码，可以在工程中使用：阅读全文

posted @ 2018-01-30 10:09 孔扎根阅读(343) 评论(0) 推荐(0) 编辑

注意力训练的十个方法

摘要：今天在忙一些事情没有时间写新的感想，转发一篇以前的文章，出处已经不记得的。注意力的集中作为一种特殊的素质和能力，需要通过训练来获得。那么，训练自己注意力、提高自己专心致志素质的方法有哪些呢？方法之一：运用积极目标的力量这种方法的含义是什么？就是当你给自己设定了一个要自觉提高自己注意力和专心能力阅读全文

posted @ 2018-01-25 09:10 孔扎根阅读(1399) 评论(0) 推荐(0) 编辑

beautifulSoup基本用法及find选择器

摘要：总结来源于官方文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html#find-all 示例代码段 html_doc = """<html> <head><title>The Dormouse's story <! 阅读全文

posted @ 2018-01-19 07:58 孔扎根阅读(21714) 评论(0) 推荐(0) 编辑

css+div页面布局

摘要： div标签是html页面中用于分组的块元素，是专门用于元素布局的标签。标签的级别： 1、行级标签：可设置大小，但一行只能容下一个行级标签（默认宽度==页面宽度，默认高度==填充高度） 2、块级标签：可设置大小，多个块级标签占据一行（默认宽度==填充宽度，默认高度==填充高度） CSS中与布局有关的阅读全文

posted @ 2018-01-13 11:33 孔扎根阅读(572) 评论(0) 推荐(0) 编辑