摘要:
安装 python -m pip install jupyter 配置 2.1 生成配置文件 jupyter notebook --generate-config 2.2 生成登录密码 python3 -c 'from notebook.auth import passwd; print(passw 阅读全文
摘要:
罗翔老师出的书,写一些读后感。 1. 刑法的起源和发展 天、兵、契约、定分止争、正义、防卫、"苗民" 以前感觉刑罚是 惩罚错误行为 的一种手段,统治者为了规范人民的生活,规定了 正确 和 错误 的行为, 为了保证 错误行为 尽量少的发生,使人民有 畏惧感。 2. 反反复复的肉刑兴废 奴隶制旧五刑:墨 阅读全文
摘要:
常识思维带来的四大误区 1. 用常识解释个体行为 导致器官捐献率不同的原因 被忽视的默认选项 理性选择其实是偏好选择 到处都是“看不见的大猩猩” 注重相关性,而非因果性 填充想象,人类思考的本质 如果我们从结果反推原因,我们会发现很多原因在其他的结果中也出现过,但是我们只会看到我们希望看到的原因。我 阅读全文
摘要:
Aggregate 使用Mongodb内置的原生操作,聚合效率非常高类似于SQL Group By 操作。 每个阶段管道限制为100MB的内存 SQL Mongodb where $match group by $group having $match selet $project order by 阅读全文
摘要:
读取目录下的csv文件,写入同一个excel文件的不同的sheet中。 import xlsxwriter as xlwt import os to_file_name = "" csv_path = "" workbook = xlwt.Workbook(to_file_name) # 新建一个工 阅读全文
摘要:
通过Scrapy的自有文件我们可以看到内置的UserAgent是如何设置的 scrapy.downloadermiddlewares.useragent.UserAgentMiddleware """Set User-Agent header per spider or use a default 阅读全文
摘要:
docs Spider中间件启用,setting.py文件 SPIDER_MIDDLEWARES = { 'crawler.middlewares.CrawlerSpiderMiddleware': 543, } from scrapy import signals class CrawlerSpi 阅读全文
摘要:
logrotate vim /etc/logrotate.d/nginx /usr/local/nginx/logs/*.log { daily # 指定转储周期为每天 rotate 7 # 保留7份 missingok # 如果日志丢失,不报错继续滚动下一个日志 notifempty # 当日志文 阅读全文
摘要:
Logrotate是基于CRON来运行的,其脚本是/etc/cron.daily/logrotate,实际运行时,Logrotate会调用配置文件/etc/logrotate.conf. 重要参数说明 compress #通过gzip 压缩转储以后的日志 nocompress #不做gzip压缩处理 阅读全文
摘要:
GitHub 安装 pip install gevent grequests import grequests urls = [ 'http://www.heroku.com', 'http://python-tablib.org', 'http://httpbin.org', 'http://py 阅读全文