bigdata_devops

摘要： http://blog.csdn.net/guchuanyun111/article/category/6335900 （1）什么是redis? Redis 是一个基于内存的高性能key-value数据库。 (有空再补充，有理解错误或不足欢迎指正) （2）Reids的特点 Redis本质上是一个Ke 阅读全文

摘要： scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调度器 dupefilter - URL去重规则（被调度器使用） pipeline - 数据持久化 scrapy-redis组件 1. URL去 阅读全文

摘要： 性能相关 在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。 import requests def fetch_async(url): response = requests.get(url) return response url_l 阅读全文

摘要： Q2Day79 requests Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是，它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务。 Requests 是使用 Apache2 阅读全文

摘要： 一. 登录事例 a. 查找汽车之家新闻 标题 链接 图片写入本地 import requests from bs4 import BeautifulSoup import uuid response = requests.get( 'http://www.autohome.com.cn/news/' 阅读全文

摘要： 问题背景 1 环境 物理主机操作系统Centos6.5 虚拟主机KVM:centos6.5 64位min版本(虚拟机安装有台) 网络：桥接模式 2 问题 yum安装mariadb10/mysql6.5后，本地只有root用户能访问，新增的其他用户本地，远程都不能访问。 安装mariadb参考：Cen 阅读全文

摘要： 思路： 1.建立堆 2.得到堆顶元素，为最大元素 3.去掉堆顶，将堆最后一个元素放到堆顶，此时可通过一次调整重新使堆有序。 4.堆顶元素为第二大元素。 5.重复步骤3，直到堆变空。 动画 代码: 实例： 将列表内的数据以id的值从小到大排序 阅读全文

摘要： 思路 第一步：找到一个随机的数，一般都是第一个数，也就是left,递归中也用left，放到缓存中，专业叫 基准值，基准值是要放在中间的。 第二步：最左边空出一个位置就是索引left的位置，所以从右向左找比基准值小的索引 R ，找到并将值放在left位置，这样索引R 就会空出来。 第三步：从左向右找比 阅读全文

摘要： 什么是算法 就是一个计算的过程，解决问题的方法 用到知识点 递归 调用自身 有结束条件 下次执行相应的复杂度要减少 时间复杂度排序（按效率排序） O(1)<O(logn)<O(n)<O(nlogn)<O(n2)<O(n2logn)<O(n3) 判断时间复杂度 1.循环减半的过程就是O(logn) 2 阅读全文

摘要： 1.进入ipython： 2.常用命令: In [8]: a.a*? a.append In [7]: a Out[7]: [1, 2, 3, 4, 5, 2] In [9]: a.*? #查看列表a的常用方法 a.__add__ a.__class__ a.__contains__ a.__del 阅读全文