2018年12月26日

摘要: 新片场 BOT_NAME = 'xpc' SPIDER_MODULES = ['xpc.spiders'] NEWSPIDER_MODULE = 'xpc.spiders' SCHEDULER = "scrapy_redis.scheduler.Scheduler" DUPEFILTER_CLASS 阅读全文
posted @ 2018-12-26 15:17 Joy-z 阅读(354) 评论(0) 推荐(0) 编辑

2018年8月27日

摘要: 进程 进程调度原则 1.先来先服务(FCFS)调度算法是一种最简单的调度算法,该算法既可用于作业调度,也可用于进程调度。FCFS算法比较有利于长作业(进程),而不利于短作业(进程)。由此可知,本算法适合于CPU繁忙型作业,而不利于I/O繁忙型的作业(进程)。 2.短作业(进程)优先调度算法(SJ/P 阅读全文
posted @ 2018-08-27 09:43 Joy-z 阅读(217) 评论(0) 推荐(0) 编辑

2018年8月26日

摘要: XPath XPath 是一门在 XML 文档中查找信息的语言。XPath 用来在 XML 文档中对元素和属性进行遍历。 优点: 1) 可在XML中查找信息 2) 支持HTML的查找 3) 通过元素和属性进行导航 由于XPath属于lxml库模块,所以首先要安装库lxml 基础语法 选取节点 常用的 阅读全文
posted @ 2018-08-26 19:33 Joy-z 阅读(376) 评论(0) 推荐(0) 编辑

2018年8月25日

摘要: 协程介绍 对于单线程下,我们不可避免程序中出现io操作,但如果我们能在自己的程序中(即用户程序级别,而非操作系统级别)控制单线程下的多个任务能在一个任务遇到io阻塞时就切换到另外一个任务去计算,这样就保证了该线程能够最大限度地处于就绪态,即随时都可以被cpu执行的状态,相当于我们在用户程序级别将自己 阅读全文
posted @ 2018-08-25 13:52 Joy-z 阅读(168) 评论(0) 推荐(0) 编辑
摘要: 线程的定义: 线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中,是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行不同的任务。 进程和线程的区别 Threads share the address space of the pr 阅读全文
posted @ 2018-08-25 12:19 Joy-z 阅读(194) 评论(0) 推荐(0) 编辑

2018年8月24日

摘要: 区别 一、概念 1、进程 进程是具有一定独立功能的程序关于某个数据集合上的一次运行活动,进程是系统进行资源分配和调度的一个独立单位。每个进程都有自己的独立内存空间,不同进程通过进程间通信来通信。由于进程比较重量,占据独立的内存,所以上下文进程间的切换开销(栈、寄存器、虚拟内存、文件句柄等)比较大,但 阅读全文
posted @ 2018-08-24 17:30 Joy-z 阅读(786) 评论(0) 推荐(0) 编辑

2018年8月16日

摘要: 二分查找算法 你观察这个列表,这是不是一个从小到大排序的有序列表呀? 如果这样,假如我要找的数比列表中间的数还大,是不是我直接在列表的后半边找就行了? 这就是二分查找算法! 那么落实到代码上我们应该怎么实现呢? 二分法 二分法 冒泡排序 快速排序 阅读全文
posted @ 2018-08-16 11:27 Joy-z 阅读(193) 评论(0) 推荐(0) 编辑

2018年7月6日

摘要: 爬取汽车之家新闻,代码如下 import requests res=requests.get(url='https://www.autohome.com.cn/news/') #向汽车直接发起get请求,获取请求数据 res.encoding=res.apparent_encoding #把html 阅读全文
posted @ 2018-07-06 21:55 Joy-z 阅读(762) 评论(0) 推荐(0) 编辑

2018年6月24日

摘要: 初学编程的小伙伴都会对于深浅拷贝的用法有些疑问,今天我们就结合python变量存储的特性从内存的角度来谈一谈赋值和深浅拷贝~~~ 预备知识一——python的变量及其存储 在详细的了解python中赋值、copy和deepcopy之前,我们还是要花一点时间来了解一下python内存中变量的存储情况。 阅读全文
posted @ 2018-06-24 23:13 Joy-z 阅读(163) 评论(0) 推荐(0) 编辑

2018年6月23日

摘要: windows 1、下载安装包 https://www.python.org/downloads/ 2、安装 默认安装路径:C:\python27 3、配置环境变量 【右键计算机】--》【属性】--》【高级系统设置】--》【高级】--》【环境变量】--》【在第二个内容框中找到 变量名为Path 的一 阅读全文
posted @ 2018-06-23 10:42 Joy-z 阅读(119) 评论(0) 推荐(0) 编辑

导航