05 2019 档案

摘要:1.单核CPU实现“多任务”:(注意:这里的多任务假的,是轮训执行多个任务一段时间) 1)时间片轮转 2)优先级调度算法 2.并行:真的多任务执行(CPU核数>=任务数);即在某个时刻点上,有多个程序同时运行在多个CPU上 3.并发:假的多任务执行(CPU核数<任务数);即一段时间内,有多个程序在同 阅读全文
posted @ 2019-05-16 23:17 大数据老司机 阅读(583) 评论(0) 推荐(0) 编辑
摘要:1.创建爬虫 scrapy startproject projectname 阅读全文
posted @ 2019-05-15 22:08 大数据老司机 阅读(141) 评论(0) 推荐(0) 编辑
摘要:网络上安装pyspider的坑有很多,但都不如我今天的大,困扰了我几天,终于解决了 一直抱着个错误,后来才发现,是因为async从python3.7开始不能用作参数名了,将所有脚本里面的async换一个名字即可,当然最好还是要pyspider的大佬更新下pyspider.脚本不多,一共两个脚本 1  阅读全文
posted @ 2019-05-13 21:44 大数据老司机 阅读(1874) 评论(0) 推荐(0) 编辑
摘要:1.切记这是一个大坑。 2.我在用mac电脑安装pyspider的时候,原以为pip install pyspider 就万事大吉,合家欢乐了,but the question 比较多。 第一个问题: 我一共就遇到这一个问题:所以我就只说这一个问题的解决方法,并且是只针对mac电脑的,其他操作系统的 阅读全文
posted @ 2019-05-13 21:09 大数据老司机 阅读(589) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示