摘要:
urllib不需要下载 1 # 使用urllib来获取百度首页的源码 2 import urllib.request 3 4 # 1、定义一个url 5 url = 'http://www.baidu.com' 6 7 # 2、模拟浏览器向服务器发送请求 8 response = urllib.re 阅读全文
摘要:
1、爬虫核心:爬取网页数据,解析数据,爬虫和反爬之间的博弈。 2、爬虫用途:数据分析/人工数据采集,社交软件冷启动,舆情监控,竞争对手监控。 3、爬虫分类 通用爬虫:抓取的数据大多是无用的,不能根据用户的需求来精准获取数据。 搜索引擎 网站排名SEO:竞价排名 聚焦爬虫:根据需求,实现爬虫程序,抓取 阅读全文
摘要:
爬虫时用到pip指令下载scrapty包。 pip:安装python时会自动下载并安装pip。pip -V查看版本,如果没有可能没有添加环境变量。 pip是一个现代的,通用的python包管理工具,提供了对python包管理工具。提供了对python包的查找、安装、卸载的功能,便于我们对python 阅读全文
摘要:
二、命令的使用 命令无外乎4种情况: 可执行程序,就像在/usr/bin目录里看到的所有文件一样。 shell内置命令,bash支持许多在内部称之为shell builtin的内置命令。如cd shell函数,合并到环境变量中的小型shell脚本。 alias命令,在其他命令的基础上定义自己的命令。 阅读全文
摘要:
一、操作文件与目录 1、date 显示当前系统的时间和日期 2、cal 显示当月的日历 3、df 查看磁盘驱动器当前的可用空间 4、free 显示可用内存 5、pwd 查看当前工作目录 第一次登录系统时,当前工作目录被设置成主目录。每个用户账号都有一个主目录,作为普通用户操作时,这是唯一一个允许用户 阅读全文
摘要:
需求: 将该方法的所有请求记录到数据库中,由于面向范围广(省市级),请求多(开机等)。 解决: 把所有进来的请求放到队列中慢慢消费(入库),多的就丢弃。 代码: 创建仓库类Storage实现缓冲区 1 public class Storage 2 { 3 /** 4 * 仓库最大存储量 5 */ 6 阅读全文
摘要:
安装 npm install vue axios bootstrap 基本用法 1 <body> 2 3 <div id="app"> 4 </div> 5 6 <script src="./node_modules/vue/dist/vue.js"></script> 7 <!--基于promis 阅读全文
摘要:
原生: 1 <!DOCTYPE html> 2 <html lang="en"> 3 <head> 4 <meta charset="UTF-8"> 5 <title>事件</title> 6 </head> 7 <body> 8 9 <div onclick="fn()" id="btn">点我< 阅读全文
摘要:
一、基本数据类型 1 <!DOCTYPE html> 2 <html lang="en"> 3 <head> 4 <meta charset="UTF-8"> 5 <title>Title</title> 6 </head> 7 <body> 8 <div id="app"> 9 <!--页面从上向 阅读全文
摘要:
1 <!DOCTYPE html> 2 <html lang="en"> 3 <head> 4 <meta charset="UTF-8"> 5 <title>Title</title> 6 </head> 7 <body> 8 <div id="app"> 9 <!--moustache 小胡子语 阅读全文