自动安装依赖的 ubuntu dpkg 的竞品gdebi
摘要：简介 dpkg 安装的时候总会出现缺少依赖的情况要自己可能手动安装，但是有了gdebi就可以帮你轻松搞定。 例如坚果云的安装 1. 使用gdebi安装，自动安装依赖 2. ubuntu双击使用软件中心安装，自动安装依赖 3. 使用dpkg安装，使用apt get f install安装依赖 `sud
阅读全文
posted @
2019-09-30 08:55
HDU李少帅
阅读(1492)
推荐(0) 编辑
爬虫 下载页面
摘要：简介 爬虫下载页面 代码 简易下载 似乎并没有把百度的html 下载下来 多次尝试下载 5XX服务器错误 并设置 代理 网站可能会把前面的字符串忽略然后可以只用后面的数字 网站通过一个页面的链接下载 支持对 robots.txt 的解析 代理 下载限速 参考链接 https://tieba.baid
阅读全文
posted @
2019-09-20 22:01
HDU李少帅
阅读(350)
推荐(0) 编辑
爬虫 查看站点的个数和解析网站使用的技术栈和找到网站的所有者
摘要：简介 网站的个数可以作为自己要爬取时间的估算。 技术栈可以知道自己要爬取的难度。 网站的个数 www.baidu.com 然后 输入 site:www.cnblogs.com 就可以知道 博客园大概有多少个页面了。 1000万个左右。 识别网站所采用技术栈 找到网站的所有者
阅读全文
posted @
2019-09-20 19:47
HDU李少帅
阅读(487)
推荐(0) 编辑
robots.txt 简单解析
摘要：简介 robots.txt 是一个规范，对于执行正常操作的爬虫理应遵守的规范. 例子 博客园例子 允许所有爬虫爬取网站任何地址。 百度例子 User agent: Baiduspider 百度自己的爬虫 Disallow: /baidu 不允许自己的爬虫爬取百度的站点 https://www.bai
阅读全文
posted @
2019-09-20 19:26
HDU李少帅
阅读(584)
推荐(0) 编辑
简单 屏蔽 assert
摘要：简介 屏蔽 assert 如何实现 Makefile 中加 CFLAGS += DNDEBUG 或者 gcc DNDEBUG
阅读全文
posted @
2019-09-12 16:20
HDU李少帅
阅读(419)
推荐(0) 编辑
CGI 简单的python显示的页面
摘要：简介 python 进行服务器的页面的显示 cgi common gateway interface 公用网关接口 简单操作 1. python3 m http.server cgi 8001 2. 新建一个cgi bin目录 3. 里面存入一个 py文件 3. 访问 参考链接 "百家号"
阅读全文
posted @
2019-09-06 21:42
HDU李少帅
阅读(442)
推荐(0) 编辑
