摘要：
今天老大让采集人人网中资料页面内的各个地区的学校名称 思路分析： 1. 获得高校数据 地址：http://s.xnimg.cn/a44177/allunivlist.js （通过分析页面请求确定为该文件） 对该文件进行人工分析，结合页面弹出框，可以得知，该js文件包含了 国家、城市、学校 信息。文件 阅读全文
摘要：
有时候我们爬取数据跑了半天，突然报错了，例如网络中断，我们想继续爬取，不需程序从头开始爬取，可以采取下面的方案 要想程序继续从断开的位置爬取，最好的方案就是将每次爬取的url存储到数据库中，程序每爬取一个url判断数据库中是否存在存在说明爬取过了，跳过本次url，如果没有，那就证明没有爬取过，程序继 阅读全文
摘要：
关于I/O多路复用(又被称为“事件驱动”)，首先要理解的是，操作系统为你提供了一个功能，当你的某个socket可读或者可写的时候，它可以给你一个通知。这样当配合非阻塞的socket使用时，只有当系统通知我哪个描述符可读了，我才去执行read操作，可以保证每次read都能读到有效数据而不做纯返回-1和 阅读全文
摘要：
实际工作中我们需要知道部署在服务器上的应用有没有问题，但是人为的操作太麻烦有咩有简单的方式呢ｓｈｅｌｌ来监控我们服务器运行状态以及服务器上部署的应用，如果出现异常就会自动发送一个邮件给我们，开始搞起。。。 老套路，先梳理思路 废话不多说，直接上代码 １.apache web 服务器 ２．监控mysq 阅读全文
摘要：
上节我们讲了项目部署的准备工作，现在具体讲下代码部署 首先梳理下思路，大致是这样： ＯＫ，先这么来。。。 [一] 第一次尝试 获取代码 打包代码 传输代码 关闭nginx应用 关闭django应用 解压文件 放置文件 开启应用 开启django应用 开启nginx应用 检查一下 这样是没问题的，但是 阅读全文
摘要：
由于实际工作中经常用到需要部署项目，比较麻烦，今天记录下如何利用shell脚本完成自动部署的工作，毕竟不是专业的运维出身，写的不好，还请勿喷_^o^_ 今天以部署Ｄjango项目为演示，进行部署项目，首先准备工作 １.部署Python虚拟环境 【一】安装虚拟环境软件virualenv 检查是否安装成 阅读全文
摘要：
创建虚拟环境篇今天小编就来讲一下在Ubantu下如何搭建Django环境，希望能帮助那些不会搭建的童鞋^o^0.首先要先安装好Python环境，至于安装过程，小编就不讲了，百度一下，你懂得。。1.初次搭建虚拟环境需要先执行下面2条命令sudo pip install virtualenv #安装虚拟环境sudo pip install virtualenvwrapper #安装虚拟环境的依... 阅读全文
摘要：
系统清理篇系统更新安装完系统之后，需要更新一些补丁。Ctrl+Alt+T调出终端，执行一下代码：sudo apt-get update sudo apt-get upgrade卸载libreOfficelibreoffice事ubuntu自带的开源office软件，体验效果不如windows上的office，于是选择用WPS来替代（wps的安装后面会提到）sudo apt-get remove ... 阅读全文
摘要：
1.装完双系统，必定会遇到时间不一致的问题解决问题如下sudo apt-get install ntpdatesudo ntpdate time.windows.comsudo hwclock --localtime --systohc2.关于双系统引导问题（1）.主板为BIOS引导方式，在终端中输入以下命令 grub-probe -t device /boot/grub sudo grub-... 阅读全文
摘要：
http协议中GET和POST有什么区别，cookie 和ｓessions有什么不同和联系？ ２０１７音未公司get是从服务器上获取数据，post是向服务器发送数据get相对于post的话不安全，传输的数据一般明文显示在ｕｒｌ中，post一般用户表单的提交，数据通过ｓｓl加密传输get传送的数据有限制，不能大于２k，post传输的数据量大，而且一般不受限制get虽说安全比较低，post安全性较高，... 阅读全文