mx轩 - 博客园

2017年11月9日

摘要：一介绍二 MySQL数据备份一、使用mysqldump实现逻辑备份二、恢复逻辑备份三、备份/恢复案例 #数据库备份/恢复实验一：数据库损坏备份： 1. # mysqldump -uroot -p123 --all-databases > /backup/`date +%F`_all.sq 阅读全文

posted @ 2017-11-09 22:48 mx轩阅读(157) 评论(0) 推荐(0) 编辑

爬虫六爬虫性能相关

摘要：一背景知识爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，采用串行的方式执行，只能等待爬取一个结束后才能继续下一个，效率会非常低。需要强调的是：串行并不意味着低效，如果串行的都是纯计算的任务，那么cpu的利用率仍然会很高，之所以爬虫程序的串行低效，是因为爬虫阅读全文

posted @ 2017-11-09 17:05 mx轩阅读(193) 评论(0) 推荐(0) 编辑

爬虫五 Beautifulsoup模块详细

摘要：一、基本使用 from bs4 import BeautifulSoup htmlCharset = "GB2312" soup=BeautifulSoup(html_doc,'lxml', fromEncoding=htmlCharset) #具有容错功能,指定编码 res=soup.pretti 阅读全文

posted @ 2017-11-09 16:59 mx轩阅读(222) 评论(0) 推荐(0) 编辑

爬虫四 selenium模块详细参数

摘要： selenium元素定位方法一、访问页面并获取网页html 二、查找元素（元素定位） 1、常用的八种查找元素的方法 3、获取文本值，Id，位置，标签名，大小三、使用案例 1. By.tagName() 该方法可以通过元素的标签名称来查找元素。该方法跟之前两个方法的区别是，这个方法搜索到的元素通常不阅读全文

posted @ 2017-11-09 16:01 mx轩阅读(664) 评论(0) 推荐(0) 编辑

爬虫五 Beautifulsoup模块

摘要：一介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautifu 阅读全文

posted @ 2017-11-09 12:59 mx轩阅读(267) 评论(0) 推荐(0) 编辑

2017年11月8日

爬虫四 selenium模块

摘要：一、介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 from selenium 阅读全文

posted @ 2017-11-08 16:16 mx轩阅读(233) 评论(0) 推荐(0) 编辑

2017年11月6日

爬虫二 requests模块的使用

摘要：一、requests模块的介绍二、requests模块基于get方式请求 1、基本请求 2、带params参数的get请求自己拼接get参数 params参数代替自己拼接 3、带headers参数的get请求 5、带cookies参数的get请求三、requests模块基于post方式请求 1 阅读全文

posted @ 2017-11-06 15:43 mx轩阅读(228) 评论(0) 推荐(0) 编辑

2017年10月31日

uwsgi+nginx项目上线

摘要：一、基础环境配置 1、Linux安装配置 1、设置IP地址 2、 ssh DNS解析 (为了安全-判断IP是否有效IP) # /etc/ssh/sshd_config # UseDNS no 3、 iptables 防火墙关闭 4、selinux 安全模块-用不到关闭 # vim /etc/seli 阅读全文

posted @ 2017-10-31 13:07 mx轩阅读(229) 评论(0) 推荐(0) 编辑

2017年10月30日

玩转pandas

摘要：一、pandas概述 pandas ：pannel data analysis（面板数据分析）。pandas是基于numpy构建的，为时间序列分析提供了很好的支持。pandas中有两个主要的数据结构，一个是Series，另一个是DataFrame。 Series Series是一种一维数据结构，类似阅读全文

posted @ 2017-10-30 17:36 mx轩阅读(149) 评论(0) 推荐(0) 编辑

2017年10月29日

玩转NumPy数组

摘要：一、Numpy 数值类型 1、前言：Python 本身支持的数值类型有 int（整型， long 长整型）、float（浮点型）、bool（布尔型）和 complex（复数型）。而 Numpy 支持比 Python 本身更为丰富的数值类型，细分如下： 2、bool：布尔类型，1 个字节，值为 Tr 阅读全文

posted @ 2017-10-29 23:28 mx轩阅读(868) 评论(0) 推荐(0) 编辑

xuxuan

公告