摘要: 1 什么是爬虫 请求网站, 并提取数据的自动化程序. 2 爬虫基本流程 2.1 发起请求 请求,一般通过http库, 对目标站定进行请求,等同于自己打开浏览器,输入网址. 2.2 获取响应 服务器接受到来自客户端的请求后, 根据请求进行处理, 然后返回请求的内容, 一般为: HTML, 二进制文件( 阅读全文
posted @ 2018-08-22 16:28 弗拉门戈灬 阅读(304) 评论(0) 推荐(0) 编辑
摘要: /* 【内容大纲】 1.字符串类常用函数 2.数字类常用函数 3.日期时间类常用函数 4.加密类常用函数 */ /* 字符串常用函数 */ /** SubString():用于截取指定字符串的方法。该方法有三个参数: 参数1:用于指定要操作的字符串。 参数2:用于指定要截取的字符串的起始位置,起始值 阅读全文
posted @ 2018-08-22 16:20 弗拉门戈灬 阅读(341) 评论(0) 推荐(0) 编辑
摘要: 简述:XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。 一、Xpath节点 在 XPath 中,有七种类型的节点:元素、属性、文本、命名空间、处理指令、注释以及文档(根)节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根 阅读全文
posted @ 2018-08-22 15:56 弗拉门戈灬 阅读(1072) 评论(0) 推荐(0) 编辑
摘要: 本篇解释一下单元自动化框架,我借鉴了’虫师‘的框架,对功能自动检测完后打印报告,虽然我对代码内部还没充分了解,但以我目前来说,在编写脚本是不需要改动,我总结一下我自己的理解(菜鸟水平,源代码开放) 项目地址:https://github.com/defnngj/pyse 1. 用例中的新增函数部分- 阅读全文
posted @ 2017-02-21 17:16 弗拉门戈灬 阅读(539) 评论(0) 推荐(0) 编辑
摘要: # coding= utf-8 为了防止乱码问题,以及方便的在程序中添加中文注释,把编码统一成UTF-8。 from selenium import webdriver from time import sleep 导入selenium的webdriver 、(time中的sleep)包,只有导入w 阅读全文
posted @ 2017-02-21 15:32 弗拉门戈灬 阅读(1294) 评论(0) 推荐(0) 编辑