上一页 1 2 3 4 5 6 7 ··· 11 下一页
摘要: 一、介绍 1、Vue是什么? Vue.js (读音 /vjuː/,类似于 view) 是一套构建用户界面的渐进式框架。与其他重量级框架不同的是,Vue 采用自底向上增量开发的设计。Vue 的核心库只关注视图层,它不仅易于上手,还便于与第三方库或既有项目整合。另一方面,当与单文件组件和 Vue 生态系 阅读全文
posted @ 2017-11-16 16:59 hedeyong11 阅读(349) 评论(0) 推荐(0) 编辑
摘要: reduce()函数也是Python内置的一个高阶函数。 reduce()函数接收的参数和 map()类似,一个函数 f,一个list,但行为和 map()不同,reduce()传入的函数 f 必须接收两个参数,reduce()对list的每个元素反复调用函数f,并返回最终结果值。 例如,编写一个f 阅读全文
posted @ 2017-11-15 19:51 hedeyong11 阅读(172) 评论(0) 推荐(0) 编辑
摘要: 一、数据备份 1、使用mysqldump命令备份 mysqldump命令将数据库中的数据备份成一个文本文件。表的结构和表中的数据将存储在生成的文本文件中。 mysqldump命令的工作原理很简单。它先查出需要备份的表的结构,再在文本文件中生成一个CREATE语句。然后,将表中的所有记录转换成一条IN 阅读全文
posted @ 2017-11-13 18:46 hedeyong11 阅读(238) 评论(0) 推荐(0) 编辑
摘要: 官网链接:https://docs.scrapy.org/en/latest/topics/architecture.html 性能相关 在编写爬虫时,性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时必然会引起等待,从而使得请求整体变慢。 import requests def fetc 阅读全文
posted @ 2017-11-10 15:48 hedeyong11 阅读(314) 评论(0) 推荐(0) 编辑
摘要: 爬虫性能相关 一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程,如果我们有多个url待爬取,采用串行的方式执行,只能等待爬取一个结束后才能继续下一个,效率会非常低。 需要强调的是:串行并不意味着低效,如果串行的都是纯计算的任务,那么cpu的利用率仍然会很高,之所以爬虫程序的串行低 阅读全文
posted @ 2017-11-09 16:11 hedeyong11 阅读(180) 评论(0) 推荐(0) 编辑
摘要: 一 介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉等,来拿到网页渲染之后的结果,可支持多种浏览器 from selenium 阅读全文
posted @ 2017-11-09 09:18 hedeyong11 阅读(154) 评论(0) 推荐(0) 编辑
摘要: 一 介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautifu 阅读全文
posted @ 2017-11-08 09:04 hedeyong11 阅读(317) 评论(0) 推荐(0) 编辑
摘要: 爬虫项目:爬取并筛选拉钩网职位信息自动提交简历 一 目标站点分析 #一:实验前准备: 浏览器用Chrome 用Ctrl+Shift+Delete清除浏览器缓存的Cookie 打开network准备抓包,点击Preserve log保留所有日志 #二:拉勾网验证流程: 1、请求登录页面: 请求url为 阅读全文
posted @ 2017-11-07 15:38 hedeyong11 阅读(276) 评论(0) 推荐(0) 编辑
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2017-11-07 08:53 hedeyong11 阅读(5) 评论(0) 推荐(0) 编辑
摘要: 爬虫项目:爬取汽车之家新闻资讯 # requests+Beautifulsoup爬取汽车之家新闻 import requests from bs4 import BeautifulSoup response=requests.get('https://www.autohome.com.cn/news 阅读全文
posted @ 2017-11-06 09:20 hedeyong11 阅读(192) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 ··· 11 下一页