摘要：
一 学习app数据爬取的目的 二 作用 企业: 个人: 1 技能提升 2 面试必问 三 app数据好抓吗 四 app爬虫工程师技术储备 五 我们的目的 六 模拟器中安装软件 1 把电脑下载好的软件,直接拖拽到模拟器中安装. 2 模拟器中直接安装 3 使用adb 工具安装 阅读全文
摘要：
一 go 语言介绍 1 认识go go语言（或 Golang）是Google在 2007 年开发的一种开源编程语言，于2009年11月开源，2012年发布go稳定版 go是非常年轻的一门语言，它的主要目标是“兼具Python 等动态语言的开发速度和C/C++等编译型语言的性能与安全性” 2 go 的 阅读全文
摘要：
1 什么是redis 2 Redis与Memcached的区别与比较 1 、Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，zset，hash等数据结构的存储。 memcache支持简单的数据类型，String。 2 、Redis支持数据的备份，即master-slave模式 阅读全文
摘要：
1.为什么要使用消息队列 解耦、异步、削峰 (1)解耦 传统模式的缺点: 系统间耦合性太强，如下图所示，系统A在代码中直接调用系统B和系统C的代码，如果将来D系统接入，系统A还需要修改代码，过于麻烦！ 中间件模式(消息队列)优点: 将消息写入消息队列，需要消息的系统自己从消息队列中订阅，从而系统A不 阅读全文
摘要：
1.什么是MongoDB 2.MongoDB的优势有哪些 面向文档的存储：以 JSON 格式的文档保存数据。 任何属性都可以建立索引。 复制以及高可扩展性。 自动分片。 丰富的查询功能。 快速的即时更新。 3 什么是数据库 4.什么是集合(表) 5 什么是文档(记录) 6 MongoDB和关系型数据 阅读全文
摘要：
一 代码 二 参数详解 custom_settings 1 settings 文件中默认请求头 DEFAULT_REQUEST_HEADERS 2 spider文件中请求头参数 custom_settings 必须以类变量形式存在 优先级别高与全局 必须以类变量形式存在 优先级别高与全局 访问知乎不 阅读全文
摘要：
一 配置文件scrapy.cfg 1 全局配置文件路径 盘符: ... \scrapy\scrapy 2 项目配置文件 配置文件的优先级别: 用户定义的配置文件优先级别高于系统范围的默认值. 二 创建醒目的基本命令 三 命令分类 全局命令 startproject #创建项目 genspider # 阅读全文
摘要：
一 安装 二 实验要求 目标网站: http://quotes.toscrape.com/tag/humor/ 任务:保存网页信息到本地 二 创建爬虫项目 生成项目的结构 三 创建爬虫文件 使用pycharm打开项目,修改QuotesSpider .py 文件改为 其中 name: 爬虫名字,项目中 阅读全文
摘要：
一 海洋距离与温度实例 1 导包 2 数据导入 ferrara1 = pd.read_csv('./ferrara_150715.csv') ferrara2 = pd.read_csv('./ferrara_250715.csv') ferrara3 = pd.read_csv('./ferrar 阅读全文
摘要：
路飞业务 广告引流 >获取客服信息 >免费课 >直播课 >鸡汤 >报名 主站: 后台管理: 各模块分析 课程模块 支付模块 购物车模块 报名模块 惩罚体系(定时任务) 题库模块 个人中心模块 消息模块 视频模块 sentry.io :错误跟踪软件 技术栈 项目中遇到什么难点 表结构设计,数据结构,接 阅读全文