摘要：
简介 Lambda 是 AWS 提供的一个无服务器架构的服务，用户只需要专注于写代码而不用关心部署，通常需要关心外部事件源，可以与 API Gateway, SNS, S3, DynamoDB 等等配合使用。 本质 简单粗暴地说，一个 Lambda 就是一个 Docker 服务或者 Firecrac 阅读全文
摘要：
何为 XPath（Introduction） "维基百科" ：XPath 即为 XML 路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。 XPath基于XML的树状结构，提供在数据结构树中找寻节点的能力。 所谓节点有七种，分别是： 元素（element） 阅读全文
摘要：
WebMagic 是干嘛的？ WebMagic 是一个 Java 平台上的开源爬虫框架，其设计参考了 Scrapy，实现则参考了 HttpClient 和 Jsoup。其由四大组件组成： 1. Downloader，负责下载网页，使用 HttpClient。 2. PageProcessor，负责解 阅读全文
摘要：
安装 Selenium （1）Java 编程环境下 针对 Gradle 针对 Maven （2）Python 编程环境下 安装和配置 Driver 下载 Driver 不同的操作系统和浏览器有不同的 Driver 需根据需求选取： Chrome "driver" Edge "driver" Fire 阅读全文
摘要：
安装 Linux + Docker 快速开始 Splash HTTP API 请求方式 1. GET，将参数转为 URL 参数； 2. POST，将参数编码为 JSON 格式并使用 请求体。 获取 Cookie 的 Lua 脚本 部署到生产环境 1. 作为守护进程启动； 2. 奔溃重启； 3. 控制 阅读全文
摘要：
代理是一种提供客户端与服务器进行非直接链接的服务。提供代理服务的服务器称之为 代理服务器 （Proxy Server）。而持有资源实体的服务器称之为 源服务器 。 代理服务器分类 按代理协议 HTTP 代理：应用层协议代理，支持访问未加密站点 SOCKS 4/5 代理：会话层协议代理，SOCKS 5 阅读全文
摘要：
概要 JSONPath，XPath for JSON，是仿造 XPath 进行 JSON 定位的一套语法。 基本语法 | XPath | JSONPath | Description | | | | | | / | $ | 根对象或元素 | | . | @ | 当前对象或元素 | | / | . o 阅读全文
摘要：
Python 版本管理器：pyenv zsh 配置 使用 Python 包管理器：pip 安装 在 Python2 = 2.7.9 或者 Python3 =3.4 时，默认已经安装了 pip 了。 使用 注意： 同时使用 Python2 和 Python3 时，使用下述方式： 阅读全文
摘要：
修改 CentOS 默认 yum 源为 mirrors.163.com 1. 首先备份系统自带yum源配置文件/etc/yum.repos.d/CentOS Base.repo 2. 进入yum源配置文件所在的文件夹 3. 下载163的yum源配置文件到上面那个文件夹内 shell wget htt 阅读全文
摘要：
安装 使用 nvm 安装（可以自由切换 node 版本） （1）下载并执行安装脚本 （2）下载并使用指定版本的 node.js （3）卸载指定版本的 node.js 异步编程 callback promise async/await 排错 /usr/bin/env: node: No such fi 阅读全文