随笔分类 -  运维&&开发

web scraper 抓取分页数据和二级页面内容
摘要：如果是刚接触 web scraper 的，可以看 "第一篇文章" 。 web scraper 是一款免费的，适用于普通用户（不需要专业 IT 技术的）的爬虫工具，可以方便的通过鼠标和简单配置获取你所想要数据。例如知乎回答列表、微博热门、微博评论、淘宝、天猫、亚马逊等电商网站商品信息、博客文章列表等等 阅读全文
posted @ 2018-07-18 12:57 风的姿态 阅读(25814) 评论(1) 推荐(3) 编辑
如何接手一个新项目
摘要：项目好与不好，它就在那里；架构优雅或者丑陋，它就在那里；注释有或者没有，它还在那里；文档乱或者不乱，它始终都在那里。不论它是什么样子的，线上就那样跑着。 一般来讲，项目分为两种： 1、为业务服务的项目，比如公司内部项目、电商项目、各种 app 项目； 2、为技术服务的项目，比如开源中间件项目（dub 阅读全文
posted @ 2018-04-16 09:57 风的姿态 阅读(5751) 评论(2) 推荐(13) 编辑
使用 github 做代码管理，知道这些就够了
摘要：只要掌握了下面的常用命令，基本上用使用 github 就没有问题。github 有两种认证方式，一种是通过 ssh 私钥的方式，一种通过 https 的账号名和密码。ssh 方式需要创建本地秘钥并且添加到个github 上，操作起来略显麻烦，本篇完全介绍以 https 方式管理。 主要原理说明 gi 阅读全文
posted @ 2018-03-09 11:02 风的姿态 阅读(6392) 评论(5) 推荐(12) 编辑
网页数据抓取工具，webscraper 最简单的数据抓取教程，人人都用得上
摘要：Web Scraper 是一款免费的，适用于普通用户（不需要专业 IT 技术的）的爬虫工具，可以方便的通过鼠标和简单配置获取你所想要数据。例如知乎回答列表、微博热门、微博评论、淘宝、天猫、亚马逊等电商网站商品信息、博客文章列表等等。 转载请注明原地址：https://www.cnblogs.com/ 阅读全文
posted @ 2018-02-11 11:13 风的姿态 阅读(95404) 评论(6) 推荐(25) 编辑
Hexo + github 打造个人博客
摘要：前两年开始用 wordpress 搭了一个网站，但服务器是在 Linode 上，之所以要放在 Linode 上，要从买的域名说起，因为我买的域名是 fengzheng.pub ， 是不允许备案的，所以不能解析到国内的服务器，例如阿里云上，所以只能部署在国外的服务器。 但是由于网络方面的限制，导致网站 阅读全文
posted @ 2017-12-13 10:19 风的姿态 阅读(2330) 评论(7) 推荐(7) 编辑
阿里云LINUX服务器配置HTTPS(NGINX)
摘要：背景说明 服务器为阿里云 ECS，操作系统为 CentOS 6.5。 部署配置说明 第一步，安装nginx 之所以要先安装 nginx，是因为下面配置域名解析的时候可以直接在浏览器看到效果，当然了，先配置域名，然后 ping 一下也是可以的 下载Nginx源码包，解压源码包，进入解压后的目录，编译配 阅读全文
posted @ 2017-02-24 09:03 风的姿态 阅读(3509) 评论(2) 推荐(7) 编辑
Redis集群搭建与简单使用
摘要：介绍安装环境与版本 用两台虚拟机模拟6个节点，一台机器3个节点，创建出3 master、3 salve 环境。 redis 采用 redis-3.2.4 版本。 两台虚拟机都是 CentOS ，一台 CentOS6.5 （IP:192.168.31.245），一台 CentOS7（IP:192.16 阅读全文
posted @ 2016-09-29 16:04 风的姿态 阅读(5098) 评论(3) 推荐(3) 编辑