2019年8月12日
Go 变量及基本数据类型1
摘要： #### Go 变量及基本数据类型(一)今天主要学习一下Go 中的变量及基本数据类型: 如何申明,使用变量,以及基本数据类型的介绍和使用细节; ##### 变量的介绍1. 变量相当于内存中一个数据存储空间的表示, 也可以把变量看做是一个房间的门牌号, 通过门牌号可以找到房间, 同理通过变量名可以访问 阅读全文
posted @ 2019-08-12 18:25 mail_maomao 阅读(175) 评论(0) 推荐(0) 编辑
Go 转义字符及风格
摘要： 今天来学习一下Go 中的转义字符,源码注释,规范的代码风格以及标准库API 文档; Go 转义字符常用的转义字符有以下几个:1. \t: 表示一个制表符(tab), 通常可以使用它进行排版; 2. \n: 表示一个换行符; 3. \\: 表示一个反斜线; 4. \": 表示一个"; 5. \r: 表 阅读全文
posted @ 2019-08-12 18:18 mail_maomao 阅读(4721) 评论(0) 推荐(0) 编辑
Go 快速入门
摘要： 这一节主要讲一讲如何开发/运行Go 程序, Go 程序执行流程分析, 以及Go 程序开发注意事项;1. 案例 开发一个hello.go 程序, 可以输出"hello,world" 1.1 目录结构如下: 1.2 代码如下: 1.2.3说明: (1) go 文件的后缀是.go (2) package 阅读全文
posted @ 2019-08-12 18:13 mail_maomao 阅读(149) 评论(0) 推荐(0) 编辑
2018年4月19日
python 线程池使用
摘要： 传统多线程方案会使用“即时创建， 即时销毁”的策略。尽管与创建进程相比，创建线程的时间已经大大的缩短，但是如果提交给线程的任务是执行时间较短，而且执行次数极其频繁，那么服务器将处于不停的创建线程，销毁线程的状态。 一个线程的运行时间可以分为3部分：线程的启动时间、线程体的运行时间和线程的销毁时间。在 阅读全文
posted @ 2018-04-19 18:00 mail_maomao 阅读(280) 评论(0) 推荐(0) 编辑
2018年4月6日
Docker+etcd+flanneld+kubernets 构建容器编排系统(1)
摘要： Docker: Docker Engine， 一个client-server 结构的应用， 包含Docker daemon，一个 用来和daemon 交互的REST API， 一个命令行应用CLI。 Docker Engine 在命令行中接收并解析、执行docker 命令; etcd: 是 Core 阅读全文
posted @ 2018-04-06 00:40 mail_maomao 阅读(1068) 评论(0) 推荐(0) 编辑
2018年3月28日
Python36 使用Redis 构建分布式爬虫（未完）
摘要： 很长时间未更新了，人懒了。 最近有不少的东西，慢慢写吧，最近尝试了一下python 使用Redis 来构建分布式爬虫； 单体爬虫有很多缺点，但是在学习过程中能够学习爬虫的基本理念与运行模式，在后期构建健壮的爬虫还是很有用的；获取代理，构造Header伪装，构造Referer..... 在分布式里一样 阅读全文
posted @ 2018-03-28 18:28 mail_maomao 阅读(192) 评论(0) 推荐(0) 编辑
2018年1月26日
Python 安装MySQL 错误处理
摘要： 正常情况下如果使用python 连接数据库需要安装 python-MySQL 类库 #pip install python-MySQL 等待安装完成即可 使用时 import MySQLdb 那么非正常情况呢？ Cannot open include file 'config-win.h': No 阅读全文
posted @ 2018-01-26 17:21 mail_maomao 阅读(172) 评论(0) 推荐(0) 编辑
2017年12月10日
简单易扩展的爬虫架构
摘要： 已经写了好几篇的网络爬虫了，都是单个应用程序，那个下面介绍一下简单易扩展的爬虫架构； 应用场景是：爬取百度百科搜索关键字的1000个相关链接及相应的简介； 模块介绍： 首先是我们的主调度程序spidermain，用来决定从哪个地开始爬取及调用相关模块； urlmanager 用来管理目标URL，对于 阅读全文
posted @ 2017-12-10 16:04 mail_maomao 阅读(249) 评论(0) 推荐(0) 编辑
Selenium&PhantomJS 完成爬取网络代理
摘要： Selenium模块是一套完整的Web应用程序测试系统，它包含了测试的录制（SeleniumIDE）、编写及运行（Selenium Remote Control）和测试的并行处理（Selenimu Grid）; 那么我们在编写网络爬虫时主要用来了Selenium 的Webdriver 模块 ； 在以 阅读全文
posted @ 2017-12-10 15:38 mail_maomao 阅读(419) 评论(0) 推荐(0) 编辑
Docker 实操
摘要： 恢复内容开始 一、简介 Linux容器作为一类操作系统层面的虚拟化技术成果，旨在立足于单一Linux主机交付多套隔离性Linux环境。与虚拟机不同，容器系统并不需要运行特定的访客操作系统。相反，容器共享同一套主机操作系统内核，同时利用访客操作系统的系统库以交付必要的系统功能。由于无需借助于专门的操作 阅读全文
posted @ 2017-12-10 14:46 mail_maomao 阅读(409) 评论(0) 推荐(0) 编辑