上一页 1 2 3 4 5 6 7 8 9 ··· 16 下一页
摘要: requests是基于urllib3的一个用于发起http请求的库(中文文档)数据采集流程: 指定url>> 基于 requests模块发起请求>> 获取响应中的数据>> 数据解析>> 进行持久化存储 1.模块安装 pip install requests 2.requests之request请求 阅读全文
posted @ 2019-08-05 16:45 笑得好美 阅读(641) 评论(0) 推荐(0) 编辑
摘要: 对于想要利用django框架实现前后端分离,首要的问题是解决跨域请求的问题,什么是跨域请求?简单来说就是当前发起的请求的域与该请求指向的资源所在的域不一致。当协议+域名+端口号均相同,那么就是同一个域. 跨域问题 CORS需要浏览器和服务器同时支持。目前,所有浏览器都支持该功能,IE浏览器不能低于I 阅读全文
posted @ 2019-08-05 10:02 笑得好美 阅读(1059) 评论(0) 推荐(0) 编辑
摘要: 1 from flask import Flask 2 from flask_cors import CORS#pip install Flask-CORS#跨域请求模块 3 app = Flask(__name__) 4 app.debug = True 5 CORS(app)#跨域请求 6 7 if __name__ == '__main__': 8 app.run('0.0.0.0', 95 阅读全文
posted @ 2019-08-05 09:58 笑得好美 阅读(824) 评论(0) 推荐(0) 编辑
摘要: 1.爬虫简介 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。 简单来说就是通过编写脚本模拟浏览器发起请求获取数据。 2.爬虫分类 (1)通用网络爬虫(General Purpose Web Crawle 阅读全文
posted @ 2019-08-01 19:24 笑得好美 阅读(838) 评论(0) 推荐(0) 编辑
摘要: 一、什么是Jupyter Notebook? 1. 简介 Jupyter Notebook是基于网页的用于交互计算的应用程序。其可被应用于全过程计算:开发、文档编写、运行代码和展示结果。——Jupyter Notebook官方介绍 简而言之,Jupyter Notebook是以网页的形式打开,可以在 阅读全文
posted @ 2019-08-01 17:00 笑得好美 阅读(2263) 评论(0) 推荐(0) 编辑
摘要: SQLAlchemy是Python编程语言下的一款开源软件。提供了SQL工具包及对象关系映射(ORM:Object Relational Mappers)工具。SQLAlchemy“采用简单的Python语言,为高效和高性能的数据库访问设计,实现了完整的企业级持久模型”。SQLAlchemy的理念是 阅读全文
posted @ 2019-07-31 22:12 笑得好美 阅读(846) 评论(0) 推荐(0) 编辑
摘要: 第一章 Go环境搭建 1.1 Linux搭建Go环境 1.2 Mac搭建Go环境 1.3 Windows搭建Go环境 第二章 Go语言特性 2.1 Go特征 2.2 Go变量类型 2.3 Go内置函数 2.4 Go与包 fmt 2.5 Hello golang 2.6 Golang命令 2.7 Go 阅读全文
posted @ 2019-07-27 22:12 笑得好美 阅读(384) 评论(0) 推荐(0) 编辑
摘要: 14.6 kafka 为什么用消息队列 举例 转化为计算机思想 场景 消息队列工作流程 队列产品 一个app系统消息队列工作流程 1.1. kafka是什么 在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。 1)Apache Kafka是一个开源消息系统,由Sc 阅读全文
posted @ 2019-07-27 22:08 笑得好美 阅读(122) 评论(0) 推荐(0) 编辑
摘要: 14.4 Go Xorm 获取xorm xorm增删改查 xorm命令行工具 项目地址 https://github.com/go-xorm/cmd 设置及mysql数据表,执行xorm命令,生成models 生成的代码,项目中直接使用 1.1. 安装步骤 此处网络可能有问题,下载较慢 编译xorm 阅读全文
posted @ 2019-07-27 22:06 笑得好美 阅读(367) 评论(0) 推荐(0) 编辑
摘要: 14.5 Go 爬虫 爬虫库/框架 爬虫数据存储 爬取内容 发现用户 解析html 阅读全文
posted @ 2019-07-27 22:06 笑得好美 阅读(162) 评论(0) 推荐(0) 编辑
摘要: 14.3 Go iris 下载 代码示例 运行 1.1. iris笔记 阅读全文
posted @ 2019-07-27 22:05 笑得好美 阅读(400) 评论(0) 推荐(0) 编辑
摘要: 14.1 Go数据结构 每一个程序都在学习十八般武艺,学习语言、数据库、HTTP等技能。 而程序中的九阳神功就是数据结构与算,掌握了数据结构与算法,你的内功修炼就会有质的飞跃。 无论从事业务开发,测评代码性能还是资源消耗,还是架构设计,优化设计模式,还是玩转区块链,都必须搞定数据结构与算法。 只要掌 阅读全文
posted @ 2019-07-27 22:04 笑得好美 阅读(120) 评论(0) 推荐(0) 编辑
摘要: 14.2 Go性能优化 优化手段 api服务性能优化目标 go性能优化方向 1.1. 性能优化原理 CPU性能优化 1.1.1. PProf 想要进行性能优化,首先瞩目在 Go 自身提供的工具链来作为分析依据,本文将带你学习、使用 Go 后花园,涉及如下: runtime/pprof:采集程序(非 阅读全文
posted @ 2019-07-27 22:04 笑得好美 阅读(190) 评论(0) 推荐(0) 编辑
摘要: 13.3 Go章节练习题 练习1:定义1个整数,1个小数,访问变量,打印数值和类型,更改变量的数值,打印数值 练习2:同时定义3个整数, 练习3:同时定义3个字符串 练习4:定义变量后,没有初始值,直接访问变量? 练习5:尝试定义全局变量 练习6:常量组中定义常量,如果没有赋值和上一行一致,写法? 阅读全文
posted @ 2019-07-27 22:03 笑得好美 阅读(214) 评论(0) 推荐(0) 编辑
摘要: 13.2 Go练习题答案 练习题1: 创建一个goroutine与主线程按顺序相互发送信息若干次 且打印 package temp import "fmt" //创建一个goroutine与主线程按顺序相互发送信息若干次 且打印 var c chan string //声明一个string管道 fu 阅读全文
posted @ 2019-07-27 22:02 笑得好美 阅读(282) 评论(0) 推荐(0) 编辑
摘要: 13.1 Go练习题 创建一个goroutine与主线程按顺序相互发送信息若干次 且打印 slice在自动扩容后,内存地址变化 goroutine与闭包的坑 练习题汇总 阅读全文
posted @ 2019-07-27 22:00 笑得好美 阅读(398) 评论(0) 推荐(0) 编辑
摘要: 12.1 Go nsq 1.nsq是Go语言编写的,开源的内存分布式消息队列中间件 2.可以大规模的处理每天数以十亿级别的消息 3.分布式和去中心化拓扑结构,无单点故障 4.地址https://github.com/nsqio/nsq 1.1. nsq应用场景 1.异步处理,把非关键流程异步化,提高 阅读全文
posted @ 2019-07-27 22:00 笑得好美 阅读(317) 评论(0) 推荐(0) 编辑
摘要: 11.2 Go 开发博客 1.1. MVC模式 MVC分层简化了分组开发。不同的开发人员可同时开发视图,控制器逻辑和业务逻辑。 耦合性低:视图层和业务逻辑层分离。相互独立,不受影响 重用性高:业务逻辑层可以完全复用 可维护性高:视图层和逻辑层分离,程序可维护性更好 1.2. 需求分析(PM角色) 阅读全文
posted @ 2019-07-27 21:59 笑得好美 阅读(168) 评论(0) 推荐(0) 编辑
摘要: 11.1 Go gin 框架一直是敏捷开发中的利器,能让开发者很快的上手并做出应用。 成长总不会一蹴而就,从写出程序获取成就感,再到精通框架,快速构造应用。 Gin是一个golang的微框架,封装比较优雅,API友好,源码注释比较明确。 具有快速灵活,容错方便等特点。 其实对于golang而言,we 阅读全文
posted @ 2019-07-27 21:58 笑得好美 阅读(742) 评论(0) 推荐(0) 编辑
摘要: 11.0 Go Http http客户端 客户端添加请求头 1.1. go的标准库 爬虫常用 1.2. 本地go标准库 1.3. go标准库中文网 阅读全文
posted @ 2019-07-27 21:56 笑得好美 阅读(151) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 9 ··· 16 下一页