摘要: 分析1880到2017年出生的美国婴儿姓名 获取数据 数据规整 分析数据 一 、获取数据 二、数据规整 因为获取到的数据是根据出生年份分为了多个文件,其中文件内部的数据也是简单的通过逗号分隔而成的,所以需要规整一下: 通过以上操作就可以将所有的数据文件合并为一个数据集,接下来就可以进行具体的数据分析 阅读全文
posted @ 2019-10-26 16:45 つつつつつつ 阅读(313) 评论(0) 推荐(0) 编辑
摘要: 数据操作 一 、本章学习内容: 数据导入、存储 数据处理 数据操作最重要的一步也是第一步就是收集数据,而收集数据的方式有很多种,第一种就是我们已经将数据下载到了本地,在本地通过文件进行访问,第二种就是需要到网站的API处获取数据或者网页上爬取数据,还有一种可能就是你的公司里面有自己的数据库,直接访问 阅读全文
posted @ 2019-10-26 16:39 つつつつつつ 阅读(464) 评论(0) 推荐(0) 编辑
摘要: Matplotlib:绘图和可视化 简介 简单绘制线形图 plot函数 支持图类型 保存图表 一 、简介 Matplotlib是一个强大的Python绘图和数据可视化的工具包。数据可视化也是我们数据分析的最重要的工作之一,可以帮助我们完成很多操作,例如:找出异常值、必要的一些数据转换等。完成数据分析 阅读全文
posted @ 2019-10-26 16:24 つつつつつつ 阅读(806) 评论(0) 推荐(0) 编辑
摘要: Pandas 简介 Series DataFrame 时间对象处理 数据分组和聚合 其他常用方法 一 、简介 pandas是一个强大的Python数据分析的工具包,它是基于Numpy构建的,正因pandas的出现,让Python语言也成为使用最广泛而且强大的数据分析环境之一。 Pandas的主要功能 阅读全文
posted @ 2019-10-26 16:16 つつつつつつ 阅读(312) 评论(0) 推荐(0) 编辑
摘要: Numpy 简介 ndarray 通用函数 其他 一 、简介 Numpy是高性能科学计算和数据分析的基础包。它也是pandas等其他数据分析的工具的基础,基本所有数据分析的包都用过它。NumPy为Python带来了真正的多维数组功能,并且提供了丰富的函数库处理这些数组。它将常用的数学函数都支持向量化 阅读全文
posted @ 2019-10-26 16:03 つつつつつつ 阅读(327) 评论(0) 推荐(0) 编辑
摘要: 开发环境部署 Anaconda 下载安装 配置环境变量 管理包 管理环境 运行anaconda 补充 一 、Anaconda Anaconda是Python的一个开源的发行版本,里面包含了很多科学计算相关的包,它和Python的关系就像linux系统中centos和Ubuntu的关系一样,不冲突,你 阅读全文
posted @ 2019-10-26 15:51 つつつつつつ 阅读(1118) 评论(0) 推荐(0) 编辑
摘要: 数据分析介绍 数据分析是什么? 数据分析能干什么? 为什么利用Python进行数据分析? 数据分析过程概述 常用库简介 一 、数据分析是什么 在我们如今这个时代,相信大多数人都能明白数据的重要性,数据就是信息,而数据分析就是可以让我们发挥这些信息功能的重要手段。 二、数据分析能干什么 对于数据分析能 阅读全文
posted @ 2019-10-26 15:43 つつつつつつ 阅读(408) 评论(0) 推荐(0) 编辑
摘要: Go性能调优 在计算机性能调试领域里,profiling 是指对应用程序的画像,画像就是应用程序使用 CPU 和内存的情况。 Go语言是一个对性能特别看重的语言,因此语言中自带了 profiling 的库,这篇文章就要讲解怎么在 golang 中做 profiling。 Go性能优化 Go语言项目中 阅读全文
posted @ 2019-10-26 11:57 つつつつつつ 阅读(17925) 评论(4) 推荐(5) 编辑
摘要: Cookie和Session Cookie和Session是Web开发绕不开的一个环节,本文介绍了Cookie和Session的原理及在Go语言中如何操作Cookie。 Cookie Cookie的由来 HTTP协议是无状态的,这就存在一个问题。 无状态的意思是每次请求都是独立的,它的执行情况和结果 阅读全文
posted @ 2019-10-26 11:55 つつつつつつ 阅读(229) 评论(0) 推荐(0) 编辑
摘要: 第三方日志库logrus使用 日志是程序中必不可少的一个环节,由于Go语言内置的日志库功能比较简洁,我们在实际开发中通常会选择使用第三方的日志库来进行开发。本文介绍了 这个日志库的基本使用。 logrus介绍 Logrus是Go(golang)的结构化logger,与标准库logger完全API兼容 阅读全文
posted @ 2019-10-26 11:53 つつつつつつ 阅读(1765) 评论(0) 推荐(0) 编辑
摘要: Elasticsearch 本文简单介绍了ES、Kibana和Go语言操作ES。 Elasticsearch 介绍 Elasticsearch(ES)是一个基于Lucene构建的开源、分布式、RESTful接口的全文搜索引擎。Elasticsearch还是一个分布式文档数据库,其中每个字段均可被索引 阅读全文
posted @ 2019-10-26 11:52 つつつつつつ 阅读(306) 评论(0) 推荐(0) 编辑
摘要: influxDB 本文介绍了 时序数据库及Go语言操作 。 "InfluxDB" 是一个开源分布式时序、事件和指标数据库。使用Go语言编写,无需外部依赖。其设计目标是实现分布式和水平伸缩扩展。 安装 下载 https://portal.influxdata.com/downloads/ 这里需要注意 阅读全文
posted @ 2019-10-26 11:51 つつつつつつ 阅读(675) 评论(0) 推荐(0) 编辑
摘要: gopsutil 是一个跨平台进程和系统监控的Python库,而 是其Go语言版本的实现。本文介绍了它的基本使用。 Go语言部署简单、性能好的特点非常适合做一些诸如采集系统信息和监控的服务,本文介绍的 "gopsutil" 库是知名Python库: "psutil" 的一个Go语言版本的实现。 安装 阅读全文
posted @ 2019-10-26 11:49 つつつつつつ 阅读(1607) 评论(0) 推荐(0) 编辑
摘要: go语言操作kafka Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据,具有高性能、持久化、多副本备份、横向扩展等特点。本文介绍了如何使用Go语言发送和接收kafka消息。 sarama Go语言中连接kafka使用第三方库: "github.com/ 阅读全文
posted @ 2019-10-26 11:44 つつつつつつ 阅读(2080) 评论(1) 推荐(0) 编辑
摘要: NSQ平台 NSQ是目前比较流行的一个分布式的消息队列,本文主要介绍了NSQ及Go语言如何操作NSQ。 NSQ NSQ介绍 "NSQ" 是Go语言编写的一个开源的实时分布式内存消息队列,其性能十分优异。 NSQ的优势有以下优势: 1. NSQ提倡分布式和分散的拓扑,没有单点故障,支持容错和高可用性, 阅读全文
posted @ 2019-10-26 11:42 つつつつつつ 阅读(748) 评论(0) 推荐(0) 编辑
摘要: Go语言操作mongoDB mongoDB是目前比较流行的一个基于分布式文件存储的数据库,它是一个介于关系数据库和非关系数据库(NoSQL)之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。 mongoDB介绍 "mongoDB" 是目前比较流行的一个基于分布式文件存储的数据库,它是一个介 阅读全文
posted @ 2019-10-26 11:27 つつつつつつ 阅读(20650) 评论(0) 推荐(0) 编辑
摘要: Go语言操作Redis Redis介绍 Redis是一个开源的内存数据库,Redis提供了多种不同类型的数据结构,很多业务场景下的问题都可以很自然地映射到这些数据结构上。除此之外,通过复制、持久化和客户端分片等特性,我们可以很方便地将Redis扩展成一个能够包含数百GB数据、每秒处理上百万次请求的系 阅读全文
posted @ 2019-10-26 11:25 つつつつつつ 阅读(551) 评论(0) 推荐(0) 编辑
摘要: Go语言操作MySQL Go操作MySQL 连接 Go语言中的 包提供了保证SQL或类SQL数据库的泛用接口,并不提供具体的数据库驱动。使用 包时必须注入(至少)一个数据库驱动。 我们常用的数据库基本上都有完整的第三方实现。例如: "MySQL驱动" 下载依赖 使用MySQL驱动 Open打开一个d 阅读全文
posted @ 2019-10-26 11:24 つつつつつつ 阅读(361) 评论(0) 推荐(0) 编辑
摘要: protobuf初识 protobuf是一种高效的数据格式,平台无关、语言无关、可扩展,可用于 RPC 系统和持续数据存储系统。 protobuf protobuf介绍 是`Protocol Buffer`的简称,它是Google公司于2008年开源的一种高效的平台无关、语言无关、可扩展的数据格式, 阅读全文
posted @ 2019-10-26 11:22 つつつつつつ 阅读(259) 评论(0) 推荐(0) 编辑
摘要: 二进制协议gob和msgpack介绍 本文主要介绍二进制协议gob及msgpack的基本使用。 最近在写一个gin框架的session服务时遇到了一个问题,Go语言中的json包在序列化空接口存放的数字类型(整型、浮点型等)都序列化成float64类型。 我们构造一个结构体如下: json序列化的问 阅读全文
posted @ 2019-10-26 11:21 つつつつつつ 阅读(358) 评论(0) 推荐(0) 编辑