随笔分类 - 机器学习和数据挖掘
摘要：Python的可视化包 – Matplotlib Matplotlib是Python中最常用的可视化工具之一，可以非常方便地创建海量类型地2D图表和一些基本的3D图表。Matplotlib最早是为了可视化癫痫病人的脑皮层电图相关的信号而研发，因为在函数的设计上参考了MATLAB，所以叫做Matplo
阅读全文
摘要：0 NumPy数组 NumPy数组:NumPy数组是一个多维数组对象，称为ndarray。其由两部分组成： 实际的数据 描述这些数据的元数据 NumPy数组属性: ndim(纬数,x,y 2),shape(纬度，2*3),reshape(纬度),size:元素个数，dtype:元素数据类型，item
阅读全文
摘要：pandas 是基于 Numpy 构建的含有更高级数据结构和工具的数据分析包 pandas 也是围绕着 Series 和 DataFrame 两个核心数据结构展开的， 导入如下： from pandas import Series,DataFrame import pandas as pd impo
阅读全文
摘要：此方法不返回任何值，但从列表中反转给定对象。string,tuple no reverse()def variablenumbers(): lis=[x for x in range(101)] lis.reverse() lis2=lis[0:-1:8] print(lis2) listDemo
阅读全文
摘要：在自己的电脑上安装Anaconda，用conda create创建一个python 2.7版本的environment。今后我们的程序都在这个环境下执行 0.download anaconda and install 1.open anaconda prompt conda create -n py
阅读全文
摘要：# loads() str to json data# jumps() json to str# jump() json to filedef ladstest(): data = '{"name": "July", "salary": 999999, "title": "CEO", "manage
阅读全文
摘要：import csvdef readfile0(): print('test read file') in_file = open('C:\python\demo\LiaoXueFeng\data\lianjian_zufang_version_4.csv','r',encoding='UTF-8'
阅读全文
摘要：第一部分：Hive简介 什么是Hive •Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 •本质是将SQL转换为MapReduce程序 第二部分：为什么使用Hive 面临的问题 人员学习成本太高 项目周期要求太短 我只是需要一个简单的
阅读全文
摘要：Spark体系架构 zhuangzai Spark体系架构包括如下三个主要组件： 数据存储 API 管理框架 接下来让我们详细了解一下这些组件。 数据存储： Spark用HDFS文件系统存储数据。它可用于存储任何兼容于Hadoop的数据源，包括HDFS，HBase，Cassandra等。 API：
阅读全文
摘要：1.Hadoop是一个大家族，是一个开源的生态系统，是一个分布式运行系统，是基于Java编程语言的架构。不过它最高明的技术还是HDFS和MapReduce，使得它可以分布式处理海量数据。 2.HDFS（分布式文件系统）：它与现存的文件系统不同的特性有很多，比如高度容错（即使中途出错，也能继续运行），
阅读全文
摘要：Hadoop,mapreduce 介绍 59888745@qq.com 大数据工程师是在Linux系统下搭建Hadoop生态系统（cloudera是最大的输出者类似于Linux的红帽）， 把用户的交易或行为信息通过HDFS（分布式文件系统）等存储用户数据文件，然后通过Hbase（类似于NoSQL）等
阅读全文
摘要：import numpy as np import matplotlib.pyplot as plt from pylab import * numpy 常用来组织源数据: 使用 plot 函数直接绘制上述函数曲线， 可以通过配置 plot 函数参数调整曲线的样式、粗细、颜色、标记等： 曲线图：ma
阅读全文
摘要：python seaborn 画图 59888745@qq.com 2017.08.02 distplot( ) kdeplot( ) distplot( )为hist加强版， kdeplot( )为密度曲线图 箱型图 boxplot( ) 联合分布jointplot( ) 热点图heatmap(
阅读全文
摘要：# * _*_ coding:utf-8 _*___author__:'denny 20170730'from functools import reduceimport functoolsimport pandas as pd #create dataframe#df method#partial
阅读全文
摘要：python. pandas(series,dataframe,index,reindex,csv file read and write) method test import pandas as pdimport numpy as np def testpandas(): p = pd.Seri
阅读全文
摘要：#read and write csv of pandasimport pandas as pdgoog =pd.read_csv(r'C:\python\demo\LiaoXueFeng\data\test_vrt.csv',index_col=0)goog=goog.reindex(pd.to_
阅读全文
摘要：Python 入门网络爬虫之精华版 转载 宁哥的小站，总结的不错 Python学习网络爬虫主要分3个大的版块：抓取，分析，存储 另外，比较常用的爬虫框架Scrapy，这里最后也详细介绍一下。 首先列举一下本人总结的相关文章，这些覆盖了入门网络爬虫需要的基本概念和技巧：宁哥的小站-网络爬虫 当我们在浏
阅读全文
摘要：Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的，所以它比 urllib
阅读全文
摘要：检测访问者的浏览器和版本号有关访问者的浏览器的更多信息有关访问者的浏览器的全部细节根据浏览器来提醒用户 <html><body><script type="text/javascript">document.write("<p>浏览器：")document.write(navigator.appNa
阅读全文
摘要：6.函数： match.sqrt(),lower(),len(),type(),isinstance('a',str),max(),min(),dir(),hex(),setattar(obj,'y',19),getattar(obj,'y') map(),reduce(),filter(),lis
阅读全文
