2019年10月15日
Python第五节 元组
摘要： Python第八节 元组补充 元组从形式上看，和列表唯一不同的在于，列表是中括号，元组是小括号 元组内的元素不可更改 一. 创建 创建直接在小括号内写元素，用逗号隔开就好 创建空元祖只写一个小括号 元组内仅有一个元素时需要在元素后面加一个逗号，目的是为了和运算符作区分 二.元组访问 元组使用下标来访 阅读全文
posted @ 2019-10-15 09:35 NirvanaInFire 阅读(118) 评论(0) 推荐(0) 编辑
Python-数字类型补充
摘要： Python第五节数字类型补充 数字类型转换 int(x) float(x) complex(x) complex(x, y) 数学常量 pi e PS 数字类型不允许改变 也就是说，当我们对数字类型做某些转换操作，实际上是重新分配了内存生成了新的”对象”。 我们可以用 删除对应的数字对象,同时也可 阅读全文
posted @ 2019-10-15 00:17 NirvanaInFire 阅读(138) 评论(0) 推荐(0) 编辑
2019年10月13日
Spark和pyspark的配置安装
摘要： 如何安装Spark和Pyspark构建Spark学习环境【MacOs】 JDK环境 Python环境 Spark引擎 下载地址: "Apache Spark官网" MacOs下一般安装在 /usr/local (也可以安装在别的地方,不管安装在哪, 最终都要指定环境变量) pyspark端 法一 : 阅读全文
posted @ 2019-10-13 22:37 NirvanaInFire 阅读(3883) 评论(0) 推荐(0) 编辑
解决HDFS小文件带来的计算问题
摘要： hive优化 一.小文件简述 1.1. HDFS上什么是小文件? HDFS存储文件时的最小单元叫做Block，Hadoop1.x时期Block大小为64MB，Hadoop2.x时期Block大小为128MB。(在hadoop部署下可以通过dfs.block.size进行设置) 小文件就是指，在HDF 阅读全文
posted @ 2019-10-13 10:53 NirvanaInFire 阅读(573) 评论(0) 推荐(0) 编辑
2019年10月10日
四.python注释说明
摘要： Python第四节 Python注释 注释说明 注释分为单行注释和多行注释 单行注释以 开头 多行注释 多行注释可以使用三个单引号 或者三个多引号 进行收尾相括。 实例说明 阅读全文
posted @ 2019-10-10 09:38 NirvanaInFire 阅读(222) 评论(0) 推荐(0) 编辑
2019年10月9日
S1#Python之shebang
摘要： 点1 Python之shebang 一. shebang 在计算机科学中，Shebang是一个由井号和叹号构成的字符串行，其出现在文本文件的第一行的前两个字符。 在文件中存在Shebang的情况下，类Unix操作系统的程序载入器会分析Shebang后的内容，将这些内容作为解释器指令，并调用该指令，并 阅读全文
posted @ 2019-10-09 23:24 NirvanaInFire 阅读(1326) 评论(0) 推荐(0) 编辑
三.Python数据类型详述
摘要： Python第三节数据类型详述 一.多变量赋值 python允许多变量赋值 多变量赋相同的值 多变量赋不同的值 二.标准数据类型 2.1. Number 数值类型包括int、float、bool、complex bool类型，当为True时, 为1; False时, 为0 complex类型, co 阅读全文
posted @ 2019-10-09 23:22 NirvanaInFire 阅读(145) 评论(0) 推荐(0) 编辑
二.Python基础语法和数据类型
摘要： Python第二节 基础语法和数据类型 Python编码 python3默认情况下源码文件以UTF 8编码, 字符串均为unicode字符串。同时也可以通过 这样类似的代码进行源码编码的变更。 Python标志符 第一个字符必须是字母或者下划线"_", 绝对不能是数字或其他特殊字符. 其他字符: 任 阅读全文
posted @ 2019-10-09 23:17 NirvanaInFire 阅读(163) 评论(0) 推荐(0) 编辑
一.Python特点
摘要： python第一节 简介 Python介绍 什么样的语言？ 解释性语言:开发中没有编译的环节 交互式语言:在命令提示行执行python引擎,直接执行代码 面向对象语言:支持面向对象 优点 a.易学 b.免费开源 c.高层语言 d.可移植性 e.解释性 f.面向对象 g.可扩展性 缺点 a.运行速度慢 阅读全文
posted @ 2019-10-09 23:02 NirvanaInFire 阅读(189) 评论(0) 推荐(0) 编辑
2019年9月26日
Hive之explode和lateral view
摘要： Hive之explode 一. explode, 行转列。 1.1. 用于array类型的数据 table_name 表名 array_col 为数组类型的字段 new_col array_col被explode之后对应的列 1.2. 用于map类型数据时的语法如下 由于map是kay value结 阅读全文
posted @ 2019-09-26 13:37 NirvanaInFire 阅读(3762) 评论(0) 推荐(0) 编辑