摘要：
os模块： os小例子： os小例子：查找某些文件 sys 模块 一个模块导入时路径的问题： 当前目录有bin.py文件和my_mod文件夹，my_mod文件夹下有ma.py和cal.py文件。 而os和sys正好用来解决my_mod/ma.py导入cal模块, 以及被bin.py导入的路径问题 动 阅读全文
摘要：
把老师的资料放在最上面： 导入模块的方法： 注意 __name__ 的用法：仅在本文件中执行时，值为"__main__" 被调用时，则值为模块名（文件名） 导入子文件夹中的模块，注意路径问题： my_mod下的 ma.py文件： my_mod文件夹下的cal.py文件： random 随机模块： 时 阅读全文
摘要：
从某个公众号上看到的. 跑了一下, 居然可以成功运行. 有心的话可以研究下代码. 利用了turtle模块 #!/usr/bin/env python # coding:utf-8 import turtle import time # 画爱心的顶部 def LittleHeart(): for i 阅读全文
摘要：
序列化：明显是json重要，并且应用场景多。 shelve模块： 获取json格式天气数据， 阅读全文
摘要：
[ ] 列表推导式，是用简单的语法来生成列表， ( ) 生成器表达式，是用简单的语法创建个生成器。 外观上仅括号不一样. 虽然写起来方便，但是读起来稍显费力，另外，不易调试。 示例，嵌套，字典推导式，集合推导式 阅读全文
摘要：
不了解是否其他语言也有类似 python 装饰器这样的东西。 最近才发现ECMAScript6也是有生成器函数的，也有 yield generator 装饰器的基础知识是闭包： 装饰器的作用与原则 在另一个文件中调用上面定义的函数，看看装饰器是否启作用： 装饰器简单原理： 换一个文件调用函数： 带有 阅读全文
摘要：
Spark基础 第一节：什么是Spark？Spark的特点和结构 1、什么是Spark？ Spark是一个针对大规模数据处理的快速通用引擎。 类似MapReduce，都进行数据的处理 2、Spark的特点： （1）基于Scala语言、Spark基于内存的计算 （2）快：基于内存 （3）易用：支持Sc 阅读全文
摘要：
生成器与send方法 利用生成器来监视文件内容： 给生成器函数加上装饰器，省掉一步 __next__() 直接 yield from 两个生成器的小例子： 生成器表达式遇到循环 阅读全文
摘要：
假设有个字典格式的文件people 内容如下: 一个生动的例子: 生产者消费者模型: 阅读全文
摘要：
文件操作，通常是打开，读，写，追加等。主要涉及 编码 的问题。 使用 with 关键字，open的写法不同。 一个小练习，模拟了文件修改的过程。 还有那个 seek() 用来操作光标： ### seek()控制光标的位置。括号里面是按字节数来控制位置（utf8是3个字节） ### read() 括号 阅读全文
摘要：
继续内置函数，zip函数被比喻成拉链，将两边的齿对应起来。 还有另外几个内置函数： 还有 import 和 __import__ test.py文件的内容： test2.py的内容： 接下来，对比一下两种 import 的使用区别 这些是笔记，可能看起来有点乱，等以后越来越熟悉之后再仔细整理。 阅读全文
摘要：
一个二分查找的示例： 关于匿名函数 lambda 学了好几节的东西，放在一起了。 map / reduce / filter 跟大数据沾点边 python中常用的一些内置函数，更详细的内置函数，可参考：http://www.runoob.com/python/python-built-in-func 阅读全文
摘要：
更新一个练习： 今天的练习完成，成功了。 阅读全文
摘要：
看到了一个16进制转换的小知识点,就验证了一下运行结果. 继续往前走, 学习一下global关键字 参考: http://www.pythonav.com/special/100-18.html 注意： global 是不安全的，尽量少用。建议使用函数的传参代替它。 验证一下函数以及变量的作用域: 阅读全文
摘要：
直接贴笔记 ： 过程其实就是没有返回值的函数： 各种参数的示例： 多个返回值 ，可以用多个变量接 阅读全文
摘要：
关于前几次课的回顾： 开始学习set 集合 更多参考： https://www.cnblogs.com/jin-xin/p/7738630.html 关于set的交差并补 阅读全文
摘要：
tuple 元组 dict 字典 更详细参考：https://www.cnblogs.com/jin-xin/articles/7562422.html 字典 dict 以下是这几种类型的整理： 字典应用的小例子，用来代替 switch case 另一个列表与字典的例子：统计词频 更多参考： htt 阅读全文
摘要：
首先，使用%s 的方法。 接下来，再看看format的一些方法。 更多的可参考：http://www.cnblogs.com/wupeiqi/articles/5484747.html 最常用的时间格式化 上面三种格式化的结果是一样的。所以，用最简单的就行了。 阅读全文
摘要：
################# HA 即 High Available 高可用。# 其作用是为了减少主从结构的单点故障，而设置备用节点，既然学习了Hadoop生态圈，那么HA配置也是必须要掌握的。# 因为生产环境中，一定会设置HA，减少故障率。 # 参考了好几处的教程，自己动手实践了下，成功。 阅读全文
摘要：
尽量多挤点时间用来学点知识吧。 list是不同于字符串的，字符串定义后不可修改，而list是可以修改的。 以下是学习笔记： 中间穿插了一个三元运算符的知识点，不同于传统编程语言的写法， 另外还讲了个 assert 函数，当false时直接终止程序. 这些 str, int, list 都是类， 都提 阅读全文
摘要：
非常感谢你来逛逛我的博客， 我想说明的是： 里面的关于技术的练习、经验、总结之类的，只是我平时学习自己留下的笔记。 不是教程，不是教程，不是教程。 可能内容只有我自己能懂，其他人看了可能会有歧义或误解。 我表示抱歉！ 如果想看教程，还是建议看看那些专业组织或专业人士编写的吧，比较全面且准确无误。 通 阅读全文
摘要：
大数据开发的学习，组件还是很多的，都需要掌握并多加练习。 最好的参考文档当然是官方的了。 因为Hadoop生态圈组件很多，所以，在建设之初一定要检查好各版本的兼容性。避免后期麻烦。 我的练习使用Hadoop-2.7.5 以及Hbase-1.4.2 看了Hbase 手册Chapter4 兼容性没有问题 阅读全文
摘要：
zookeeper 动物园管理员。前几天看到 金蝉脱壳2 台词中出现了这个词。黄教主演技还不错。 其实Zookeeper的作用是用来做HA高可用。hadoop或spark的HA都需要利用到它。 安装与配置： Shell 的使用： Java API方式：简单监听机制实现 DOCX版本的zookeepe 阅读全文
摘要：
继续学习中， 补充一些str 的索引、切片、长度、循环输出等。 以及str 的range / replace 原生字符串 ，即在引号前面加 r 以及数字的e记法。 下面是完成老师布置的作业， 老师还未讲解。 切片的一些补充： 阅读全文
摘要：
众所周知，hadoop生态圈的多数组件都是使用java开发的。 那么使用Java API方式实现起来，显得要比其它语言效率更高，更原生态。 前面有一个Hadoop学习笔记02_MapReduce练习 是在Linux下直接使用的python2.7实现的。这里我试试windows下用 java 来练习实 阅读全文
摘要：
IDEA中新建Maven工程，添加POM依赖， 在IDE的提示中， 点击 Import Changes 等待自动下载完成相关的依赖包。 启动hadoop后， 在IDEA中测试mkdir, put, get 创建文件夹，上传，下载 Run之后，没有报错，到hdfs上查看，是否有对应的结果。 最后，老师 阅读全文
摘要：
Apache Hive是提供了一种数据映射去读取文本数据，以及提供了类SQL的语句来执行MapReduce。 也就是一种更简化操作的MR。 之前的练习是跟着视频学的hive-1.2.2 而这几天自己练习 hive-2.3.2 才发现很多问题，需要增加一些配置。 以下是笔记： 以下是Hive-2.3. 阅读全文
摘要：
搭建好环境之后 ，就来跑个简单的Mapreduce试试看吧。这个比第一课难多了，需要多多练习并熟练掌握。 需要编写py脚本以及shell脚本， 所以需要学习Python和Linux的Shell编程。 虽然现在可以照抄老师的代码，但是代码有些方面还不太懂，更不能够理解透彻。所以，需要继续学习pytho 阅读全文
摘要：
大数据hadoop平台环境搭建 阅读全文
摘要：
所有的练习都是用的python3 ，还没试过python2 ############## 必须要会的7个基本方法 ############## join split find strip upper / lower replace 其中 join split strip 真的是太常用了。 字符串的函 阅读全文
摘要：
pycharm的安装还是很简单的，一路next。 看起来Jet Brains 家的产品长相都差不多啊。 主要是create new project时，路径和解释器的选择，我电脑上有2.7和3.6 所以要选择一下interpreter File >> settings >> Editor >> Ger 阅读全文
摘要：
基本数据类型: 字符串: 字符串可以相加, 表示连接; 可以将字符串乘以某个数,表示将此字符串复制多少次. 数: 数的加减乘除取余等. 需要注意的是两个乘号**和两个除号/ / python2中的除法和3有所不同，那么需要import math ，然后使用math方法来达到和3一样的结果。 循环： 阅读全文
摘要：
首先，当然是python的版本了，老师讲课学习都是以python3为主， 我的centos中还是python2.6.6 然后参照老师的教程升级到了2.7.14 谢谢！ 平时主要练习3的，有时间的情况下，可以练习一下2.7的，看看差异。 Python种类: Cpython, 来自于C语言的原生pyth 阅读全文
摘要：
以下是一些 常用功能 ， 基于 centos 6.5 x64， 也有部分centos7 64 会有提示。 # cp /etc/localtime /etc/localtime.org # rm /etc/localtime # ln -s /usr/share/zoneinfo/Asia/Shang 阅读全文
摘要：
这个仅仅是为了运行脚本需求， 将centos6.5中的 python 2.6.6升级到了 2.7 并且安装和了 pip 和 MySQLdb 如果想要更改为 国内 pip 源： mkdir -p ~/.pip vim ~/.pip/pip.conf # 输入以下内容并保存。 其他国内 pip 源地址如 阅读全文
摘要：
不管怎么说，还是得感谢慕课网，提供了很多免费的视频教学。 学习自： https://www.imooc.com/view/68 前端页面： 后端页面, 也就是前端所请求的 ser2.php ： 不得不补的小知识，也得花点时间。 分割线 将JSON转为JS对象 将** 转为JSON SQL 语句的几个 阅读全文
摘要：
工作中，总是要处理一些前端的小功能。都是网上搜的JS脚本 判断是否微信浏览器，相应显示与隐藏html元素 定时滚动的文本框： 阅读全文