2018年10月16日
python装饰器@
摘要： 函数修饰符 '@' 用做函数的修饰符，可以在模块或者类的定义层内对函数进行修饰， 出现在函数定义的前一行，不允许和函数定义在同一行 一个修饰符就是一个函数，它将被修饰的函数作为参数，并返回修饰后的同名函数或其他可调用的东西？ 示例： 1.最简单的装饰器： 2.带参数的装饰器 3.多个装饰器： 4.函 阅读全文
posted @ 2018-10-16 14:28 一直爬行的蜗牛牛 阅读(223) 评论(0) 推荐(0) 编辑
Python 变量作用域
摘要： 变量作用域（scope）在Python中是一个容易掉坑的地方。 Python的作用域一共有4中，分别是： L （Local） 局部作用域 E （Enclosing） 闭包函数外的函数中 G （Global） 全局作用域 B （Built-in） 内建作用域 以 L --> E --> G -->B 阅读全文
posted @ 2018-10-16 12:01 一直爬行的蜗牛牛 阅读(381) 评论(0) 推荐(0) 编辑
2018年10月15日
Git 分支 - 分支的新建与合并
摘要： 参考链接：https://git-scm.com/book/zh/v2/ 分支的新建与合并 让我们来看一个简单的分支新建与分支合并的例子，实际工作中你可能会用到类似的工作流。 你将经历如下步骤： 让我们来看一个简单的分支新建与分支合并的例子，实际工作中你可能会用到类似的工作流。 你将经历如下步骤： 阅读全文
posted @ 2018-10-15 13:59 一直爬行的蜗牛牛 阅读(228) 评论(0) 推荐(0) 编辑
2018年10月12日
flask_sqlalchemy介绍
摘要： 快速入门 Flask-SQLAlchemy 使用起来非常有趣，对于基本应用十分容易使用，并且对于大型项目易于扩展。有关完整的指南，请参阅 SQLAlchemy 的 API 文档。 一个最小应用 常见情况下对于只有一个 Flask 应用，所有您需要做的事情就是创建 Flask 应用，选择加载配置接着创 阅读全文
posted @ 2018-10-12 15:55 一直爬行的蜗牛牛 阅读(401) 评论(0) 推荐(0) 编辑
SQLAlchemy 简单笔记
摘要： ORM 江湖##### 曾几何时，程序员因为惧怕SQL而在开发的时候小心翼翼的写着sql，心中总是少不了恐慌，万一不小心sql语句出错，搞坏了数据库怎么办？又或者为了获取一些数据，什么内外左右连接，函数存储过程等等。毫无疑问，不搞懂这些，怎么都觉得变扭，说不定某天就跳进了坑里，叫天天不应，喊地地不答 阅读全文
posted @ 2018-10-12 15:50 一直爬行的蜗牛牛 阅读(1475) 评论(0) 推荐(0) 编辑
2018年10月8日
Python-3.6 安装pycrypto 2.6
摘要： 最近接触公司后台管理系统的开发，其中涉及到加密模块pycrypto。 重点来了！！！！敲黑板！！！！ pycrypto在PyCharm中跟其他的模块不一样，pip install pycrypto安装的是1.4.1版本，然后虽然模块能够install成功，但实际上代码还是无法关联起来，运行会报异常。 阅读全文
posted @ 2018-10-08 17:45 一直爬行的蜗牛牛 阅读(1682) 评论(0) 推荐(0) 编辑
2018年9月30日
spark写入ES(动态模板）
摘要： 使用es-hadoop插件，主要使用elasticsearch-spark-20_2.11-6.2.x.jar 官网：https://www.elastic.co/guide/en/elasticsearch/hadoop/current/reference.html 关于ES详细的配置参数 大家可 阅读全文
posted @ 2018-09-30 09:33 一直爬行的蜗牛牛 阅读(5623) 评论(0) 推荐(0) 编辑
2018年9月29日
org.apache.spark.launcher.Main源码分析
摘要： //返回有效的参数，会通过打印的方式给spark-class的 exec "${CMD[@]}"执行 /** '\0'和空格不是同一个概念。 '\0'表示字符串结束符，代表字符串结束，而空格是一个普通字符，显示在文本中可以选中。 '\0'的ASCII码为0，空格的ASCII码为32，两个不是同一个字 阅读全文
posted @ 2018-09-29 16:26 一直爬行的蜗牛牛 阅读(1373) 评论(0) 推荐(0) 编辑
spark相关脚本解析
摘要： spark-shell/spark-submit/pyspark等关系如下： 初始化环境变量SPARK_SCALA_VERSION， 调用%SPARK_HOME%/conf/spark-env.sh加载用户自定义环境变量 阅读全文
posted @ 2018-09-29 10:25 一直爬行的蜗牛牛 阅读(1056) 评论(0) 推荐(0) 编辑
spark-shell解析
摘要： spark-shell 作用： 调用spark-submit脚本，如下参数 --classorg.apache.spark.repl.Main --name "Spark shell" "$@"，如下： 具体流程是： #1 捕获终端信号，执行退出方法，恢复一些操作 #2 保存终端配置，当cygwin 阅读全文
posted @ 2018-09-29 10:13 一直爬行的蜗牛牛 阅读(1303) 评论(0) 推荐(0) 编辑