10 2020 档案
摘要：第 3 章 RDD 编程 目录： 3.1 RDD基础 3.2 创建RDD 3.3 RDD操作 3.4 向spark传递函数 3.5 常见的RDD操作 3.6 持久化 3.1 RDD基础 RDD（Resilient Distributed Dataset）：弹性分布式数据集，是一个不可变的分布式对象集
阅读全文
摘要：第 2 章 Spark 下载与入门 2.1 下载Spark 略 2.2 Spark中Python和Scala的shell 略 2.3 Spark核心概念简介 以Python 版的例子介绍saprk核心概念 例 2-1：Python 行数统计# 1、驱动器程序：交互式运行spark，Spark she
阅读全文
摘要：第 1 章 Spark 数据分析导论 1.1 Spark是什么 （1）定义：Spark 是一个用来实现快速而通用的集群计算的平台。 （2）特点：处理数据集速度快，因为是在内存中进行计算 （3）用途：交互式查询、流处理、批处理、迭代算法 1.2 一个大一统的软件栈 1.2.1 Spark Core 用
阅读全文
摘要：目录： 1、Shell是什么？1分钟理解Shell的概念！ 2、Linux Shell脚本攻略 3、一篇文章让你彻底掌握 shell 语言 1、Shell是什么？1分钟理解Shell的概念！ 现在我们使用的操作系统（Windows、Mac OS、Android、iOS 等）都是带图形界面的，简单直观
阅读全文
摘要：1.Linux链接概念Linux链接分两种，一种被称为硬链接（Hard Link），另一种被称为符号链接（Symbolic Link）。默认情况下，ln命令产生硬链接。 【硬连接】硬连接指通过索引节点来进行连接。在Linux的文件系统中，保存在磁盘分区中的文件不管是什么类型都给它分配一个编号，称为索
阅读全文
摘要：参考博客： 1、python服务器环境（python3+nginx+flask+uwsgi+supervisor）
阅读全文
摘要：1、菜鸟教程：linux教程 2、Linux学习教程，Linux入门教程（超详细）
阅读全文
摘要：本文转自： 1、MongoEngine 查询 2、Mongoengine的取、排序and指定 数据库查询 #查询结果转换成字典 users_dict = User.objects().to_mongo() # 排序,按日期排列 user = User.objects.order_by("date")
阅读全文
摘要：1、子雨大数据之Spark入门教程(Python版) 2、Spark 编程指南简体中文版 电子书： 1、Spark快速大数据分析
阅读全文
摘要：本文转自： （1）Python之日志处理（logging模块） （2）python之配置日志的几种方式 本节内容 日志相关概念 logging模块简介 使用logging提供的模块级别的函数记录日志 logging模块日志流处理流程 使用logging四大组件记录日志 配置logging的几种方式
阅读全文
摘要：TL;DR 版本： 如果你的程序存储在单脚本里，比如 app.py，那么 .flaskenv 和 .env 应该放在程序脚本的同级目录： myproject/ - app.py - templates - static - .flaskenv - .env 如果你的程序存储在程序包里，那么 .fla
阅读全文
