摘要: 文章目录读取MongoDB数据到Pandas中不含嵌套数据含有嵌套数据读取MongoDB数据到Pandas中我们可以通过pymongo包连接mongodb进行数据处理,然后将数据存储到pandas的dataframe里面。例子中的student表的数据结构如... 阅读全文
posted @ 2019-02-23 20:42 LestatZ 阅读(607) 评论(0) 推荐(0) 编辑
摘要: 用scala写的一段Spark Streaming连接Kafka的入门代码 阅读全文
posted @ 2019-02-23 17:18 LestatZ 阅读(528) 评论(0) 推荐(0) 编辑
摘要: 文章目录 Spark简介 为什么用Spark 文章目录 Spark简介 为什么用Spark Spark简介 为什么用Spark Spark简介 为什么用Spark Spark简介 为什么用Spark Spark简介 Apache Spark是一个开源的分布式通用计算框架,具有(大部分)内存数据处理引 阅读全文
posted @ 2019-02-23 17:12 LestatZ 阅读(141) 评论(0) 推荐(0) 编辑
摘要: 文章目录 Commonly used Hive Commands DDL Commands DML Commands 文章目录 Commonly used Hive Commands DDL Commands DML Commands Commonly used Hive Commands DDL 阅读全文
posted @ 2019-02-23 17:05 LestatZ 阅读(151) 评论(0) 推荐(0) 编辑
摘要: 默认情况下,MongoDB没有启用访问控制,因此没有默认用户或密码。要启用访问控制,请使用命令行选项·--auth或security.authorization配置文件设置。具体细节请查看官方文档的启用验证章节以下使我在Mac上测试的具体步骤:打开终端,启动... 阅读全文
posted @ 2019-02-23 16:23 LestatZ 阅读(789) 评论(0) 推荐(0) 编辑
摘要: 查看了Anaconda 镜像使用帮助我们可以通过以下命令为Anaconda添加仓库conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/cond... 阅读全文
posted @ 2019-02-23 15:59 LestatZ 阅读(736) 评论(0) 推荐(0) 编辑
摘要: Homebrew是Mac的软件包管理器,我们可以通过它安装大多数开源软件。但是在使用brew update更新的时候竟然要等待很久。猜测可能是因为brew的官方源被墙或或者响应慢。于是想到的切换Homebrew的更新源的办法, 如果coding.net的源还... 阅读全文
posted @ 2019-02-23 14:58 LestatZ 阅读(755) 评论(0) 推荐(0) 编辑
摘要: 文章目录 什么是MongoDB 准备工作 安装Homebrew 安装概述 使用Homebrew安装和运行MongoDB 从MongoDB官网下载并手动安装 创建用户&开启用户验证 文章目录 什么是MongoDB 准备工作 安装Homebrew 安装概述 使用Homebrew安装和运行MongoDB 阅读全文
posted @ 2019-02-23 14:29 LestatZ 阅读(110) 评论(0) 推荐(0) 编辑
摘要: Dependent Jobs 具有依赖的作业 在Autosys中,作业(Job)可以取决于其他作业的完成结果。 具有依赖的作业和简单作业之间的唯一区别是它依赖于另一个或多个作业。 我们可以通过condition属性来指定作业依赖关系。我们还可以在作业的依赖关系中添加时间限制,即回看条件(look-b 阅读全文
posted @ 2019-02-23 11:58 LestatZ 阅读(470) 评论(0) 推荐(0) 编辑