LestatZ

2019年2月23日

摘要：查看了Anaconda 镜像使用帮助我们可以通过以下命令为Anaconda添加仓库conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/cond... 阅读全文

posted @ 2019-02-23 15:59 LestatZ 阅读(747) 评论(0) 推荐(0) 编辑

Mac/Homebrew — brew update慢的解决方法

摘要： Homebrew是Mac的软件包管理器，我们可以通过它安装大多数开源软件。但是在使用brew update更新的时候竟然要等待很久。猜测可能是因为brew的官方源被墙或或者响应慢。于是想到的切换Homebrew的更新源的办法, 如果coding.net的源还... 阅读全文

posted @ 2019-02-23 14:58 LestatZ 阅读(770) 评论(0) 推荐(0) 编辑

Mac上安装MongoDB

摘要：文章目录什么是MongoDB 准备工作安装Homebrew 安装概述使用Homebrew安装和运行MongoDB 从MongoDB官网下载并手动安装创建用户&开启用户验证文章目录什么是MongoDB 准备工作安装Homebrew 安装概述使用Homebrew安装和运行MongoDB 阅读全文

posted @ 2019-02-23 14:29 LestatZ 阅读(112) 评论(0) 推荐(0) 编辑

[学习笔记]CA Autosys(2) — condition依赖条件

摘要： Dependent Jobs 具有依赖的作业在Autosys中，作业(Job)可以取决于其他作业的完成结果。具有依赖的作业和简单作业之间的唯一区别是它依赖于另一个或多个作业。我们可以通过condition属性来指定作业依赖关系。我们还可以在作业的依赖关系中添加时间限制，即回看条件(look-b 阅读全文

posted @ 2019-02-23 11:58 LestatZ 阅读(511) 评论(0) 推荐(0) 编辑

2019年2月21日

[Hive笔记]Hive编译器

摘要： Hive编译器文章目录 Hive编译器编译器主要部分 Hive SQL的编译过程文章目录 Hive编译器编译器主要部分 Hive SQL的编译过程 Hive编译器编译器主要部分 Hive SQL的编译过程 Hive编译器编译器主要部分 Hive SQL的编译过程编译器主要部分 Hive 阅读全文

posted @ 2019-02-21 21:22 LestatZ 阅读(1259) 评论(0) 推荐(0) 编辑

Pymongo index索引相关操作总结

摘要：简单总结一下pymongo中与index操作相关一些函数, 常用的有：create_indexdrop_indexindex_information其中最主要的是create_index, 可以用它来为mongo的collection建立索引。以下操作一些简... 阅读全文

posted @ 2019-02-21 15:21 LestatZ 阅读(2685) 评论(0) 推荐(0) 编辑

2019年2月20日

[Hive笔记]Hive数据模型

摘要： Hive数据模型 Hive中的数据模型主要分为：表，这些类似于关系数据库中的表。表可以过滤，投影，连接和联合。此外，表的所有数据都存储在HDFS的目录中。 Hive还支持外部表的概念，其中通过向表创建DDL提供适当的位置，可以在HDFS中的现有文件或目录上创建表。分区，每个表可以有一个或多个分区阅读全文

posted @ 2019-02-20 21:27 LestatZ 阅读(995) 评论(0) 推荐(0) 编辑

Pig Control Structures控制结构 - 删除空文件输出

摘要： PigLatin中没有类似于if-else的控制结构。如果需要完成类似的控制结构，则需要使用embedded pig来完成。例如我们可以在Python中嵌入Pig Latin语句和Pig命令（请确保Jython jar包含在类路径中）。以下例子为判断pig作... 阅读全文

posted @ 2019-02-20 16:24 LestatZ 阅读(124) 评论(0) 推荐(0) 编辑

Pig Mongo 连接串多个host报错

摘要：问题描述原来pig作业中的连接器只指定了一个primary host，为了防止mongo服务器主从切换时能够继续使用，于是想利用replica set的特性，将多个host传给mongo连接器：例如 ‘mongodb://user:passwd@host1:port1,host2:port2/’ 阅读全文

posted @ 2019-02-20 12:41 LestatZ 阅读(138) 评论(0) 推荐(0) 编辑

2019年2月19日

Hive to Mongo Update性能差

摘要：文章目录问题描述解决办法文章目录问题描述解决办法问题描述解决办法问题描述解决办法问题描述解决办法问题描述项目中有一个作业是通过pig来利用hive表的数据来更新mongo表的数据，简而言之就是Hive to Mongo use MongoUpdateStorage. 这种方阅读全文

posted @ 2019-02-19 22:21 LestatZ 阅读(422) 评论(0) 推荐(0) 编辑

公告