摘要：
通常有这样备份的需求，将远程服务器的代码或者数据打包压缩然后下载到本地路径 实现方式 1. 需要对远程服务器实现无密码访问，通过配置公钥实现； 2. 使用ssh执行命令然后转向到本地的方法一步完成打包和下载，可参考如下的代码。 ` 其中exclude用于在打包过程中剔除日志文件 阅读全文
2018年9月13日
2018年9月3日
摘要：
前面一篇文章使用TeamViewer实现了内网的Linux登录，但是后面在配置账号的时候遇到了账号绑定的错误，错误信息如下： 遂考虑其它的实现方式，后面找到了 "ngrok" 功能类似于反向代理。 安装方式如下 下载软件 直接解压即可使用 在网站上使用邮箱注册账号，完成之后在https://dash 阅读全文
2018年8月31日
摘要：
由于要通过要远程登录到内网的电脑（一台笔记本），用于在紧急情况下处理服务器故障。刚开始准备使用ssh端口转发，无奈vps转发速度太慢。 后面考虑使用TeamViewer远程控制Windows桌面，但是操作太过卡顿。 今天心血来潮，网上搜了一下Linux命令行下安装TeamViewer，没想到还真的有 阅读全文
2018年7月16日
摘要：
kettle在本地执行向远程hdfs执行转换时，会出现以下错误： ToHDFS.0 ERROR (version 7.1.0.0 12, build 1 from 2017 05 16 17.18.02 by buildguy) : Couldn't open file hdfs://hadoop: 阅读全文
2018年5月16日
摘要：
一道数据库面试题 课程表A : aid，表示每个课程的ID 学生表B : bid，表示每个学生的ID 教师表C : cid，表示每个教师的ID 课程 学生表D : aid, bid，表示某个学生选了某个课程 课程 教师表E : aid, cid，表示某个老师教了某个课程 二元组(x,y)，表示被x个 阅读全文
2017年5月18日
摘要：
将C语言的下划线分割快速替换为Java的驼峰方式。 命令如下 "参考文档" 阅读全文
2017年4月20日
摘要：
在Windows上安装 从官方网站下载需要的二进制包 比如我下载的是flink-1.2.0-bin-hadoop2-scala_2.10.tgz，解压后进入bin目录 可以执行bat文件，也可以使用cygwin执行sh文件 然后可以在浏览器中输入http://localhost:8081打开管理页面 阅读全文
2017年3月27日
摘要：
书本第二章的一些知识点，在cloudera quickstart vm 5.8.0 0上进行操作。 配置文件 配置在/etc/hive/conf/hive site.xml文件里面，采用mysql作为metastore。"hive.metastore.warehouse.dir"这个属性没有在文件中 阅读全文
2017年2月22日
摘要：
继上一篇 "文章" 介绍如何使用Pig处理HDFS上的数据，本文将介绍使用Apache Hive进行数据查询和处理。 Apache Hive简介 首先Hive是一款数据仓库软件 使用HiveQL来结构化和查询存放的数据 执行环境：MapReduce, Tez, Spark 数据存放：HDFS, HB 阅读全文
摘要：
Apache Pig是一个高级过程语言，可以调用MapReduce查询大规模的半结构化数据集。 样例执行的环境为cloudera的单节点虚拟机 读取结构数据中的指定列 在hdfs上放置一个文件 启动Apache Pig 使用Pig Latin进行数据提取 其中dump的作用是将内容转存到屏幕。 将结 阅读全文
