摘要：
最近在重新学习统计学的一些基础知识，整理笔记的时候需要输入一些数学公式。从学校毕业之后，就没有在文档中插入过公式了。按照以前的经验，我把输入公式的方式分成两类。 所见即所得的方式，常见的就是微软word中的公式编辑器。 所想即所得的方式，按照LaTeX语法描述公式，使用工具将语句解析公式。 第一种方 阅读全文
2019年5月19日
2019年4月24日
摘要：
问题现象 写了一个简单的shell脚本调用hive执行组装的sql，在执行时总是报 错误， 单独在hive提示符下却能正常执行。 执行时打印的错误日志： 解决方案 修改 为`hive e "${sql}"` 原因分析 若没有使用双引号进行包括，则"hive e"会认为后面的sql内容解析为多个参数造 阅读全文
2019年2月19日
摘要：
现象 通过load data local导入本地文件时报无法导入的错误 相关操作 第一次导入时时成功的，后来发现源文件行数有问题，重新复制了一个文本文件到本地导入目录，后续再导入时就出现了上述问题。 解决办法 查询hive日志获得更详细的信息，日志的常见位置为/tmp/${user}/hive.lo 阅读全文
2019年1月28日
摘要：
算法简介 K Means是一种常用的聚类算法。聚类在机器学习分类中属于无监督学习，在数据集没有标注的情况下，便于对数据进行分群。而K Means中的K即指将数据集分成K个子集合。 K Means演示 从以下的动画、视频和计算过程可以较为直观了解算法的计算过程。 动画展示 视频展示 "https:// 阅读全文
2019年1月16日
摘要：
背景：在使用kettle 6进行大量数据并行抽取时，偶尔会出现「Unknown error in KarafBlueprintWatcher」的错误，详细的报错信息可以查看下面的代码块。 查看kettle版本 处理方式： 1 修改karaf配置 具体原因参考 "官方论坛文章" 另有 "链接" 说明这 阅读全文
2018年12月6日
摘要：
为了检查hive表中的数据，并统计展现，需要将查出的结果传入到shell变量，然后统一输出到文本。 最后使用了以下两个方法： 方法一 方法二 目前，我们建议使用方法一的脚本，方法二脚本若不能保证查询结果为一行，则会产生报错。 阅读全文
2018年11月12日
摘要：
今天在centos7上安装中文输入法时，遇到system tools setting无法打开的问题。 最后定位时libwbclient这个包无法查找到的原因。 问题显示如下： 可以使用以下方式安装或者重新安装这个包，然后就可以顺利打开setting窗口了。 阅读全文
2018年10月23日
摘要：
有时为了方便，会在Excel中进行代码拼装，比如说是建表SQL语句，但是在复制的代码过程中可能会带入不可见字符，造成代码无法运行。 本次代码中就需要了不可见的" M BM " 问题现象 hive 执行报错 代码段 单纯看无异样 使用 查看 就发现问题所在了 解决方案 参考 "此文" 使用sed进行替 阅读全文
2018年10月17日
摘要：
今天在非hadoop用户使用sparksql处理 这个句型遇到以下的错误。 修复方式： 将 操作系统 上的/tmp/hadoop hadoop的可写权限赋给nonhadoop用户，安全的方法是将用户加到相应的组，测试环境可以直接使用 权限配置。 阅读全文
2018年10月16日
摘要：
需求：在原来大量的shell文件中，给出了错误信息打印，现在要求打印错误后直接退出脚本。 使用sed实现。 效果如下： 阅读全文
