马尔科夫链
摘要：
为了预测天气，假设观察多次后，得到天气变化的概率存在如下转换： 第一天|第二天|概率 : :|: :|: : 晴天|晴天|0.2 晴天|阴天|0.3 晴天|雨天|0.5 阴天|晴天|0.1 阴天|阴天|0.6 阴天|雨天|0.3 雨天|晴天|0.4 雨天|阴天|0.5 雨天|雨天|0.1 那么转移概 阅读全文
posted @ 2018-09-28 10:58 TTyb 阅读(315) 评论(0) 推荐(0) 编辑
dataframe行变换为列
摘要：
新建一个 ： 需要将 的内容按照 分割，得到如下效果： 目前有两种方式实现。 方式一 使用 里面的函数，具体的方式可以看 "functions" ： 方式二 使用 ，具体的方式可以看 "spark使用udf给dataFrame新增列" 阅读全文
posted @ 2018-09-28 10:57 TTyb 阅读(1075) 评论(0) 推荐(0) 编辑
scala获取某个时间间隔的时间
摘要：
原始 ： 还可以是 、 、 、 等等，打印结果如下： 阅读全文
posted @ 2018-09-28 10:56 TTyb 阅读(1846) 评论(0) 推荐(0) 编辑
Python3+Flask+uwsgi部署
摘要：
python3 按照常规的方式安装即可： 添加环境变量 修改 的python Flask uwsgi 我的网页的路径为： 在当前路径下新建 ，写入如下信息 完成保存退出，启动命令并查看进程： 如果想要停止uwsgi，就可以杀死所有： 阅读全文
posted @ 2018-08-29 15:21 TTyb 阅读(2114) 评论(0) 推荐(0) 编辑
Windows7下安装pyspark
摘要：
安装需要如下东西： java "jdk 8u181 windows x64.exe" spark "spark 2.1.3 bin hadoop2.7" hadoop(版本要与spark的一致，这里都是hadoop2.7) "hadoop 2.7.7" Anaconda(这个是为了预防python出 阅读全文
posted @ 2018-08-28 09:51 TTyb 阅读(1278) 评论(0) 推荐(0) 编辑
spark Could not write all entries
摘要：
使用 将 储存到 出现如下报错： 这个无法查到定位到报错位置，所以在新建 的时候进行如下配置： 得到新的错误： 报错显示： 负载过高，需要重新修复 本想重启 ，发现是机器 ，查错成功 阅读全文
posted @ 2018-03-05 09:13 TTyb 阅读(1165) 评论(0) 推荐(0) 编辑
spark按某几列删除dataframe重复行
摘要：
新建一个 ： 想根据 和 来删除重复行，即删掉 且 的重复行。利用 无法删除 利用 可以根据 来删除： 阅读全文
posted @ 2018-03-05 09:12 TTyb 阅读(7143) 评论(0) 推荐(0) 编辑
spark对elasticsearch增删查改
摘要：
增 新建一个 ，插入到索引 ，直接调用 ，让 为自己设定的 ： 删 目前 没有开放删除的 ，所以删除只能用命令行： 查 根据时间范围查询，其中 可以为空，代表不以任何查询条件查询： 改 例如需要将 的 改成 ， 改成 ，可以新建一个 ，按照 储存，这样 就会自动覆盖相同 下的数据： 阅读全文
posted @ 2018-03-05 09:10 TTyb 阅读(5634) 评论(0) 推荐(0) 编辑
hdfs创建删除文件和文件夹
摘要：
在 中，基于 命令可以给 创建文件和文件夹，或者删除文件和文件夹 创建文件的命令为： 创建文件夹的命令为： 删除文件的命令为： 删除文件夹的命令为： 阅读全文
posted @ 2018-02-02 08:53 TTyb 阅读(8319) 评论(0) 推荐(0) 编辑
spark调用hdfsAPI
摘要：
`spark hdfs API` 查询文件名字、删除文件： 获取HDFS上面某个路径下的所有文件的名字 删除HDFS上面某个文件 阅读全文
posted @ 2018-01-24 09:10 TTyb 阅读(918) 评论(0) 推荐(0) 编辑
hadoop退出安全模式Name node is in safe mode
摘要：
在使用 的时候出现如下错误： 处于安全模式，所以需要退出安全模式，一般以如下方法可以解决： 实在不行还可以用如下方式： 阅读全文
posted @ 2018-01-12 09:40 TTyb 阅读(9772) 评论(0) 推荐(0) 编辑
dataframe的select传入不定参数
摘要：
在提取 里面的列时，需要传入不定参数，即 。例如某个 如下： 一般提取某列或者某几列的时候是这样子写的： 但是有需求需要传入不定参数提取不定的列，则可以将需要提取的列放入到一个 中，再如此调用： 因为 官方定义的时候是支持传入不定参数的： 唯一的要求是 里面元素的类型是 类型。 阅读全文
posted @ 2018-01-11 09:04 TTyb 阅读(2222) 评论(0) 推荐(0) 编辑
github pages代码高亮highlighter
摘要：
`github pages highlighter jekyll 3.0 rouge` 终于搞定了： 下载代码高亮库 在 中输入： 可以下载 出来，将这个 文件放到 项目中存放 的目录下，并在 中引用这个库，请自行更改引用的路径： 配置文件 中添加这些： 将博文 文件中的 替换为 ： 调试代码高亮 阅读全文
posted @ 2017-12-27 09:44 TTyb 阅读(2237) 评论(0) 推荐(0) 编辑
spark System memory must be at least
摘要：
运行 程序的时候出现错误： 在 里面找到： 设置大小： 阅读全文
posted @ 2017-12-26 09:53 TTyb 阅读(627) 评论(0) 推荐(0) 编辑
spark计算两个DataFrame的差集、交集、合集
摘要：
`spark dataframe dataframe` ： 差集 except + + |sentence| + + |f8934y | + + 交集 intersect + + |sentence| + + | asf| | 2143| + + 合集 union + + |sentence| + 阅读全文
posted @ 2017-12-06 11:47 TTyb 阅读(16139) 评论(0) 推荐(1) 编辑
