TTyb

马尔科夫链

摘要：为了预测天气，假设观察多次后，得到天气变化的概率存在如下转换：第一天|第二天|概率 : :|: :|: : 晴天|晴天|0.2 晴天|阴天|0.3 晴天|雨天|0.5 阴天|晴天|0.1 阴天|阴天|0.6 阴天|雨天|0.3 雨天|晴天|0.4 雨天|阴天|0.5 雨天|雨天|0.1 那么转移概阅读全文

posted @ 2018-09-28 10:58 TTyb 阅读(336) 评论(0) 推荐(0)

dataframe行变换为列

摘要：新建一个：需要将的内容按照分割，得到如下效果：目前有两种方式实现。方式一使用里面的函数，具体的方式可以看 "functions" ：方式二使用，具体的方式可以看 "spark使用udf给dataFrame新增列" 阅读全文

posted @ 2018-09-28 10:57 TTyb 阅读(1085) 评论(0) 推荐(0)

scala获取某个时间间隔的时间

摘要：原始：还可以是、、、等等，打印结果如下：阅读全文

posted @ 2018-09-28 10:56 TTyb 阅读(1865) 评论(0) 推荐(0)

Python3+Flask+uwsgi部署

摘要： python3 按照常规的方式安装即可：添加环境变量修改的python Flask uwsgi 我的网页的路径为：在当前路径下新建，写入如下信息完成保存退出，启动命令并查看进程：如果想要停止uwsgi，就可以杀死所有：阅读全文

posted @ 2018-08-29 15:21 TTyb 阅读(2127) 评论(0) 推荐(0)

Windows7下安装pyspark

摘要：安装需要如下东西： java "jdk 8u181 windows x64.exe" spark "spark 2.1.3 bin hadoop2.7" hadoop(版本要与spark的一致，这里都是hadoop2.7) "hadoop 2.7.7" Anaconda(这个是为了预防python出阅读全文

posted @ 2018-08-28 09:51 TTyb 阅读(1287) 评论(0) 推荐(0)

spark Could not write all entries

摘要：使用将储存到出现如下报错：这个无法查到定位到报错位置，所以在新建的时候进行如下配置：得到新的错误：报错显示：负载过高，需要重新修复本想重启，发现是机器，查错成功阅读全文

posted @ 2018-03-05 09:13 TTyb 阅读(1201) 评论(0) 推荐(0)

spark按某几列删除dataframe重复行

摘要：新建一个：想根据和来删除重复行，即删掉且的重复行。利用无法删除利用可以根据来删除：阅读全文

posted @ 2018-03-05 09:12 TTyb 阅读(7207) 评论(0) 推荐(0)

spark对elasticsearch增删查改

摘要：增新建一个，插入到索引，直接调用，让为自己设定的：删目前没有开放删除的，所以删除只能用命令行：查根据时间范围查询，其中可以为空，代表不以任何查询条件查询：改例如需要将的改成，改成，可以新建一个，按照储存，这样就会自动覆盖相同下的数据：阅读全文

posted @ 2018-03-05 09:10 TTyb 阅读(5679) 评论(0) 推荐(0)

hdfs创建删除文件和文件夹

摘要：在中，基于命令可以给创建文件和文件夹，或者删除文件和文件夹创建文件的命令为：创建文件夹的命令为：删除文件的命令为：删除文件夹的命令为：阅读全文

posted @ 2018-02-02 08:53 TTyb 阅读(8658) 评论(0) 推荐(0)

spark调用hdfsAPI

摘要： `spark hdfs API` 查询文件名字、删除文件：获取HDFS上面某个路径下的所有文件的名字删除HDFS上面某个文件阅读全文

posted @ 2018-01-24 09:10 TTyb 阅读(933) 评论(0) 推荐(0)

hadoop退出安全模式Name node is in safe mode

摘要：在使用的时候出现如下错误：处于安全模式，所以需要退出安全模式，一般以如下方法可以解决：实在不行还可以用如下方式：阅读全文

posted @ 2018-01-12 09:40 TTyb 阅读(9840) 评论(0) 推荐(0)

dataframe的select传入不定参数

摘要：在提取里面的列时，需要传入不定参数，即。例如某个如下：一般提取某列或者某几列的时候是这样子写的：但是有需求需要传入不定参数提取不定的列，则可以将需要提取的列放入到一个中，再如此调用：因为官方定义的时候是支持传入不定参数的：唯一的要求是里面元素的类型是类型。阅读全文

posted @ 2018-01-11 09:04 TTyb 阅读(2245) 评论(0) 推荐(0)

github pages代码高亮highlighter

摘要： `github pages highlighter jekyll 3.0 rouge` 终于搞定了：下载代码高亮库在中输入：可以下载出来，将这个文件放到项目中存放的目录下，并在中引用这个库，请自行更改引用的路径：配置文件中添加这些：将博文文件中的替换为：调试代码高亮阅读全文

posted @ 2017-12-27 09:44 TTyb 阅读(2317) 评论(0) 推荐(0)

spark System memory must be at least

摘要：运行程序的时候出现错误：在里面找到：设置大小：阅读全文

posted @ 2017-12-26 09:53 TTyb 阅读(641) 评论(0) 推荐(0)

spark计算两个DataFrame的差集、交集、合集

摘要： `spark dataframe dataframe` ：差集 except + + |sentence| + + |f8934y | + + 交集 intersect + + |sentence| + + | asf| | 2143| + + 合集 union + + |sentence| + 阅读全文

posted @ 2017-12-06 11:47 TTyb 阅读(16219) 评论(0) 推荐(1)

个人博客转至：tybai.com