摘要: 在spark上跑python脚本,需要指定python版本时,有如下做法: 方法一: 在环境变量文件 /etc/profile 中添加指定的pyspark,python的版本 保存后source一下 /etc/profile ,使之生效 方法二: 在spark-submit时增加参数 --conf 阅读全文
posted @ 2019-11-13 11:11 彩色条纹小斑马 阅读(3134) 评论(0) 推荐(0) 编辑
摘要: 方法一: 亲测有效!!!! 方法二: 阅读全文
posted @ 2019-11-13 10:24 彩色条纹小斑马 阅读(1922) 评论(0) 推荐(0) 编辑
摘要: 1、集群 win7虚拟机网络配置为桥接模式 集群机器保持同个网段,能互通 2、修改ip和主机名(虚拟机桌面版): vi /etc/hosts 添加ip 主机名: 192.168.10.190 master 192.168.10.191 slave1 192.168.10.192 slave2 vi 阅读全文
posted @ 2019-11-06 16:55 彩色条纹小斑马 阅读(146) 评论(0) 推荐(0) 编辑
摘要: https://blog.csdn.net/qq_39969226/article/details/92218635 推荐这位博主的内容,本人亲试有用! 阅读全文
posted @ 2019-09-11 16:17 彩色条纹小斑马 阅读(4762) 评论(0) 推荐(0) 编辑
摘要: 需要安装postgresql-devel插件 yum install postgresql-devel* 再继续安装就没问题了 阅读全文
posted @ 2019-09-11 15:49 彩色条纹小斑马 阅读(1136) 评论(0) 推荐(0) 编辑
摘要: 最近小编get 了一个生成二维码的便捷方法,给大家安利安利 主要用到的python库myqr,下载了myqr这个库,在命令行或者脚本上都能够很便捷得生成你想要的二维码 命令行的参数 可选参数: -v 控制边长,范围是1至40,数字越大边长越大; -l 控制纠错水平,范围是L、M、Q、H,从左到右依次 阅读全文
posted @ 2019-09-07 15:42 彩色条纹小斑马 阅读(933) 评论(0) 推荐(0) 编辑
摘要: 如果你有一批散点图,像以下,(图都是从百度找的) 想要画出这些散点图的拟合曲线,也可以说是趋势曲线,我想,本文可教你,详情请耐心往下看。 方法一:np.polyfit np.polyfit也是利用最小二乘多项式来拟合曲线的: 首先,先画出如上所示的散点图,大概看下散点分布趋势,究竟是像跟头发丝往上飘 阅读全文
posted @ 2019-07-16 10:54 彩色条纹小斑马 阅读(1558) 评论(0) 推荐(0) 编辑
摘要: 小编最近发现一个好用的工具, pandas-profiling,对于做数据分析的朋友们来说,这可是个好工具,它可以以网页的形式展现给你数据总体概况 在pandas中 df.describe() 是比较基础的探索性数据分析函数,而pandas_profiling则是在DataFrame的基础上扩展,用 阅读全文
posted @ 2019-07-08 15:14 彩色条纹小斑马 阅读(6498) 评论(0) 推荐(0) 编辑
摘要: 最近小编在打杂,实现了http传参做接口测试,来分享下http接口测试的流程,小编不是专业测试人员,只是把自己的学习经历分享下,欢迎各位小伙伴来提出建议,大家互相交流共同成长。 领导给出的需求是,通过http请求传参到远程服务器上的脚本,运行脚本后返回结果值到本地 百度了一波,这不就是接口测试吗? 阅读全文
posted @ 2019-07-05 16:08 彩色条纹小斑马 阅读(1083) 评论(0) 推荐(0) 编辑
摘要: 写sql的时候,尽量避免写一些全表检索的操作,让引擎使用索引来查询,这样在查询的时候会快很多,小编就曾经在where子句将<>替换成=,速度提升了600倍!!! 今天我们就来总结下,sql中有哪些操作是会造成全表检索的 在查询字段时,多用具体字段代替 select * from table 的 * 阅读全文
posted @ 2019-07-04 17:56 彩色条纹小斑马 阅读(122) 评论(0) 推荐(0) 编辑