上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 13 下一页
2020年5月22日
Spark 获取指定分区内的数据
摘要： K:有什么用? 内存不足可以用. 1.上代码 我是1-10分为3个分区 , 并取出下标号为0 的分区的数据 ,然后Type ,要想获得自己想要的分区 , 执行 这里返回的是新 RDD , 并且支持 map等操作 , 但是你只能操作一个分区了 . 在某些内存不够用的情况下 , 可以采用这种分阶段操作的 阅读全文
posted @ 2020-05-22 20:44 挪威森林猫Zzz 阅读(1750) 评论(0) 推荐(0) 编辑
Spark常见算子
摘要： PX: 这些都是在scala环境下的 , 非Java Spark map 转化 1行转1行 , 但可以比如拆分 , 截取 阅读全文
posted @ 2020-05-22 20:21 挪威森林猫Zzz 阅读(146) 评论(0) 推荐(0) 编辑
使用 python 批量插入 hive
摘要： 1.环境准备. 需要 python3.6 最好是安装anaconda 用anaconda navigator 安装这个 , 当然 , 纯 python环境下也能安装这个包 2. 插入hive 换个思路 , 直接插入到hive的表的仓库中 , 也就是hdfs上存储hive文件的地方 from hdfs 阅读全文
posted @ 2020-05-22 18:56 挪威森林猫Zzz 阅读(3216) 评论(0) 推荐(0) 编辑
2020年5月12日
Linux 获取在使用的网卡名称,信息
摘要： 1.查看Linux正在使用的网卡名称 . Shell 下面执行awk 'BEGIN {max = 0} {if ($2+0 > max+0) {max=$2 ;content=$0} } END {print $1}' /proc/net/dev ens33: 附: watch cat /proc/ 阅读全文
posted @ 2020-05-12 09:50 挪威森林猫Zzz 阅读(4016) 评论(0) 推荐(0) 编辑
Linux 修改成静态IP 设置网关 DNS
摘要： 1.Linux 修改静态 ,IP ,网关 , DNS 先 watch cat /proc/net/dev ,能看到你到底使用的哪张 , byte大的最左边那个就是你需要改的 . 记得替换成自己的网卡 .shell执行就好了 cd /etc/sysconfig/network-scripts/ vim 阅读全文
posted @ 2020-05-12 09:14 挪威森林猫Zzz 阅读(381) 评论(0) 推荐(0) 编辑
Linux shell 使用脚本 修改文本中的 key value
摘要： 具体代码在这里 , 我先解释下 https://www.west.cn/docs/52092.html First: 创建一个 test.conf 的文件 , 里面有 key-value , 有" " 或者无引号的 . 这是脚本 . 有一个函数 , 另外在脚本里面直接调用了函数 set_key_va 阅读全文
posted @ 2020-05-12 06:08 挪威森林猫Zzz 阅读(2096) 评论(0) 推荐(0) 编辑
Linux 上的一些有用的shell脚本
摘要： 1. 在进入 root 模式下 , 想要快速修改 主机hostname 快速修改 本机 hostname 映射 ,需要 root ,或者你 sudo echo 'abby001' > /etc/hostname ( > 这个是用来直接写了覆盖,由于hostname只需要一个) 2.使用 脚本 实现对 阅读全文
posted @ 2020-05-12 04:50 挪威森林猫Zzz 阅读(209) 评论(0) 推荐(0) 编辑
2020年5月11日
使用canda 安装 pyhdfs 实现文件上传到 HDFS
摘要： // python 文件上传到 HDFS 1.安装 anaconda ,打开 Navigator . python 怎么用conda 创造的环境不多叙述 这里安装好之后 , 其实 Pycharm里面就能用了 代码很简单 新建文件 upload001.py from hdfs.client impor 阅读全文
posted @ 2020-05-11 07:39 挪威森林猫Zzz 阅读(940) 评论(0) 推荐(0) 编辑
Hadoop 集群搭建 注意点
摘要： 所有都是在centos 7 . centos6 是没有systemd 服务的 .注意了 1.除了 设置静态IP 关闭防火墙 互免rsa 2.开启ntp 时间服务 , 让集群时间同步 . 这一步很重要 先卸载ntpd ,再安装 , 配置如下 . https://www.cnblogs.com/harr 阅读全文
posted @ 2020-05-11 04:37 挪威森林猫Zzz 阅读(180) 评论(0) 推荐(0) 编辑
hadoop 3.2.1 各相关组件下载
摘要： hadoop 版本 3.2.1 hadoop 3.2.1 https://www-us.apache.org/dist/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz zookeeper 3.4.14 https://www-us.apache.org/ 阅读全文
posted @ 2020-05-11 01:22 挪威森林猫Zzz 阅读(1180) 评论(0) 推荐(0) 编辑
上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 13 下一页