10 2017 档案

Spark Launcher
摘要： 阅读全文
posted @ 2017-10-26 15:22 梅里之巅 阅读(216) 评论(0) 推荐(0) 编辑
Hadoop Gateway 部署
摘要：1.集群的 hadoop-current hive-current spark-current copy 到 gateway 机器 2.集群的 hadoop-conf hive-conf spark-conf copy 到 gateway 机器 3.集群的 yarn.sh hdfs.sh hive. 阅读全文
posted @ 2017-10-25 16:07 梅里之巅 阅读(2154) 评论(0) 推荐(0) 编辑
java 命令--备忘
摘要：java -Djava.ext.dirs=/tmp/spark-sample/lib/ -cp ./spark-sample-1.0.jar com.sample.StartLauncher 阅读全文
posted @ 2017-10-23 22:10 梅里之巅 阅读(166) 评论(0) 推荐(0) 编辑
整理下常用硬件性能参数
摘要：首先列下秒以内的时间单位换算 1 秒 = 1000 毫秒(ms) 1 毫秒 = 1000 微妙(μs) 1 微妙 = 1000 纳秒(ns) 1 纳秒 = 1000 皮秒(ps) 华丽分割线 SATA磁盘寻道时间 10 ms 和磁盘转速相关 从SATA磁盘顺序读取1M数据 10 ms 如果加寻道时间 阅读全文
posted @ 2017-10-10 23:12 梅里之巅 阅读(688) 评论(1) 推荐(0) 编辑
python 脚本备份 mysql 数据库到 OSS
摘要：脚本如下： 再加上crontab 就搞定了 crontab -e 阅读全文
posted @ 2017-10-10 16:58 梅里之巅 阅读(1645) 评论(0) 推荐(0) 编辑
pip 更换国内源
摘要：centos 下 没有找到 pip.conf 操作如下： 进入主目录：cd ~ 创建 .pip 目录： mkdir .pip 进入.pip 创建 pip.conf 文件：cd .pip/ touch pip.conf 编辑 pip.conf 写入新的源配置，写入 douban源,保存即可，文件内容如 阅读全文
posted @ 2017-10-08 17:35 梅里之巅 阅读(197) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示