摘要: 测试环境平台别名 操作系统 地址 用户名 密码 部署系统cpu(core) 内存(G) 硬盘(G)fvt-d-worker-01 Red Hat Enterprise Linux Server release 6.5 (Santiago) 10.60.81.157 jboss Qhiptt_9 4 阅读全文
posted @ 2019-05-21 16:13 何国秀_xue 阅读(236) 评论(0) 推荐(0) 编辑
摘要: CDH相关包的下载地址:http://archive.cloudera.com/cm5/cm/5/http://archive.cloudera.com/cdh5/parcels/latest/ 用户:userdel -r cloudera-scm ps -ef | grep cloudera-sc 阅读全文
posted @ 2019-05-21 16:09 何国秀_xue 阅读(2583) 评论(0) 推荐(0) 编辑
摘要: package spark10.access import java.text.SimpleDateFormatimport java.util.Date import org.apache.hadoop.fs.{FileSystem, Path}import org.apache.log4j.Lo 阅读全文
posted @ 2019-04-12 11:09 何国秀_xue 阅读(1183) 评论(0) 推荐(0) 编辑
摘要: package test import org.apache.hadoop.io.{LongWritable, Text}import org.apache.hadoop.mapred.TextInputFormatimport org.apache.spark.{SparkConf, SparkC 阅读全文
posted @ 2019-04-12 09:03 何国秀_xue 阅读(1776) 评论(0) 推荐(0) 编辑
摘要: package test import org.apache.hadoop.io.{LongWritable, Text}import org.apache.hadoop.mapred.TextInputFormatimport org.apache.spark.sql.hive.HiveConte 阅读全文
posted @ 2019-04-12 09:03 何国秀_xue 阅读(578) 评论(0) 推荐(0) 编辑
摘要: package spark88 import org.apache.spark.sql.{DataFrame, Row, SQLContext, SaveMode}import org.apache.spark.sql.hive.HiveContextimport org.apache.spark. 阅读全文
posted @ 2019-04-11 17:24 何国秀_xue 阅读(1848) 评论(0) 推荐(0) 编辑
摘要: package spark99 import java.io.IOException import org.apache.hadoop.fs.{FileSystem, Path}import org.apache.log4j.Loggerimport org.apache.spark.sql.hiv 阅读全文
posted @ 2019-04-11 17:23 何国秀_xue 阅读(3352) 评论(0) 推荐(0) 编辑
摘要: import requestsfrom bs4 import BeautifulSoupfrom datetime import datetimeimport reimport jsonimport pandasimport sqlite3 commenturl = 'http://comment5 阅读全文
posted @ 2019-02-27 08:38 何国秀_xue 阅读(191) 评论(0) 推荐(0) 编辑
摘要: 1 Hbase宕机分析 1.1 宕机问题分析 Hbase的Regionserver进程随机挂掉(该异常几乎每次都发生,只是挂掉的Regionserver节点不同) HMaster进程随机挂掉 主备Namenode节点随机挂掉 Zookeeper节点随机挂掉 Zookeeper连接超时 JVM GC睡 阅读全文
posted @ 2019-02-26 17:55 何国秀_xue 阅读(1426) 评论(0) 推荐(0) 编辑
摘要: 01. IP:171.196.43.101 Host:headmachine CPU:24个 Mem:96G 02. IP:171.196.43.102 Host:dc01 CPU:24个 Mem:96G03. IP:171.196.43.103 Host:dt01 CPU:24个 Mem:96G0 阅读全文
posted @ 2019-02-21 15:32 何国秀_xue 阅读(181) 评论(0) 推荐(0) 编辑