何国秀_xue

2019年5月21日

摘要：测试环境平台别名操作系统地址用户名密码部署系统cpu(core) 内存(G) 硬盘(G)fvt-d-worker-01 Red Hat Enterprise Linux Server release 6.5 (Santiago) 10.60.81.157 jboss Qhiptt_9 4 阅读全文

posted @ 2019-05-21 16:13 何国秀_xue 阅读(236) 评论(0) 推荐(0) 编辑

CDH相关包的下载地址：

摘要： CDH相关包的下载地址：http://archive.cloudera.com/cm5/cm/5/http://archive.cloudera.com/cdh5/parcels/latest/ 用户：userdel -r cloudera-scm ps -ef | grep cloudera-sc 阅读全文

posted @ 2019-05-21 16:09 何国秀_xue 阅读(2586) 评论(0) 推荐(0) 编辑

2019年4月12日

spark小文件合并解决多级分区

摘要： package spark10.access import java.text.SimpleDateFormatimport java.util.Date import org.apache.hadoop.fs.{FileSystem, Path}import org.apache.log4j.Lo 阅读全文

posted @ 2019-04-12 11:09 何国秀_xue 阅读(1183) 评论(0) 推荐(0) 编辑

spark解决text乱码问题

摘要： package test import org.apache.hadoop.io.{LongWritable, Text}import org.apache.hadoop.mapred.TextInputFormatimport org.apache.spark.{SparkConf, SparkC 阅读全文

posted @ 2019-04-12 09:03 何国秀_xue 阅读(1778) 评论(0) 推荐(0) 编辑

spark解决josn乱码问题

摘要： package test import org.apache.hadoop.io.{LongWritable, Text}import org.apache.hadoop.mapred.TextInputFormatimport org.apache.spark.sql.hive.HiveConte 阅读全文

posted @ 2019-04-12 09:03 何国秀_xue 阅读(578) 评论(0) 推荐(0) 编辑

2019年4月11日

spark保存数据到hdfsJ及hive

摘要： package spark88 import org.apache.spark.sql.{DataFrame, Row, SQLContext, SaveMode}import org.apache.spark.sql.hive.HiveContextimport org.apache.spark. 阅读全文

posted @ 2019-04-11 17:24 何国秀_xue 阅读(1848) 评论(0) 推荐(0) 编辑

spark小文件合并

摘要： package spark99 import java.io.IOException import org.apache.hadoop.fs.{FileSystem, Path}import org.apache.log4j.Loggerimport org.apache.spark.sql.hiv 阅读全文

posted @ 2019-04-11 17:23 何国秀_xue 阅读(3353) 评论(0) 推荐(0) 编辑

2019年2月27日

Python网络爬虫

摘要： import requestsfrom bs4 import BeautifulSoupfrom datetime import datetimeimport reimport jsonimport pandasimport sqlite3 commenturl = 'http://comment5 阅读全文

posted @ 2019-02-27 08:38 何国秀_xue 阅读(191) 评论(0) 推荐(0) 编辑

2019年2月26日

hbase宕机分析与处理

摘要： 1 Hbase宕机分析 1.1 宕机问题分析 Hbase的Regionserver进程随机挂掉（该异常几乎每次都发生，只是挂掉的Regionserver节点不同） HMaster进程随机挂掉主备Namenode节点随机挂掉 Zookeeper节点随机挂掉 Zookeeper连接超时 JVM GC睡阅读全文

posted @ 2019-02-26 17:55 何国秀_xue 阅读(1426) 评论(0) 推荐(0) 编辑

2019年2月21日

集群服务

摘要： 01. IP：171.196.43.101 Host：headmachine CPU：24个 Mem：96G 02. IP：171.196.43.102 Host：dc01 CPU：24个 Mem：96G03. IP：171.196.43.103 Host：dt01 CPU：24个 Mem：96G0 阅读全文

posted @ 2019-02-21 15:32 何国秀_xue 阅读(181) 评论(0) 推荐(0) 编辑

公告