Pyspark
摘要：
It appears that you are attempting to reference SparkContext from a broadcast " Exception: It appears that you are attempting to reference SparkContex 阅读全文
posted @ 2017-08-19 22:04 下士闻道 阅读(1242) 评论(0) 推荐(0) 编辑
Python手记
摘要：
字符串的拼接 1.“+”，如果是字符和数字相连，要使用str()函数对于数字进行字符转化； 2.join() 3.",",链接的两个字符串之间用空格做关联 4.占位符 tmp +=1 #print 'r'%tmp print("row num is: %s"%(tmp)) print('value 阅读全文
posted @ 2017-08-19 22:03 下士闻道 阅读(314) 评论(0) 推荐(0) 编辑
Hadoop问题集锦
摘要：
1.Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup 1.Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergrou 阅读全文
posted @ 2017-08-13 22:24 下士闻道 阅读(149) 评论(0) 推荐(0) 编辑
Impala的JDBC无法连接
摘要：
这是因为客户端连接的JDBC是Impala的master机器，而不是DataNode；因为JDBC的服务宿主是Impalad，而Impalad只是部署在DataNode 阅读全文
posted @ 2017-08-13 22:18 下士闻道 阅读(619) 评论(0) 推荐(0) 编辑
HBase On Spark
摘要：
从昨天开始研究通过Spark向HBase中插入数据，开始在GitHub上面找了一段代码，但是调试起来不好用；于是到今天下午一直在研究这个代码，本来对于Python不太熟悉，对于PySpark更是不熟悉；而且还少一些包； 后来突然想到其实Spark还有Java版本的，PySpark和它都是Spark提 阅读全文
posted @ 2017-08-13 22:13 下士闻道 阅读(341) 评论(0) 推荐(0) 编辑
Hive安装配置要点
摘要：
官网下载安装包； 在Profile下面定义HIVE_HOME以及HADOOP_HOME，然后在PATH下面添加HOME/bin目录，用于在命令行直接敲beeline，hive即可执行命令； 需要在hadoop中创建： /user/hive/warehouse /tmp （记得当前目录以及子目录要赋权 阅读全文
posted @ 2017-07-30 20:41 下士闻道 阅读(312) 评论(0) 推荐(0) 编辑
Sentry的要点
摘要：
1.Apache的Build 在研究Sentry的时候，发现没有bin.jar，只能手工编辑工程，但是编辑发现很多jar包有问题；在访问官网的时候发现左侧菜单中有一项是builds，点开后（https://builds.apache.org/job/Sentry-jdk-1.7/），惊讶的发现里面放 阅读全文
posted @ 2017-07-30 20:37 下士闻道 阅读(210) 评论(0) 推荐(0) 编辑
Cloudera安装要点
摘要：
C方式是完全离线方式 https://www.cloudera.com/documentation/enterprise/5-10-x/topics/cm_ig_installing_configuring_dbs.html#cmig_topic_5 cloudera JDBC Driver com 阅读全文
posted @ 2017-07-30 20:27 下士闻道 阅读(1333) 评论(0) 推荐(0) 编辑
无法看到占用端口的应用
摘要：
发现端口被占用，但是看不到PID通过lsof； 在网上查了一下发现了一条线索： netstat -tulpn 确实发现了一条端口占用，但是PID显示为“-” 再继续搜索，发现原来netstat只能显示当前用户所属的PID，显示为“-”说明它不是当前用户的应用； 于是使用 sudo netstat - 阅读全文
posted @ 2017-07-30 20:23 下士闻道 阅读(736) 评论(0) 推荐(0) 编辑
