下士闻道

摘要： hive库清表，删除数据 insert overwrite table lorry.bigdata select * from lorry.bigdata where 1=0 hive的simple模式 hive的select如果是fetch模式（select <columnname> from [ 阅读全文

摘要： It appears that you are attempting to reference SparkContext from a broadcast " Exception: It appears that you are attempting to reference SparkContex 阅读全文

摘要： 字符串的拼接 1.“+”，如果是字符和数字相连，要使用str()函数对于数字进行字符转化； 2.join() 3.",",链接的两个字符串之间用空格做关联 4.占位符 tmp +=1 #print 'r'%tmp print("row num is: %s"%(tmp)) print('value 阅读全文

摘要： 1.Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup 1.Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergrou 阅读全文

摘要： 这是因为客户端连接的JDBC是Impala的master机器，而不是DataNode；因为JDBC的服务宿主是Impalad，而Impalad只是部署在DataNode 阅读全文

摘要： 从昨天开始研究通过Spark向HBase中插入数据，开始在GitHub上面找了一段代码，但是调试起来不好用；于是到今天下午一直在研究这个代码，本来对于Python不太熟悉，对于PySpark更是不熟悉；而且还少一些包； 后来突然想到其实Spark还有Java版本的，PySpark和它都是Spark提 阅读全文

摘要： 官网下载安装包； 在Profile下面定义HIVE_HOME以及HADOOP_HOME，然后在PATH下面添加HOME/bin目录，用于在命令行直接敲beeline，hive即可执行命令； 需要在hadoop中创建： /user/hive/warehouse /tmp （记得当前目录以及子目录要赋权 阅读全文

摘要： 1.Apache的Build 在研究Sentry的时候，发现没有bin.jar，只能手工编辑工程，但是编辑发现很多jar包有问题；在访问官网的时候发现左侧菜单中有一项是builds，点开后（https://builds.apache.org/job/Sentry-jdk-1.7/），惊讶的发现里面放 阅读全文

摘要： C方式是完全离线方式 https://www.cloudera.com/documentation/enterprise/5-10-x/topics/cm_ig_installing_configuring_dbs.html#cmig_topic_5 cloudera JDBC Driver com 阅读全文

摘要： 发现端口被占用，但是看不到PID通过lsof； 在网上查了一下发现了一条线索： netstat -tulpn 确实发现了一条端口占用，但是PID显示为“-” 再继续搜索，发现原来netstat只能显示当前用户所属的PID，显示为“-”说明它不是当前用户的应用； 于是使用 sudo netstat - 阅读全文