摘要: spark web UI: http://xxx.xx.xxx:8180/ HBASE web: http://10.3.9.135:16010/master-status HADOOP: xxx.xx.xxx:8088 Hadoop资源管理 xxx.xx.xxx:50070 HDFS文件管理,节点 阅读全文
posted @ 2016-08-24 09:37 鎏鑫岁月 阅读(216) 评论(0) 推荐(0) 编辑
摘要: 列出表:list 获取表描述:describe 'CityWeather' 例子: 这里只有一列,列族名为cf,qualifier是在插入数据时指定的所以没有在表的描述里面 浏览表:scan ‘CityWeather’ , {VERSIONS => 10}浏览最近更新的前十个版本 scan ‘Cit 阅读全文
posted @ 2016-08-22 11:22 鎏鑫岁月 阅读(717) 评论(0) 推荐(0) 编辑
摘要: 问题1:java -jar xxx.jar,运行jar包没有主属性清单 解决:打开压缩包打开文件夹META-INF,找到MANIFEST.MF文件,增加: Main-Class: hadoop.HdfsTest(注意:冒号后面要有个空格,不然会提示invalid or corrupt jarfile 阅读全文
posted @ 2016-08-22 09:49 鎏鑫岁月 阅读(503) 评论(0) 推荐(0) 编辑
摘要: 遇到问题:开始在ubuntu用户下安装jdk,tomcat,tomcat默认8080端口能访问,我改成80就不能访问了,又改成8080还是不能,纳闷了不知道什么原因,坑 腾讯云真的有点慢访问,不知道为什么,第一次访问8080或80时很慢,而阿里云不会这样,所以有的时候都不知道它连上没有,第一次连上了 阅读全文
posted @ 2016-08-19 22:43 鎏鑫岁月 阅读(17011) 评论(0) 推荐(0) 编辑
摘要: 上传文件到hdfs上:hadoop fs -put 本地 hdfs目录 阅读全文
posted @ 2016-08-19 16:14 鎏鑫岁月 阅读(110) 评论(0) 推荐(0) 编辑
摘要: 安装Mysql,更新软件列表:apt-get update 安装mysql-sever:apt-get install mysql-server 安装mysql-client:apt-get install mysql-client(提供命令行操作,还有其它功能吧) 安装开发库:apt-get in 阅读全文
posted @ 2016-08-18 22:48 鎏鑫岁月 阅读(193) 评论(0) 推荐(0) 编辑
摘要: 开发了一个web应用好久没看了,都又不知道怎么回事了,怎么当时没有记呢,现在记一下吧。 1、安装eclipse与tomcat,这两个都是解压缩就安装,然后配置相应的环境变量。 2、打开eclipse,window-> perference,配置server->runtime environment, 阅读全文
posted @ 2016-08-18 01:59 鎏鑫岁月 阅读(516) 评论(0) 推荐(0) 编辑
摘要: getFragmentManager到的是activity对所包含fragment的Manager,而如果是fragment嵌套fragment,那么就需要利用getChildFragmentManager()了。getFragmentManager到的是activity对所包含fragment的M 阅读全文
posted @ 2016-08-11 11:29 鎏鑫岁月 阅读(1467) 评论(0) 推荐(0) 编辑
摘要: Spark+hadoop+mllib及相关概念与操作笔记 作者: lw 版本: 0.1 时间: 2016-07-18 1、调研相关注意事项 a) 理解调研 调研的意义在于了解当前情况,挖掘潜在的问题,解决存在的疑问,并得到相应的方案。 b) 调研流程 首先明确和梳理现有的疑问是什么,要通过调研解决什 阅读全文
posted @ 2016-08-09 17:24 鎏鑫岁月 阅读(602) 评论(0) 推荐(0) 编辑
摘要: Spark comes with several sample programs. Scala, Java, Python and R examples are in the examples/src/main directory. To run one of the Java or Scala s 阅读全文
posted @ 2016-07-20 10:24 鎏鑫岁月 阅读(202) 评论(0) 推荐(0) 编辑