摘要:
如何在Eclipse中屏蔽日志 阅读全文
摘要:
情况1: hive> create table users(id int, name string); hive> load data local inpath '/usr/local/users.txt' into table users; 其中“/usr/local/users.txt”的内容为 阅读全文
摘要:
问题: [root@master conf]# flume-ng version Error: Could not find or load main class org.apache.flume.tools.GetJavaProperty 解决方法: 将Hbase的配置文件hbas-env.sh修 阅读全文
摘要:
在Hadoop1中NameNode存在一个单点故障问题,如果NameNode所在的机器发生故障,整个集群就将不可用(Hadoop1中虽然有个SecorndaryNameNode,但是它并不是NameNode的备份,它只是NameNode的一个助理,协助NameNode工作,SecorndaryNam 阅读全文
摘要:
问题:用SecureCRT远程连接至Spark集群,启动spark-shell却发现输错命令后却无法用退格键删除。 解决方法: 第一步: 在SecureCRT的菜单栏选择“OPtions(选项)”按钮,在弹出的选项中选择“Session Options(会话选项)” 第二步: 在弹出的对话框中选择左 阅读全文
摘要:
2.4 小试牛刀:Spark shell和SparkContext 本章使用的资料来自加州大学欧文分校机器学习资料库(UC Irvine Machine Learning Repository),这个资料库为研究和教学提供了大量非常好的数据源, 这些数据源非常有意义,并且是免费的。由于网络原因,无法 阅读全文
摘要:
同时打开了两个SecureCRT的终端界面,其中一个已经进入了Spark-shell,在另一个SecureCRT界面中执行 "spark-shell --master yarn --deploy-mode client < cha02.scala" 时报错,如下: [root@master test 阅读全文
摘要:
由于需要首次手动安装sbt,需要联网,故将虚拟机的网络适配器模式设置为"桥接模式",这样就可以和互联网相连接。 但是后面执行"spark-shell --master yarn --deploy-mode client" 命令时,无法启动,一直停留在中间状态不动, 如下: [root@master 阅读全文
摘要:
在类Unix系统上,可以在scala文件中开头第一行指定脚本的解释程序。如下例: 先输入chmod +x Script.scala,确保对Script.scala文件有执行权限。然后执行此文件,在命令行上输入./Script.scala Buddy (说明:此处,Buddy是传给脚本的参数) 输出如 阅读全文