摘要:
如何跟踪论文的作者? 参考:http://muchong.com/html/201501/8466798.html 1、谷歌学术,可以搜到镜像网站如 http://dir.scmor.com/google/ https://g.chenjx.cn 2、百度学术 3、Researchgate 4、sc 阅读全文
摘要:
1、mapreduce任务可以用linux上的crontab来执行定时任务 用crontab执行定时任务时注意:手动运行脚本会执行,可是定时就不行。原因:应该重新指定环境变量 2、spark任务还可以用sparkStreamingContext来设置,spark任务执行时间间隔,来执行定时任务。 两 阅读全文
摘要:
http://blog.csdn.net/alivetime/article/details/6288446 http://blog.csdn.net/wzq294328238/article/details/48054525 当设置了extraClassPath后,在spark上运行spark-s 阅读全文
摘要:
加州理工学院公开课:机器学习与数据挖掘:http://open.163.com/special/opencourse/learningfromdata.html 机器学习:那些具体的算法,得到精确模型,统行学家又称为统计学习 数据挖掘:数据库,数据清洗,数据可视化 深度学习:在图像,语音,富媒体取得 阅读全文
摘要:
一、HBase相关概念 HFile是HBase专用的HDFS文件格式。域服务器中的HFile实现负责从HDFS读取HFile,以及将HFile写入到HDFS。 分布式的HBase实例依赖于处在运行状态的Zookeeper集群。 默认情况下,HBase管理一个Zookeeper集群(HBase将Zoo 阅读全文
摘要:
http://bbs.qcloud.com/forum.php?mod=viewthread&tid=21062&page=1 外网登录端口3389是否开启 在腾讯云安全策略里面查看,设置安全组,默认是全部开放的 阅读全文
摘要:
http://bbs.qcloud.com/thread-11554-1-1.html ubuntu 默认没有激活root 要激活比较简单,就是在root权限下为root设置一下密码 sudo passwd root 设置密码即可 如果要ssh远程登录,则更改配置 sudo vi /etc/ssh/ 阅读全文
摘要:
1、安装jdk 2、安装scala,更改/etc/profile 加入: export SCALA_HOME=/root/bigData/scala-2.11.8 export PATH=${SCALA_HOME}/bin:$PATH source /etc/profile 生效 测试:直接输入sc 阅读全文
摘要:
HDFS:Hadoop分布式文件系统 特性:1、可扩展,高性能,适用于特定类型的应用,不是通用的分布式文件系统。 2、HDFS针对高速流式读取,对随机查找性能差 3、支持写入、删除、追加和读取,不支持更新。它假定的应用场景是数据一次性写入HDFS,然后多次读取(访问模型)。 4、HDFS不提供本地数 阅读全文
摘要:
1、遇到错误,认真查看日志,这才是解决问题的王道啊! 不过很多时候,尤其是开始摸索的时候,一下要接触的东西太多了,学东西也太赶了,加上boss不停的催进度,结果欲速则不达,最近接触大数据,由于平台是别人搭建的,搭没搭好不知道,也不清楚细节,出了问题也不知道是自己这边的还是平台的问题。有的时候就是小问 阅读全文