摘要：
在要远程登录别人的服务器中生成授权标识：ssh-keygen -t rsa上传至需被免登录的服务器：scp ~/.ssh/id_rsa.pub root@xx.xx.xx.xx:/root/.ssh/authorized_keys最后即可远程登录 阅读全文
摘要：
因为要配合前端做测试，所以我需要在本机中安装adb驱动，以便可以连接手机进行各种操作。好吧。。。装adb驱动这块当时我没有把流程给做记录。。。郁闷，下次再安装的时候再谷歌吧。使用的简单脚本就是有没有连接设备：adb devices安装应用：adb install -r D://AppStart_20... 阅读全文
摘要：
实际上就是tomcat没有配置的原因先去http://tomcat.apache.org 下载tomcat然后根据http://jingyan.baidu.com/article/8065f87fcc0f182330249841.html进行tomcat的安装然后在eclipse配置tomcatht... 阅读全文
摘要：
1问题背景Flume向kafka发布数据时，发现kafka接收到的数据总是在一个partition中，而我们希望发布来的数据在所有的partition平均分布2解决办法Flume的官方文档是这么说的：KafkaSinkusesthetopicandkeypropertiesfromtheFlumeE... 阅读全文
摘要：
1、继续参加自考，10月11月都有考试的。 临阵磨枪，过一门是一门。2、将那本建模的书看完，对于建模有自己的理解，并在新工作中有所应用。3、新工作中，要将数据体系搭建好了，搭建稳定了，这样将来的工作也会好做了。4、HIVE编程要看完，因为书比较老，看完后，要将2014年后的版本的新特性要进行熟知。5... 阅读全文
摘要：
1、关于存储：1）、可能的话，Spark节点与HDFS节点是一一对应的2）、如果做不到，那至少保证Spark节点与HDFS节点是一个局域网内2、关于硬盘：1）、官方推荐每台机子4-8个硬盘，然后不需要做RAID（因为本身你的硬盘就是用来做），配置spark.local.dir结点啦3、关于内存1）、... 阅读全文
摘要：
1、spark standalone模式下，worker与executor是一一对应的。2、如果想要多个worker，那么需要修改spark-env的SPARK_WORKER_INSTANCES为2，那么开启集群后， 每个节点就是两个worker了，然后启动任务后，每个节点就是两个executor啦... 阅读全文
摘要：
背景：某个Worker节点挂掉了，我们需要将Worker进行启动恢复，同时可以恢复streaming中的executor解决办法：其实很简单，去worker节点中执行sbin/start-slave.sh即可，执行脚本如下：sbin/start-slave.sh10spark://hdp5:7077... 阅读全文
摘要：
启动Spark集群spark@master $ ./sbin/start-all.sh也可以一台一台启动，先启动 masterspark@master $ ./sbin/start-master.sh启动两台 slave，spark@worker01 $ ./sbin/start-slave.sh ... 阅读全文
摘要：
业务背景：需要通过redis判断当前用户是否是新用户。当出现新用户后，会将该用户放入到redis中，以标明该用户已不是新用户啦。出现问题：发现入库时，并没有新用户入库，但我看了数据了，确实应该是有新数据问题原因：因为在判断新用户这一步是在flatmap这一步做的。而flatmap后的RDD，后边会被... 阅读全文