摘要：
最近还是看到很多人在学习大数据，培训大数据。但是我想说大数据”已死“不是瞎说。 自己之前没有时间写博客想写一些东西给后来要从事软件开发一些发展参考。毕业普通学院。到后来求职转大数据，开始学习在服务器搭建大数据集群.搭建的软件都是开源的且都是当时最火的大数据软件。软件例如:CDH,hadoop,spa 阅读全文
摘要：
1.Group类 2.User类 3.Weibo 4.JsonDemo 类 5.maven依赖 或导这个报也可以 阅读全文
摘要：
1：压缩命令:zip 2：.gz压缩，不能压缩目录，会压缩目录里的文件 3：.bz2压缩，不能压缩目录，直接报错 打包命令tar,解决了目录压缩问题 1:打包命令tar。源文件不会删除，之后将压缩文件再压缩其他格式(相当先打包，再压缩) 2:一步到位压缩 -t： 查看压缩文件内容 *指定解压缩位置: 阅读全文
摘要：
1:文件搜索命令:locate 文件名搜索速度快,缺点不能复杂的搜索。在数据库(/var/lib/mlocate)查找。它是一天一更新。可以强制更新数据库:updatedb 2:搜索命令的命令：whereis [-b只查找可执行文件] [-m只查找帮助文件] 3：文件搜索命令：find [搜索范围] 阅读全文
摘要：
1:-rw-r--r-- 第一位"-"表示文件类型("-"文件,"d"表示目录,"|"软连接，相当win7的快捷方式) 总共7种文件，剩下4种为系统 2:r表示:读， w表示:写 ，x表示:写. 3:"-rw-r--r--" 去掉最前面的"-"。分为三组。"rw-"为所有者，"r--"为所属组，"r 阅读全文
摘要：
1：通配符 2:UI伪类选择器 3:结合元素选择器: 例如: a.class{} 4:多类选择器 例如: .class.class{} 5:属性选择器 例如: [title]{} A：在css中定义图片相对路径 B.对应文件结构 C:下面display为什么要加important 加!importa 阅读全文
摘要：
1.问题复现 2.解决方式 3.可以修改编辑 阅读全文
摘要：
zookeeper的配置 日志自动清理这两个参数都是在zoo.cfg中配置的： autopurge.purgeInterval 这个参数指定了清理频率，单位是小时，需要填写一个1或更大的整数，默认是0，表示不开启自己清理功能。 autopurge.snapRetainCount 这个参数和上面的参数 阅读全文
摘要：
zooKeeper和kafka安装的都是apache的。业务需要对kafka监控，网上有很多，但这里里面有坑。 我这边使用过下面三种jar包(下面的jar包只需要一个且只在一个安装过zookeeper节点上运行即可) KafkaOffsetMonitor-assembly-0.4.6.jar Kaf 阅读全文
摘要：
下面是经常使用到的，以此记录备忘 1.查看hadoop目录 2.创建目录 3.将文件上传hadoop中(也就是hdfs中)。下面是上传文件t1.txt到hadoop里 spark工作时有时会使用到 阅读全文
摘要：
修改slaves和spark-env.sh文件slaves spark-env.sh 阅读全文
摘要：
修改hbase-env.sh 禁用自带zookeeper 修改regionservers 新建backup-masters 将HADOOP_HOME/etc/conf下hdfs-site.xml，core-site.xml拷贝到/usr/local/hbase-1.2.4/conf下 启动 在had 阅读全文
摘要：
Ⅰ.hadoop 安装配置 1）目录位置: /usr/local/hadoop/hadoop-2.7.3/etc/hadoop hadoop-env.sh core-site.xml 3)hdfs-site.xml 4)cat mapred-site.xml （ mv mapred-site.xml 阅读全文