摘要： 一、设置HDFS不进行权限检查 默认的HDFS上的文件类似于Linux中的文件，是有权限的。例如test用户创建的文件，root用户如果没有写权限，则不能进行删除。 有2种办法进行修改，修改文件的权限。或者设置不进行HDFS的权限检查，在hdfs-site.xml中添加： <property> <n 阅读全文

摘要： 原文链接： http://www.linuxidc.com/Linux/2014-06/103551.htm MySQL没有实现Minus和Intersect功能，就像它也没有实现cube的功能一样。 可以用SQL实现同样的功能,就是麻烦了点。 drop table t1; drop table t 阅读全文

摘要： 类似查出某个机构下所有的子机构，可用递归的方式实现。但MySQL不支持递归，可以考虑用如下的方式来实现递归调用。 第一种，临时表方式，使用函数每次查出子机构，再可以和其他表联查。 第二种，新建一张表，列举出机构和子机构的关系，适合于机构数量不多的情况。 第三种，较为通用的情况。使用hierarchy 阅读全文

摘要： Eclipse不去掉对JS文件的Validation，编译时会花费很长的时间，有时甚至会导致编译失败。 可以按照如下的方式去掉对JS文件的Validation。 一、window->preference->Java Script->Validator->Errors/Warnings->Enable 阅读全文

摘要： 一、设置无密码sudo权限，不用在普通用户和root用户间来回切换 chmod u+w /etc/sudoers vim /etc/sudoers #首行添加如下的内容： hadoop ALL=(root)NOPASSWD:ALL 再执行chmod u-w /etc/sudoers 设置成功，测试： 阅读全文

摘要： 一、es运行状态的监控 es长时间批量入库时，需要对入库的性能进行监控，否则可能导致es重启，入库任务失败。 可以编写shell脚本，每分钟用cat命令监控pending的数量，数量逐渐增大时就需要注意。 还可以监控translog文件的大小，当translog文件不断增大，而不新建新的transl 阅读全文

摘要： 云帆大数据视频学习笔记，记录如下。 一、主机名设置的规范 /etc/hosts文件中添加如下的记录： 192.168.1.128 hadoop-yarn.cloudyhadoop.com had-yarn 需要注意的地方： 1.顺序问题，带域名的主机名在前，短主机名在后 2.不能出现大写字母 3.不 阅读全文

摘要： 一、安全问题 前段时间网上看到的，大量的MongoDB服务器和ElasticSearch服务器被黑客攻击，留下勒索信息。 ElasticSearch的2种客户端连接方式，transport方式默认的9300端口，rest方式默认的9200端口。如果端口不修改，对外面的访问基本是透明的。 自己觉得可行 阅读全文

摘要： drop后的表被放在回收站(user_recyclebin)里，而不是直接删除掉。这样，回收站里的表信息就可以被恢复，或彻底清除。 1.通过查询回收站user_recyclebin获取被删除的表信息，然后使用语句 flashback table <user_recyclebin.object_nam 阅读全文

摘要： 原文链接：http://www.cnblogs.com/Anker/p/3265058.html select，poll，epoll都是IO多路复用的机制。I/O多路复用就通过一种机制，可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或者写就绪），能够通知程序进行相应的读写操作。但select， 阅读全文