摘要：
http://www.chinahadoop.cn/page/developer什么是大数据开发师？围绕大数据系平台系统级的研发人员， 熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算，并能够使用Hadoop提... 阅读全文
摘要：
/etc/profile系统环境配置，修改该文件对整个系统所有用户有效，必须重启才能生效~/.bashrc每次执行shell都会被执行一次，是属于用户的，非系统的优先级问题，个人设置会覆盖系统设置 阅读全文
摘要：
hdfs默认基本存储单元为64mb，hdfs的块比磁盘的块大得多，是为了减少寻址开销。如块大小是100mb，寻址时间在10ms，传输速率是100mb/s，则寻址时间是传输时间的1%HDFS适合做：存储大文件。上G、T甚至P。一次写入，多次读取。并且每次作业都要读取大部分的数据。搭建在普通商业机群上就... 阅读全文
摘要：
iostream,ostrem,iostrem是类cin,cout,ceer,clog是标准流对象cout>stu1.name>>stu1.id>>stu1.sex;int num;输出格式控制，hex十六进制，oct八进制，dec十进制cout<<hex<<num<<' '<<dec<<num<<... 阅读全文
摘要：
根据数据组织的形式，文件分为两种类型：文本文件，二进制文件文本文件，即ASCII文件，每个字节存放一个ASCII码，表示一个字符；好处是方便阅读，缺点是占用存储空间大例如对于整数65535，用ASCII码的形式，需要5个字节。而如果使用二进制格式，只要2个字节。1111 1111 1111 1111... 阅读全文
摘要：
Hadoop典型应用有：搜索、日志处理、推荐系统、数据分析、视频图像分析、数据保存等Hadoop的核心是HDFS和mapreduce,两者只是理论基础，不是具体可使用的高级应用，Hadoop旗下有很多经典子项目，比如HBase、Hive等，这些都是基于HDFS和MapReduce发展出来的。mapr... 阅读全文
摘要：
ｃｄ：打开文件夹ｄｉｒ：查看文件夹下的目录，相当于ｌｉｎｕｘ下的ｌｓｍｄ：新建文件夹ｒｄ：删除文件夹ｃｏｐｙ：复制文件ｍｏｖｅ：移动文件 阅读全文
摘要：
jdk：java development kitjdk两个版本：oracle jdk (sun jdk），简称jdkopenjdkoracle jdk与 openjdk的区别：协议不同，openjdk 用GPL V2协议，oracle jdk采用JRL协议 ; GPL V2允许商业使用，JRL只允许... 阅读全文
摘要：
def singleton(lock): try: fcntl.flock(lock, fcntl.LOCK_EX | fcntl.LOCK_NB) except: print 'ho' exit(0)在guyang的util.py中的一段代码.... 阅读全文
摘要：
（1）为了操作方便，需获取root权限，否则每次sudo 然后输入密码，较为麻烦默认的root密码是随机的，设置新的root密码的方法: sudo passwd设置了新的密码后，su root 切换到root权限用户（2）haoop要求的是sun jdk， openjdk不可以 阅读全文