摘要: 1. gevent gevent 是 python 里的一种协程工具,将多个任务同时加入协程,可以减少在 IO 时由于网络等原因出现的时延导致的执行等待问题。IO 进行过程中时,线程会执行其他的代码。 2. 数据流中信息是按照二进制传输的,信息的格式有多种,包括 marshal 和 json,需要按 阅读全文
posted @ 2017-07-21 17:37 hopelee 阅读(187) 评论(0) 推荐(0) 编辑
摘要: 1. 和时间有关的函数和用法 1. 导入 time 模块 import time 2. 设置时间格式 TIMEFORMAT = "%Y-%m-%d %H:%M:%S" 3. time.time() 用于取当前时间,为一个小数,代表从 epoch: 1970 年 1 月 1 日 00:00:00 开始 阅读全文
posted @ 2017-07-19 16:01 hopelee 阅读(481) 评论(0) 推荐(0) 编辑
摘要: 1. 访问df结构中某条记录使用loc或者iloc属性。loc是按照index或者columns的具体值,iloc是按照其序值。访问类似于ndarray的访问,用序列分别表示一维和二维的位置。 例如:missing_data.loc['MasVnrType'] 访问index为'MasVnrType 阅读全文
posted @ 2017-07-06 09:55 hopelee 阅读(382) 评论(0) 推荐(0) 编辑
摘要: 源代码地址:https://github.com/hopebo/hopelee 语言:C++ 517. Super Washing Machines You have n super washing machines on a line. Initially, each washing machin 阅读全文
posted @ 2017-07-04 21:06 hopelee 阅读(439) 评论(0) 推荐(0) 编辑
摘要: Hadoop 版本2.8.0 前期准备工作: 1. 设置用户环境变量 PATH 和 CLASSPATH 方便执行 Hadoop 命令时不用转移到对应的目录下,shell 除了会在当前目录下还会到 PATH 指定位置寻找可执行文件。 使用 javac 命令编译 .java 文件时,如果没有指定 -cl 阅读全文
posted @ 2017-06-28 16:50 hopelee 阅读(2536) 评论(0) 推荐(0) 编辑
摘要: 1. 创建 java 文件名需与类名一致。 2. 执行命令 javac 和 java javac 后面跟着的是 java 文件的文件名,例如 helloword.java。该命令用于将 java 源文件编译成 class 字节码文件,如 javac helloword.java。 运行 javac 阅读全文
posted @ 2017-06-22 16:05 hopelee 阅读(201) 评论(0) 推荐(0) 编辑
摘要: 1. 察看hdfs文件系统运行情况 bin/hdfs dfsadmin -report 2. 为了方便执行 HDFS 的操作指令,我们可以将需要的 Hadoop 路径写入环境变量中,便于直接执行命令。 如原本需要在 Hadoop 的安装路径下:bin/hadoop fs -ls / 才能执行的命令。 阅读全文
posted @ 2017-06-22 09:10 hopelee 阅读(1190) 评论(0) 推荐(0) 编辑
摘要: 1. ssh远程连接服务器命令 ssh [username@]hostname 2. 查看远程服务器近期登陆记录 last 3. 用户及其主目录的创建 1. useradd –d /home/lb -m 用户名 可以创建一个名为lb的用户,主目录为/home/lb,选项-m表示如果主目录不存在则创建 阅读全文
posted @ 2017-06-19 17:49 hopelee 阅读(1089) 评论(0) 推荐(0) 编辑
摘要: 实验条件:3台centos服务器,jdk版本1.8.0,Hadoop 版本2.8.0 注:hadoop安装和搭建过程中都是在用户lb的home目录下,master的主机名为host98,slave的主机名分别是host99和host101。 1. ssh远程连接服务器 ssh [username]@ 阅读全文
posted @ 2017-06-19 17:48 hopelee 阅读(3195) 评论(0) 推荐(0) 编辑
摘要: 你可以整天驾驶汽车而不用知道如何修理它们,但是如果你希望当一个维护员,你就需要知道事情是如何运作的。同样的事情也发生在了 Mac OS X 上;你可以一直使用 Mac 而不用知道如何修理它,但是如果你想对系统做一些维护或解决一些问题,那么你需要知道如何使用 command-line。 1 为什么要使 阅读全文
posted @ 2017-06-19 17:03 hopelee 阅读(60698) 评论(0) 推荐(5) 编辑