摘要：
简介 使用套接字进行网络编程。 网络编程 使用 模块的 函数，可以创建套接字。 模块函数 要创建套接字，必须使用 函数，语法如下： 其中， 是`AF_UNIX AF_INET socket_type SOCK_STREAM SOCK_DGRAM protocol 0`。 导入模块 创建 套接字 创建 阅读全文
摘要：
简介 正则表达式 是包含文本和特殊字符的字符串, 为高级的文本模式匹配, 抽取, 与文本形式的搜索和替换功能提供了基础 通过标准库 模块来支持正则表达式 模式匹配的两种方法完成 匹配(模式匹配) 搜索( ) 匹配( ) 特殊符号和字符 元字符指正则表达式中的特殊符号和字符。 符号 | 符号 | 描述 阅读全文
摘要：
卸载vsftpd出错 解决 阅读全文
摘要：
the import java.util cannot be resolved 导入JRE System Library. 右键项目 Build Path Configure Build Path... (点击后打开 Properties for ProjectName 对话框, ProjectNa 阅读全文
摘要：
```c#
// he 是HtmlElement对象
// GetAttribute("class") 一直取空值
he.GetAttribute("className")
``` 阅读全文
摘要：
user agent "点击获取更多" 阅读全文
摘要：
```python
import datetime
datetime.datetime.now().year
datetime.datetime.now().month
datetime.datetime.now().day # 示例
ubuntu@ThinkCentre:~$ python3
Python 3.5.2 (default, Nov 17 2016, 17:05:23) [GCC... 阅读全文
摘要：
[TOC] 安装Scrapy出错 安装 使用pip安装(Ubuntu) 错误信息 使用pip安装Scrapy时: 解决方法 "点击查看原文" 可能的原因: 缺少依赖库. for Ubuntu python2 python3 `sudo apt get install build essential 阅读全文
摘要：
[TOC] 安装Scrapy出错 安装 使用pip安装(Ubuntu) 错误 cryptography安装出错 使用pip安装Scrapy时: 解决方法 "点击查看原文" 可能的原因: 缺少依赖库. for Ubuntu python2 python3 `sudo apt get install b 阅读全文
摘要：
VMware全屏时, 隐藏上方横条 菜单栏打开 编辑 选择 首选项 找到 显示 取消勾选 在全屏时取消固定时显示工具栏边缘 阅读全文
摘要：
[TOC] HDFS 常用命令 ls cat put: 上传本地文件到HDFS 例如复制当前文件夹下的 文件到 中的 命令为: get: 从HDFS获取文件到本地 例如复制 中`/user/bovenson/input`目录下所有文件, 到当前目录下: mkdir mv rm `hdfs dfs r 阅读全文
摘要：
[TOC] 简单的java Hadoop MapReduce程序(计算平均成绩)从打包到提交及运行 程序源码 编译 命令 依赖错误 如果出现如下错误: 尝试修改环境变量 然后重复上述编译命令. 打包 编译之后会生成三个class文件: 使用 程序打包class文件. 会生成 文件. 提交运行 样例输 阅读全文
摘要：
后台启动程序并重定向输出信息脚本 新建文件 , 写入下面代码. 说明 将标准输出( )重定向到空设备文件,也可以重定向到文件,即将标准输出输出到指定文件(例如: ) 把标准错误( )输出重定向到标准输出( ), 也可以重定向到其他位置. 将程序设置在后台运行 使用 首先更改权限 将文件 放到环境变量 阅读全文
摘要：
tar 新建一个tar文档 tgz格式通常也写作tar.gz 查看tar文档内容 解压tar文档 解压到当前工作路径 解压到指定目录 示例 阅读全文
摘要：
[TOC] 标识符 可用的字符 处理括号类字符,分隔符之外,其他所有的可打印的ASCII字符,如字母,数字,下划线和美元符号($)均可出现在Scala标识符中 插入符包括了(,) [,] {,and} 分隔符包括 \` ' " . ; ,等 Scala还允许在标识符中使用编码在 \u0020到\u0 阅读全文
摘要：
[TOC] Spark:一个独立应用 关于构建 Java和Scala 在Java和Scala中,只需要给你的应用添加一个对于spark core的Maven依赖. Python 在Python中,可以把应用写成脚本,然后使用Spark自带的bin/spark submit脚本来运行.spark su 阅读全文
摘要：
[TOC] 保留字 | 保留字 | 说明 | | | | | abstract | 抽象声明 | | case | match表达式中的case子句;定义一个case类 | | catch | 捕捉抛出的异常 | | class | 声明一个类 | | def | 定义一个方法 | | do | 用 阅读全文
摘要：
Spark:使用Spark Shell的两个示例 Python 行数统计 注意： 使用的是Hadoop的HDFS作为持久层，需要先配置Hadoop 命令行代码 如果运行出错,可以排查如下情况： Spark没有运行 没有放在对应的文件 结果示例 Scala 行数统计 命令及结果示例 阅读全文
摘要：
Spark工作机制 主要模块 调度与任务分配 I/O模块 通信控制模块 容错模块 Shuffle模块 调度层次 应用 作业 Stage Task 调度算法 FIFO FAIR(公平调度) Spark应用执行机制 总览 Spark应用提交后经历了一系列的转换,最后成为Task在每个节点上执行. RDD 阅读全文
摘要：
Spark:控制日志输出级别 终端修改 在 终端可使用下面命令来改变日志级别 修改日志设置文件 通过调整日志的级别来控制输出的信息量.减少 使用过程中在终端显示的日志. 切换当前路径到Spark安装路径 拷贝一份日志设置文件的模板文件 找到下面一行内容 改为如下 `log4j.rootCategor 阅读全文