摘要：
数据流重定向简单来说就是把原本应该输出到某处(比如说屏幕)的数据，重定向其输出目的地，到其他的地方（比如文件）。 linux中的输入与输出： 标准输入(stdin)：默认从键盘输入 标准输出(stdout)：执行的正常结果信息，默认输出到屏幕 标准错误输出(stderr)：执行的错误信息，默认输出到 阅读全文
摘要：
当我们登陆linux后，显示的提示字符究竟是什么意思呢？又可不可以设置呢。 首先来看看默认的显示： 可以看到，普通用户和root用户的显示是有差别的。那每个符号又是什么意思呢 ？ fuwh/root：当前登陆的用户。 @localhost：连接的主机名，我是连接的本地的，所以就是localhost了 阅读全文
摘要：
由于在在WebClient中，默认支持对CSS，JavaScript的解析，因此会总是会出现很多错误信息，并且执行速度也很慢。 因此，我们可以选择关闭掉WebClient对CSS，JavaScript的解析。 使用WebClient#getOption()方法，返回一个WebClientOption 阅读全文
摘要：
htmlunit 是一款开源的java 页面分析工具，读取页面后，可以有效的使用htmlunit分析页面上的内容。 项目可以模拟浏览器运行，被誉为java浏览器的开源实现。是一个没有界面的浏览器。 采用的是Rhinojs引擎。模拟js运行。 使用htmlunit抓取网页大概可以分为以下几个步骤： 1 阅读全文
摘要：
jsoup是一款Java的HTML解析器，主要用来对HTML解析。官网 中文文档 在爬虫的时候，当我们用HttpClient之类的框架，获取到网页源码之后，需要从网页源码中取出我们想要的内容， 就可以使用jsoup这类HTML解析器了。可以非常轻松的实现。 虽然jsoup也支持从某个地址直接去爬取网 阅读全文
摘要：
我们知道，正则表达式可以大大的提高我们的工作效率。 在了解正则表达式之前，我们需要了解，通配符的概念。 在linux中，我们在使用ls这个命令的时候经常会使用下面这种用法 可以注意到，我们这里使用了*来代替各种字符的意思。 但是这并不是正则表达式。 在linux中，有很多的命令，如果这些命令支持正则 阅读全文
摘要：
我们在爬取网页的时候，由于需要不断的访问目标服务器，因此给目标服务器带来了很多的压力。 因此，很多访问量大的服务器都会有保护措施，如果检测到我们的行为，可以会禁止我们的ip访问。 这个时候，我们就需要使用到代理ip来进行访问了。 在HttpCLient中，提供了一个org.apache.http.c 阅读全文
摘要：
在Linux中，压缩文件的扩展名主要是：[*.tar,*.tar.gz,*.tgz,*.gz,*.Z,*.bz2]，虽然，我们知道，在LInux中，文件的扩展名没有什么作用，但是由于在Linux中支持的压缩命令非常的多，为了在解压缩的时候知道用那种方式来解压缩，就需要带上特定的扩展名。 扩展名对应的 阅读全文
摘要：
在linux中，所有的文件都是以目录树的形式存在的。而每个发行版的文件存放之间又会有些差别。 这时候，如果我们想看某个命令或者文档的时候就必须先通过某种方式找到改文档的所在位置。 在linux中提供了以下几种方式来查找 ◇which：查找命令 ◇whereis：寻找特定文件 ◇locate：寻找特定 阅读全文
摘要：
在linux中[ln]这个命令用来创建连接文件。 共有两种连接文件：一种是类似与Windows的快捷方式(软链接)，另一种就是通过文件系统的inode来产生的新的文件名(硬链接)。 这里解释下什么叫inode。 我们在讲解[ls]命令的时候，说过[-i]这个选项可以查看到该文档的inode。 其中最 阅读全文