摘要：Nutch采用了一种命令的方式进行工作，其命令可以是对局域网方式的单一命令也可以是对整个Web进行爬取的分步命令。主要的命令如下： 1. Crawl Crawl是“org.apache.nutch.crawl.Crawl”的别称，它是一个完整的爬取和索引过程命令。 使用方法： Shell代码 bin/nutch crawl <urlDir> [-dir d] [-threads n] [-depth i] [-topN] bin/nutch crawl <urlDir> [-dir d] [-threads n] [-depth i] [-topN] 参数说明： < 阅读全文

摘要：Nutch作为一款刚刚诞生的开源Web搜索引擎，提供了除商业搜索引擎外的一种新的选择。个人、企业都可通过Nutch来构建适合于自身需要的搜索引擎平台，提供适合于自身的搜索服务，而不必完全被动接收商业搜索引擎的各种约束。Nutch 是基于Lucene的。Lucene为 Nutch 提供了文本索引和搜索的API。如果你不需要抓取数据的话，应该使用Lucene。常见的应用场合是：你有数据源，需要为这些数据提供一个搜索页面。在这 种情况下，最好的方式是直接从数据库中取出数据并用Lucene API建立索引。Nutch 适用于你无法直接获取数据库中的数据网站，或者比较分散的数据源的情况下使用。Nutch 阅读全文

摘要：任务调度的crond常驻命令 crond 是linux用来定期执行程序的命令。当安装完成操作系统之后，默认便会启动此任务调度命令。crond命令每分锺会定期检查是否有要执行的工作，如果有要执行的工作便会自动执行该工作。而linux任务调度的工作主要分为以下两类： 1、系统执行的工作：系统周期性所要执行的工作，如备份系统数据、清理缓存 2、个人执行的工作：某个用户定期要做的工作，例如每隔10分钟检查邮件服务器是否有新信，这些工作可由每个用户自行设置 Crontab是UNIX系统下的定时任务触发器，其使用者的权限记载在下列两个文件中： 文件 含义 /etc/cron.deny ... 阅读全文

摘要：今天同事A找到我，说是Mysql server X的负载很高，查询很慢。他自己捣鼓了一阵未果后，我们一起看了下。[root@redhat var]# uname -aLinux xxx 2.6.18-128.el5 #1 SMP Wed Dec 17 11:41:38 EST 2008 x86_64 x86_64 x86_64 GNU/Linux[root@redhat var]# mysql -u root -p -e "select version();"+------------+| version() |+------------+| 5.1.32-log |+-- 阅读全文

摘要：对Unix，Linux类服务器维护经常是通过ssh完成的，而有些操作比较费时，如更新程序等。此时如果断开ssh连接的话，更新程序就会随之被中断。如何保证断开ssh后仍旧能保持更新进程的运行呢？有两种方法：（1）nohup#nohup 应用程序名 &此后，如果你断开了ssh，程序依旧运行。此种方式的缺点是，应用程序没有交互界面了，程序的输出将会输出的一个xxx.out文件中，而且以后无法在界面控制程序的结束。必须通过kill的方式。所以这种方式显得很简单粗鲁，很少使用。(http://www.my400800.cn )（2）screen#screen回车后进入Screen子界面，此时pu 阅读全文

摘要：.tar 解包：tar xvf FileName.tar 打包：tar cvf FileName.tar DirName （注：tar是打包，不是压缩！） ——————————————— .gz 解压1：gunzip FileName.gz 解压2：gzip -d FileName.gz 压缩：gzip FileName.tar.gz 和 .tgz 解压：tar zxvf FileName.tar.gz 压缩：tar zcvf FileName.tar.gz DirName ——————————————— .bz2 解压1：bzip2 -d FileName.bz2 解压2：bunzip2 . 阅读全文