关于软件
蓝天采集器(SkyCaiji),致力于网站数据自动化采集发布,系统采用PHP+Mysql开发,可部署在云端服务器,使数据采集便捷化,智能化,云端化,让您随时随地移动办公。
内容发布
无缝对接各类CMS建站程序,实现免登陆导入数据,支持自定义数据发布插件,也可直接导入数据库、存储为Excel文件、生成API接口等
数据采集
支持多级、多页、分页采集,自定义采集规则(支持正则、XPATH、JSON等)精准匹配任意信息流,几乎能采集所有类型的网页,绝大多数文章类型页面内容可实现智能识别
自动化及云平台
软件实现定时定量全自动采集发布,无需人工干预,内置云平台,用户可分享及下载采集规则,发布供求信息及社区求助、交流等
安装蓝天采集系统
一、安装Mysql
执行命令:
wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm
rpm -ivh mysql-community-release-el7-5.noarch.rpm
执行 yum -y install mysql mysql-server mysql-devel,安装成功。再次使用该命令,然后得到以下信息
打开mysql服务 :CentOS 6 的命令: service mysqld start
CentOS 7 的命令: systemctl start mysqld.service
进入mysql客户端 mysql -u root -p 回车 密码为空 直接回车登录
选择数据库:use mysql;(记得输分号)
修改root用户密码:使用 update
user
set
password
=
password
(
'root'
)
where
user
=
'root'
;
但是5.7版本中不存在password字段,所有我们要用以下修改进行重置密码:update
user
set
authentication_string=
password
(
'root'
)
where
user
=
'root'
;
执行:flush
privileges
;
退出:quit;
重新使用命令 mysql -u root -p 输入你刚才修改的密码(root)显示登录成功
至此mysql数据库安装完毕。
二、安装apache服务
yum install httpd
安装成功后可以执行启动命令:
CentOS 6 的命令: service httpd start
CentOS 7 的命令: systemctl start httpd.service
异常处理:启动服务后无法访问
1)在防火墙中开放80端口 现在需要将 http 服务加入防火墙以允许外部访问,
firewall-cmd --add-service=http --permanent
–permanent 参数表示这是一条永久防火墙规则,如果不加则重启系统后就没有这条规则了
而对于自定义的端口(如81),也需要添加防火墙规则, firewall-cmd --zone=public --add-port=81/tcp --permanent 重启 Firewalld 使该规则生效, systemctl restart firewalld
2)关闭SELINUX
vi /etc/selinux/config
注释掉如下两句,添加最后一项
#SELINUX=enforcing #注释掉
#SELINUXTYPE=targeted #注释掉
SELINUX=disabled #增加
:wq! 保存退出
重启apache服务:
CentOS 6 的命令: service httpd restart
CentOS 7 的命令: systemctl restart httpd.service
输入ip便可直接访问
三、安装php
yum install php php-mysql php-gd libjpeg* php-ldap php-odbc php-pear php-xml php-xmlrpc php-mbstring php-bcmath php-mhash
安装完成后重启apache服务:
CentOS 6 的命令: service httpd restart
CentOS 7 的命令: systemctl restart httpd.service
测试PHP安装结果
vi /var/www/html/index.php
输入如下内容(点击 i 进入编辑模式 文本最下方出现insert表示可以编辑 Esc可退出编辑)
<?php
phpinfo();
?>
输入:wq! 保存退出
在浏览器中输入服务器地址,查看是否可以看到:
四、安装phpmyadmin
1、先安装epel,不然安装pgpmyadmin时会出现找不到包。
yum install epel-release
rpm -ivh http://rpms.famillecollet.com/enterprise/remi-release-7.rpm
使用yum安装phpmyadmin : yum install phpmyadmin php-mcrypt
phpMyAdmin 的默认安装目录是 /usr/share/phpMyAdmin,同时会在 Apache 的配置文件目录中自动创建虚拟主机配置文件 /etc/httpd/conf.d/phpMyAdmin.conf(区分大小写)。默认情况下,CentOS 7上的phpMyAdmin只允许从回环地址(127.0.0.1)访问。为了能远程连接,你需要改动它的配置。
vi /etc/httpd/conf.d/phpMyAdmin.conf
修改配置文件,如下:
重启apache服务使改动生效:service httpd restart
<Directory /usr/share/phpMyAdmin/>
AddDefaultCharset UTF-8
<IfModule mod_authz_core.c>
# Apache 2.4
<RequireAny>
# Require ip 127.0.0.1 #注释掉
# Require ip ::1 #注释掉
Require all granted #新添加
</RequireAny>
</IfModule>
<IfModule !mod_authz_core.c>
# Apache 2.2
Order Deny,Allow
Deny from All
Allow from 127.0.0.1
Allow from ::1
</IfModule>
</Directory>
<Directory /usr/share/phpMyAdmin/setup/>
<IfModule mod_authz_core.c>
# Apache 2.4
<RequireAny>
#Require ip 127.0.0.1 #注释掉
#Require ip ::1 #注释掉
Require all granted #新添加
</RequireAny>
</IfModule>
<IfModule !mod_authz_core.c>
# Apache 2.2
Order Deny,Allow
Deny from All
Allow from 127.0.0.1
Allow from ::1
</IfModule>
</Directory>
输入ip/phpmyadmin即可进入phpMyAdmin管理页面 管理数据库
五、将蓝天采集系统安装包放到/var/www/htlm/下
蓝天采集系统的包http://www.skycaiji.com/
拖拽文件的软件WinSCP很好使(将windows下的大文件直接拖拽到linux下)
六、登录蓝天采集系统
ip/skycaiji
遇到的问题
在配置好环境(APACHE+MYSQL+PHP)后,将程序部署到环境中的时候,访问页面出现前端解析不出页面,缓存写入失败问题。
这个问题我找了两天,问各种人,社区交流,都没有好的解决方案,网上说删掉/runtime/temp/3a2af6ba85c92186c99fb6a7394935af.php文件。但是就是找不到这个文件,就连隐藏文件找了,还是没有。最终解决方案是将skycaiji文件的权限改成777(chmod 777 /var/www/html/skycaiji/)。给了权限后,文件就解决了。