关于软件

蓝天采集器(SkyCaiji),致力于网站数据自动化采集发布,系统采用PHP+Mysql开发,可部署在云端服务器,使数据采集便捷化,智能化,云端化,让您随时随地移动办公。

内容发布

无缝对接各类CMS建站程序,实现免登陆导入数据,支持自定义数据发布插件,也可直接导入数据库、存储为Excel文件、生成API接口等

数据采集

支持多级、多页、分页采集,自定义采集规则(支持正则、XPATH、JSON等)精准匹配任意信息流,几乎能采集所有类型的网页,绝大多数文章类型页面内容可实现智能识别

自动化及云平台

软件实现定时定量全自动采集发布,无需人工干预,内置云平台,用户可分享及下载采集规则,发布供求信息及社区求助、交流等

 

安装蓝天采集系统

一、安装Mysql

执行命令:

 wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm 

 rpm -ivh mysql-community-release-el7-5.noarch.rpm

执行 yum -y install mysql mysql-server mysql-devel,安装成功。再次使用该命令,然后得到以下信息

打开mysql服务 :CentOS 6 的命令:   service mysqld start

                             CentOS 7 的命令:   systemctl start mysqld.service

进入mysql客户端 mysql -u root -p  回车 密码为空  直接回车登录

选择数据库:use mysql;(记得输分号)

修改root用户密码:使用 update user set password=password('root'where user='root';

但是5.7版本中不存在password字段,所有我们要用以下修改进行重置密码:update user setauthentication_string=password('root'where user='root';

执行:flush privileges;

退出:quit;

重新使用命令 mysql -u root -p  输入你刚才修改的密码(root)显示登录成功

至此mysql数据库安装完毕。

二、安装apache服务

yum install httpd 

安装成功后可以执行启动命令:

        CentOS 6 的命令:   service httpd start

                             CentOS 7 的命令:   systemctl start httpd.service

异常处理:启动服务后无法访问

1)在防火墙中开放80端口 现在需要将 http 服务加入防火墙以允许外部访问,

firewall-cmd --add-service=http --permanent

–permanent 参数表示这是一条永久防火墙规则,如果不加则重启系统后就没有这条规则了

而对于自定义的端口(如81),也需要添加防火墙规则, firewall-cmd --zone=public --add-port=81/tcp --permanent 重启 Firewalld 使该规则生效, systemctl restart firewalld

2)关闭SELINUX

vi /etc/selinux/config

注释掉如下两句,添加最后一项

#SELINUX=enforcing  #注释掉

#SELINUXTYPE=targeted  #注释掉

SELINUX=disabled #增加

:wq!  保存退出

重启apache服务:

        CentOS 6 的命令:   service httpd restart

                             CentOS 7 的命令:   systemctl restart httpd.service

  输入ip便可直接访问

三、安装php

yum install php php-mysql php-gd libjpeg* php-ldap php-odbc php-pear php-xml php-xmlrpc php-mbstring php-bcmath php-mhash

安装完成后重启apache服务:

        CentOS 6 的命令:   service httpd restart

                             CentOS 7 的命令:   systemctl restart httpd.service

测试PHP安装结果

vi /var/www/html/index.php

输入如下内容(点击 i 进入编辑模式  文本最下方出现insert表示可以编辑   Esc可退出编辑)

<?php

  phpinfo();

?>

输入:wq! 保存退出

在浏览器中输入服务器地址,查看是否可以看到:

四、安装phpmyadmin

1、先安装epel,不然安装pgpmyadmin时会出现找不到包。

yum install epel-release

rpm -ivh http://rpms.famillecollet.com/enterprise/remi-release-7.rpm

使用yum安装phpmyadmin :  yum install phpmyadmin php-mcrypt

phpMyAdmin 的默认安装目录是 /usr/share/phpMyAdmin,同时会在 Apache 的配置文件目录中自动创建虚拟主机配置文件 /etc/httpd/conf.d/phpMyAdmin.conf(区分大小写)。默认情况下,CentOS 7上的phpMyAdmin只允许从回环地址(127.0.0.1)访问。为了能远程连接,你需要改动它的配置。

vi /etc/httpd/conf.d/phpMyAdmin.conf

修改配置文件,如下:

重启apache服务使改动生效:service httpd restart

<Directory /usr/share/phpMyAdmin/>
AddDefaultCharset UTF-8

<IfModule mod_authz_core.c>
# Apache 2.4
<RequireAny>
# Require ip 127.0.0.1 #注释掉
# Require ip ::1 #注释掉
Require all granted #新添加
</RequireAny>
</IfModule>
<IfModule !mod_authz_core.c>
# Apache 2.2
Order Deny,Allow
Deny from All
Allow from 127.0.0.1
Allow from ::1
</IfModule>
</Directory>

<Directory /usr/share/phpMyAdmin/setup/>
<IfModule mod_authz_core.c>
# Apache 2.4
<RequireAny>
#Require ip 127.0.0.1 #注释掉
#Require ip ::1 #注释掉
Require all granted #新添加
</RequireAny>
</IfModule>
<IfModule !mod_authz_core.c>
# Apache 2.2
Order Deny,Allow
Deny from All
Allow from 127.0.0.1
Allow from ::1
</IfModule>
</Directory>

输入ip/phpmyadmin即可进入phpMyAdmin管理页面  管理数据库

五、将蓝天采集系统安装包放到/var/www/htlm/下

蓝天采集系统的包http://www.skycaiji.com/

拖拽文件的软件WinSCP很好使(将windows下的大文件直接拖拽到linux下)

六、登录蓝天采集系统

ip/skycaiji

 

 

 

遇到的问题

在配置好环境(APACHE+MYSQL+PHP)后,将程序部署到环境中的时候,访问页面出现前端解析不出页面,缓存写入失败问题。

这个问题我找了两天,问各种人,社区交流,都没有好的解决方案,网上说删掉/runtime/temp/3a2af6ba85c92186c99fb6a7394935af.php文件。但是就是找不到这个文件,就连隐藏文件找了,还是没有。最终解决方案是将skycaiji文件的权限改成777(chmod 777 /var/www/html/skycaiji/)。给了权限后,文件就解决了。

 

posted on 2019-09-03 11:43  汩汩-咕咚  阅读(2248)  评论(1编辑  收藏  举报