django+nginx+uwsgi+django

本地开发一个新闻站的数据分析平台,花三天时间终于成功部署在linux平台上。

几年前,实施过linux的web服务器,对linux的操作只了解一些皮毛,这次部署也是按部就班、战战兢兢,参考了许多网友大牛的技术资料,也踩过了好多坑,现在整理一下。

基础条件:centos7.8

1.系统更新,安装基础环境

yum update -y
yum -y groupinstall "Development tools"
yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel

2.安装python3.6 (和开发环境保持一致)

cd /usr/local
wget https://www.python.org/ftp/python/3.6.6/Python-3.6.6.tgz
如报错可能还需要
yum install gcc
./configure --prefix=/usr/local/python3 ./configure --enable-optimizations make make install

3.建立虚拟目录和应用目录

mkdir -p /data/env
mkdir -p /data/wwwroot

4.激活虚拟环境

pip3 install virtualenv

virtualenv --python=/usr/local/bin/python3 itda2
cn /data/env/itda2/bin/
source activate

5.虚拟环境中安装django和uwsgi

pip3 install django (安装了最新版,3.0.8)
pip3 install uwsgi
留意:uwsgi要安装两次,先在系统里安装一次,然后进入对应的虚拟环境安装一次。

6.建立django的测试环境会出现

raise ImproperlyConfigured('SQLite 3.8.3 or later is required (found %s).' %Database.sqlite_version)

解决办法:https://www.cnblogs.com/hszstudypy/p/11512244.html

cd /usr/local
wget https://www.sqlite.org/2020/sqlite-autoconf-3320300.tar.gz tar zxvf sqlite-autoconf-3250300.tar.gz
cd sqlite
-autoconf-3250300 sudo ./configure sudo make && make install

更改全局的sqlite版本并验证

## 查看有哪几个 sqlite3
 find /usr/ -name sqlite3 
## 查看旧版本Centos7自带的sqlite3版本
 /usr/bin/sqlite3 -version
3.7.17 2013-05-20 00:56:22 
## 最新安装的sqlite3版本
/usr/local/bin/sqlite3 -version
3.27.2 2019-02-25 16:06:06  
# 备份旧的sqlite3
mv /usr/bin/sqlite3  /usr/bin/sqlite3_old 
# 软链接将新的sqlite3设置到/usr/bin目录下
 ln -s /usr/local/bin/sqlite3   /usr/bin/sqlite3 
# 查看当前全局sqlite3的版本
sqlite3 --version
3.27.2 2019-02-25 16:06:06  
#将路径传递给共享库
# 设置开机自启动执行,可以将下面的export语句写入 ~/.bashrc 文件中,如果如果你想立即生效,可以执行source ~/.bashrc 将在每次启动终端时执行
 export LD_LIBRARY_PATH="/usr/local/lib" 
# 查看python环境中sqlite3 是否已经更新
[root@localhost]# python3
>>> import sqlite3
>>> sqlite3.sqlite_version
'3.27.2'

或者在django中的settings.py是注释掉sqlite部分也可以正常启动,如果你不计划用sqlite的话。

7.安装nginx

cd /usr/local
wget http://nginx.org/download/nginx-1.19.0.tar.gz
tar -zxvf nginx-1.13.7.tar.gz
mv nginx-1.13.7 nginx
cd nginx
./configure
make
make install

在/usr/local/nginx/conf/中先备份一下nginx.conf文件,以防意外。

cp nginx.conf nginx.conf.bak

然后打开nginx.conf,把原来的内容删除,直接加入以下内容,完全参考网友建议,但有一个坑

worker_processes  1;
events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    server {
        listen       80;
        server_name  www.django.cn;
        charset utf-8;
        location / {
           include uwsgi_params;
           uwsgi_pass 127.0.0.1:8997;
           uwsgi_param UWSGI_SCRIPT mysite.wsgi;
           uwsgi_param UWSGI_CHDIR /data/wwwroot/mysite;
           
        }
        location /static/ {
        alias /data/wwwroot/mysite/static/;    #应该是完整路径,data前应该用/,我原先参考的资料中没有
        }
    }
}

其实原来的conf也可以使用,只需要修改几个关键地方即可,其实的基本都被注释了

进入/usr/local/nginx/sbin/目录,启动nginx

./nginx

8.迁移数据平台和爬虫程序

在本地将依赖生成文本

pip freeze > requirements.txt

本地分别打包平台和程序的rar,并上传到/data/wwwroot

系统中安装rarlinux-x64-5.3.0

在/data/wwwroot中

rar x itda.rar

rar x syxw.rar

9.修改配置

程序中修改原来win方式的路径

在/data/wwwroot/itda2/itda2/setting.py中增加,方便以后nginx对静态资源的支持

STATIC_ROOT = '/data/wwwroot/itda2/static/'
在/data/wwwroot/itda2/itda2.xml中创建
<uwsgi>
   <socket>127.0.0.1:8997</socket><!-- 内部端口,自定义 -->
   <chdir>/data/wwwroot/itda2/</chdir><!-- 项目路径 -->
   <module>itda2.wsgi</module>
   <processes>4</processes> <!-- 进程数 -->
   <daemonize>uwsgi.log</daemonize><!-- 日志文件 -->
   <home>/data/env/itda2</home>  #这是另外一个坑,使得uwsgi -x itda2.xml
</uwsgi>

其中的home项是后面加的,网上大多数是用ini的方式来支持,我想xml方式应该也是可以,实践证明,两个是同理的,只是书写的调用的方式不同,都是用来定义应用的虚拟环境路径

10.测试程序

利用python3 manage.py runserver 0.0.0.0:81

报错不能装postsql的库psycopg2

只能二进制装

https://pypi.org/project/psycopg2-binary/#files

下载2.8.5 寻找对应的python版本号

psycopg2_binary-2.8.5-cp36-cp36m-manylinux1_x86_64.whl (2.9 MB)

在虚拟环境中安装

pip install psycopg2_binary-2.8.2-cp37-cp37m-manylinux1_x86_64.whl

问题解决

11.安装mongodb(爬虫数据保存)

参考:https://www.jianshu.com/p/994bc7b19b26

wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel62-4.2.8.tgz

下载了最新版

$ tar zxvf mongodb-linux-x86_64-rhel62-4.2.8.tar.gz
$ mv mongodb-linux-x86_64-rhel62-4.2.8 mongodb 

vi /etc/profile

在 export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL 一行的上面添加如下内容:  

#Set Mongodb
export PATH=/usr/mongodb/bin:$PATH

保存后,使配置生效

$ cd ~
$ source /etc/profile
$ cd /usr/local/mongodb
$ touch mongodb.conf
$ mkdir db
$ mkdir log
$ cd log
$ touch mongodb.log

配置mongodb

vim /usr/mongodb/mongodb.conf

添加以下内容

port=27017 #端口
dbpath= /usr/mongodb/db #数据库存文件存放目录
logpath= /usr/mongodb/log/mongodb.log #日志文件存放路径
logappend=true #使用追加的方式写日志
fork=true #以守护进程的方式运行,创建服务器进程
maxConns=100 #最大同时连接数
noauth=true #不启用验证
journal=true #每次写入会记录一条操作日志(通过journal可以重新构造出写入的数据)。
#即使宕机,启动时wiredtiger会先将数据恢复到最近一次的checkpoint点,然后重放后续的journal日志来恢复。
storageEngine=wiredTiger  #存储引擎有mmapv1、wiretiger、mongorocks
bind_ip = 0.0.0.0  #这样就可外部访问了,例如从win10中去连虚拟机中的MongoDB

设置权限

$ cd /usr/local/mongodb
$ chmod 777 db
$ chmod 777 log

启动

$ cd ~
$ mongod -f /usr/local/mongodb/mongodb.conf

本地使用MongoDB Compass,远程连接并创建新数据库,一切顺利,舒服

在远程使用过程 中,可以临时将系统防火墙关闭,减少干扰,后期再调整,风险自己把握

12.安装redis(分布式爬虫使用)

You need tcl 8.5 or newer in order to run the Redis test

 安装redis6.0.5 版本太新的了,报错,gcc版本低不匹配

https://blog.csdn.net/zhangchaoyang/article/details/104456978

查看gcc版本,果然低

gcc -v
wget http://mirror.centos.org/centos/7/os/x86_64/Packages/tcl-8.5.13-8.el7.x86_64.rpm

rpm -ivh tcl-8.5.13-8.el7.x86_64.rpm

make && make test 过程挺慢的

13.django的样式问题

1、在settings.py尾部:

STATIC_ROOT = '/data/wwwroot/itda2/static'  #设置一个目录,把后台CSS样式放到这个目录里

2、收集CSS样式,在终端输入:

python manage.py collectstatic

运行这个命令之后,就会自动把后台CSS样式收集到/static/目录下。

3、重启服务,成功。

14.启动

uwsgi

cd /data/wwwroot/itda2

uwsgi -x itda2.xml

nginx

cd /usr/local/nginx/sbin/

./nginx

redis

 cd /usr/local/redis/bin

./redis-server redis.conf

mongodb

cd /usr/local/mongodb

./mongod -f /usr/local/mongodb/mongodb.conf

 

大致的安装过程记录如上

在实际操作中,环境都安装好之后,需要反复启动程序,观察uwsgi.log,nginx/error.log,日志文件往往可以给你很好的提示信息。

 

 

 

 

 

pip install psycopg2_binary-2.8.2-cp37-cp37m-manylinux1_x86_64.whl

posted @ 2020-07-21 21:19  spidernyp  阅读(189)  评论(0编辑  收藏  举报