部署生产:
if __name__ == '__main__':
main_()
vim cron.txt
*/1 * * * * /data/anaconda/bin/python /home/hadoop/python_task/python_prod/prod.py > /home/hadoop/python_task/python_prod/result.log 2>&1
crontab -r / -l/ cron.txt
#crontab 不能使用os.getcwd() 不准确
path = os.path.dirname(os.path.abspath(__file__))
file_path = os.path.join(path,'data/prod.cfg')
打包成二进制文件:
# 打包部署
import compileall
compileall.compile_dir(r'D:\python_prod')
# .pyc文件生成在__pycache__目录下
# 进入生产环境, 在相同的python版本下, python prod.pyc 直接运行即可。
需要安装的包:
conda install pymysql
pip install pyspark==2.3.2
