最爱番茄炒蛋

摘要： 关键代码就一行：通过for迭代器用open打开文件逐行读取后写入数组。 log_content += [line for line in open(log_file, 'r', encoding='UTF 8')] 其中加encoding参数的目的是避免报错： "UnicodeDecodeError 阅读全文

摘要： print() 函数会把内容放到内存中， 内存中的内容并不一定能够及时刷新显示到屏幕中(应该是要满足某个条件，比如换行)。 但当print内容为print(".",end = '')，不换行是不会触发显示条件的。通常用于制作loading...效果 此时只需要增加flush = True参数即可解决 阅读全文

摘要： 1. python manage.py collectstatic做了什么 一句话，把静态文件收集到 STATIC_ROOT 中。 setting.py文件： python manage.py collectstatic在执行时，django默认会去查看定义在STATICFILES_DIRS里的目录 阅读全文

摘要： Django自带强大的User系统，为我们提供用户认证、权限、组等一系列功能，可以快速建立一个完整的后台功能。 但User模型并不能满足我们的需求，例如自带的User表中没有手机号码，而且对于国人来说表中的first_name和last_name并没有什么卵用，对于实际生产中灵活的用户表来说重写Us 阅读全文

摘要： 标准格式：ssh user@hostname command 当需要执行多条命令是，比如一般会登录后，先使用source命令激活环境变量，然后再执行其他命令，则需要使用双引号包括住多条命令，例如： ssh hadoop@haddop01 "source /home/hadoop/.bash_prof 阅读全文

摘要： 切换到指定工作目录再执行命令 os.chdir os.system 执行Python脚本时传入一个或多个参数 sys.argv 系统中执行python main.py 1 2 3, 将会得到1 2 3的打印。 获取系统环境变量： os.environ and os.putenv 一、设置系统环境变量 阅读全文

摘要： 1.安装相应的编译工具 在root用户下,全部复制粘贴过去,一次性安装即可. 2.下载安装包 3.解压 4.创建编译安装目录 5.安装 6.创建软链接 7.验证是否成功 8.修改pip安装源 修改系统pip安装源 在家目录下新建.pip文件夹,进入文件夹新建文件pip.conf之后写入相应镜像网站地 阅读全文

摘要： 针对全量导入，先来个常用配置： ./sqoop import -m 1 --outdir /home/hadoop/bigdata/sqoop/outdir --connect jdbc:mysql://hupz.cn:3306/dispy_stg2?characterEncoding=UTF-8 阅读全文

摘要： Sqoop导入mysql表中的数据到hive，出现如下错误： ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. 将 阅读全文

摘要： 得知mapreduce的运行内存不足，主要为这一段 Diagnostics: Container [pid=13688,containerID=container_e07_1533215502568_0002_02_000001] is running beyond physical memory 阅读全文