摘要： 数据倾斜： 操作• Join on a.id=b.id• Group by• Count Distinct count(groupby)• 原因• key分布不均导致的• 人为的建表疏忽• 业务数据特点• 症状• 任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个） 阅读全文

摘要： hive --version 查看hive的版本 hive -S -e "set" | grep auto ##在shell下可以查找属性的状态。小技巧。 阅读全文

摘要： join操作： 这个 group by count()操作： 数据倾斜： 操作• Join on a.id=b.id• Group by• Count Distinct count(groupby)• 原因• key分布不均导致的• 人为的建表疏忽• 业务数据特点• 症状• 任务进度长时间维持在99 阅读全文

摘要： 先查看表 timestamp可以转换为标准的时间（精确到秒）; https://tool.lu/timestamp/ 这个时间格式用处很多： 多个时间可以使用函数，来切换。 每个用户 产生行为的时候，用timestamp来区分下单先后关系，记录什么时候看过哪些商品； 比较大小，比如最早订单。。 se 阅读全文

摘要： 简单的word-count操作： [root@master test-map]# head -10 The_Man_of_Property.txt #先看看数据Preface“The Forsyte Saga” was the title originally destined for that p 阅读全文

摘要： django认证系统(auth)： 1.首先我们在新窗口中打开一个django项目，之后点击， 2.在这个界面中相当于使用了python manage.py 的管理命令，可以有提示的作用。 3.选择你要连接的数据库，然后运行migrate命令，由于我们没有进行记录操作（即makemigrations 阅读全文

摘要： views def test_user(request): print('start') if request.method=='POST': print('goon_test_user') user = request.POST.get('user') passwd = request.POST.get('passwd') ... 阅读全文

摘要： 上传文件（分发）的三种方式： 1.本地： -file 的模式，上传一些小的文件。 例如： -file ./test INPUT_FILE_PATH_1="/The_Man_of_Property.txt" OUTPUT_PATH="/output_file_broadcast" $HADOOP_CM 阅读全文

摘要： 内置函数： sum map dir(s) dir函数简单地给出了方法的名称。要查询他们是做什么的，你可以将其传递给help函数 help(s.replace) ord('\n') #ord() 函数是 chr() 函数（对于8位的ASCII字符串）或 unichr() 函数（对于Unicode对象） 阅读全文

摘要： 内容回顾： 1. jQuery - 选择 - 操作 - 事件 2. Http协议 - 3. Django框架 版本：1.11 创建： django-admin startprojcet xxx cd xxx python manage.py startapp app01 python manage. 阅读全文