2017 年 12月随笔档案 - 0xcafedaddy

数据分析利器之hive优化十大原则

摘要：https://zhuanlan.zhihu.com/p/25307921 hive之于数据民工，就如同锄头之于农民伯伯。hive用的好，才能从地里（数据库）里挖出更多的数据来。用过hive的朋友，我想或多或少都有类似的经历：一天下来，没跑几次hive，就到下班时间了。 hive在极大数据或者数据阅读全文

posted @ 2017-12-28 13:27 0xcafedaddy 阅读(290) 评论(0) 推荐(0) 编辑

curl 执行post请求

摘要：#curl -l -H "Content-type: application/json;charset=UTF-8" -H "X-Forwarded-For: 20.20.20.20" -X POST -d '$sedtest' http://192.168.3.202/vbox_interface 阅读全文

posted @ 2017-12-20 19:22 0xcafedaddy 阅读(671) 评论(0) 推荐(0) 编辑

python读写文件write和flush

摘要：打开文件用open,该函数创建一个文件对象，这将用来调用与之关联的其他支持方式。下面是参数的详细信息： file_name: file_name参数是一个字符串值，包含您要访问的文件的名称。 access_mode: access_mode决定了文件必须被打开，即，读，写，追加等的可能值是下表中给阅读全文

posted @ 2017-12-19 16:01 0xcafedaddy 阅读(559) 评论(0) 推荐(0) 编辑

hive bucket

摘要：转载：https://www.cnblogs.com/end/archive/2013/01/09/2852413.html hive中table可以拆分成partition，table和partition可以通过‘CLUSTERED BY ’进一步分bucket，bucket中的数据可以通过‘SO 阅读全文

posted @ 2017-12-16 15:53 0xcafedaddy 阅读(181) 评论(0) 推荐(0) 编辑

HOW TO PLAN AND CONFIGURE YARN AND MAPREDUCE 2 IN HDP 2.0

只有注册用户登录后才能阅读该文。

posted @ 2017-12-15 15:31 0xcafedaddy 阅读(3) 评论(0) 推荐(0) 编辑

SciTE详细配置

只有注册用户登录后才能阅读该文。

posted @ 2017-12-14 18:04 0xcafedaddy 阅读(3) 评论(0) 推荐(0) 编辑

scp拷贝本地文件到服务器

摘要：拷贝远程服务器的文件到本地：scp -r -P 端口号用户名@IP地址:/usr/local/tomcat_airc/webapps/ /tmp/kyj/ 拷贝本地文件到远程服务器：scp -r 本地文件服务器用户名@服务器IP地址:服务器文件地址阅读全文

posted @ 2017-12-11 15:01 0xcafedaddy 阅读(3015) 评论(0) 推荐(0) 编辑

datax多线程拉取数据

只有注册用户登录后才能阅读该文。