摘要: 模拟:https://creativedata.atlassian.net/wiki/spaces/SAP/pages/61177860/Python+-+Read+Write+files+from+HDFS 阅读全文
posted @ 2018-04-25 18:45 Jesse_Li 阅读(999) 评论(0) 推荐(0) 编辑
摘要: 本文转载:https://blog.csdn.net/cmh477660693/article/details/52760236 ubuntu终端下命令ifconfig的问题解决 问题一. ifconfig之后只显示lo,没有看到eth0 问题二. ifconfig之后显示eth0,但是没有显示静态 阅读全文
posted @ 2018-04-25 14:50 Jesse_Li 阅读(17206) 评论(0) 推荐(1) 编辑
摘要: Pyhive 远程连接hive出现问题: 错误: 解决方案:hive-site.xml 增加下面属性,然后重启hive 阅读全文
posted @ 2018-04-24 21:21 Jesse_Li 阅读(9301) 评论(0) 推荐(1) 编辑
摘要: 1. install hive 2. start hiveserver2 查看hiverserver2 是否正常运行: ps -ef | grep hive 2. start beeline 3. 链接hive !connect jdbc:hive2://localhost:10000 hadoop 阅读全文
posted @ 2018-04-24 20:27 Jesse_Li 阅读(193) 评论(0) 推荐(0) 编辑
摘要: 用python读取hive数据,引用下面包。 先按照它 出现错误 解决方案。 1. 顺着提示连接安装插件 阅读全文
posted @ 2018-04-24 10:34 Jesse_Li 阅读(1060) 评论(0) 推荐(0) 编辑
摘要: 最近在sql server 加了一些job,但是run job的时候发生了一下错误: ssage Unable to connect to SQL Server '(local)' 问题根源:调用 T-sql 脚本,没有制定Database 选择你的目标db 阅读全文
posted @ 2018-04-18 11:41 Jesse_Li 阅读(254) 评论(0) 推荐(0) 编辑
摘要: 抽象化|具体化: 如盒形图 | 现实中的图 功能性|装饰性:没有装饰和渲染 | 包含艺术性美学上的装饰 深度表达|浅度表达:深入层次的研究探索数据 | 易于理解的,直观的表示 多维度|单一维度:数据的多个层次 | 数据的单一维度 创造性|熟悉性:全新的方式进行可视化 | 被大众接受并且熟悉的方式 新 阅读全文
posted @ 2018-04-17 16:48 Jesse_Li 阅读(439) 评论(0) 推荐(0) 编辑
摘要: import seaborn as sns sns.set(style="ticks") # Load the example dataset for Anscombe's quartet df = sns.load_dataset("anscombe") # Show the results of a linear regression within each dataset sns.lmpl... 阅读全文
posted @ 2018-04-17 15:18 Jesse_Li 阅读(550) 评论(0) 推荐(0) 编辑
摘要: ETL ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。 ETL是构建数据仓库的重要一环,用户从数据源抽取出所需的 阅读全文
posted @ 2018-04-13 17:10 Jesse_Li 阅读(24531) 评论(0) 推荐(0) 编辑
摘要: 1. 尽量避免用sub-queres, 可以采用join代替 2. exists代替in not exists 和not in 这两个的性能值得深究,应该不是差太多 3. 索引优化 4. 一些操作会导致索引失效 1)like 操作 column_a like '%format%' 和 column_ 阅读全文
posted @ 2018-04-13 16:14 Jesse_Li 阅读(345) 评论(0) 推荐(0) 编辑