HarkLee

摘要： https://edu.hellobi.com/course/54/play/lesson/875 1、数据建模基本流程 在建模的不同阶段，将数据模型分为三个层次，每层的作用各不相同 1）、概念模型 确定系统的核心，以及划清系统范围和边界 2）、逻辑模型 梳理业务规则以及对概念模型的求精， 这里需要 阅读全文

摘要： https://edu.hellobi.com/course/54 《高质量数据库建模 1-重大意义》 1、数据模型的概念和意义 DIKW —— 数据(Data) 信息（Information） 知识（Knowledge） 智慧（Wisdom） 如图所示，我理解，通过数据得到信息，通过信息得到知识， 阅读全文

摘要： sqoop中，如果数据中本身有换行符，会导致数据错位； 解决办法： 在sqoop import时修改配置文件 添加了： delims Drops \n, \r, and \01 from string fields when importing to Hive. 阅读全文

摘要： telnet时显示：允许更多到 telnet 服务器的连接。请稍候再试 解决办法: windows自带telnet服务器默认的最大连接数为2，要想修改该设置，可以在命令行键入tlntadmn config maxconn=要设置的连接数。最大连接数是指同一时刻内客户连接服务器的最大数量,Telnet 阅读全文

摘要： windows->Preference ，然后： 阅读全文

摘要： 在spark-shell中执行val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)报错： error: bad symbolic reference. A signature in HiveContext.class refer 阅读全文

摘要： http://ju.outofmemory.cn/entry/237491 Overview 最近一段时间都在搞集群迁移。最早公司的hadoop数据集群实在阿里云上的，机器不多，大概4台的样子，据说每个月要花7000多。从成本的角度，公司采购了4台2手服务器(E5-2420 v2 * 2+96G内存 阅读全文

摘要： http://www.aboutyun.com/thread-7548-1-1.html 这里面列出了hive几乎所有的配置项，下面问题只是说出了几种配置项目的作用。更多内容，可以查看内容问题导读：1.hive输出格式的配置项是哪个？2.hive被各种语言调用如何配置？3.hive提交作业是在hiv 阅读全文

摘要： Spark-Sql版本升级对应的新特性汇总 SparkSQL的前身是Shark。由于Shark自身的不完善，2014年6月1日Reynold Xin宣布：停止对Shark的开发。SparkSQL抛弃原有Shark的代码，汲取了Shark的一些优点，如内存列存储（In-Memory Columnar 阅读全文

摘要： 情况： 查询的是2016年1月2日的数据，但返回解析出来的数据确实是2号的，可是时间竟然变成了2016年1月1日。 解决： 是时区问题，修改本地时区 具体代码，主要是看加红加粗的： 阅读全文