07 2016 档案
摘要：感谢 http://my.oschina.net/leejun2005/blog/106791 代码如下： 这里有个很恶心的问题。 只能转换成纯中文的， 也就是说如果待转换的字符串中，存在正常的符号数字字母时，会报错
阅读全文
摘要：http://blog.csdn.net/shootyou/article/details/44852639 Emoji表情字符现在在APP已经广泛支持了。但是MySQL的UTF8编码对Emoji字符的支持却不是那么好。所以我们经常会遇到这样的异常： [html] view plain copy p
阅读全文
摘要：https://edu.hellobi.com/course/54/play/lesson/875 1、数据建模基本流程 在建模的不同阶段，将数据模型分为三个层次，每层的作用各不相同 1）、概念模型 确定系统的核心，以及划清系统范围和边界 2）、逻辑模型 梳理业务规则以及对概念模型的求精， 这里需要
阅读全文
摘要：https://edu.hellobi.com/course/54 《高质量数据库建模 1-重大意义》 1、数据模型的概念和意义 DIKW —— 数据(Data) 信息（Information） 知识（Knowledge） 智慧（Wisdom） 如图所示，我理解，通过数据得到信息，通过信息得到知识，
阅读全文
摘要：sqoop中，如果数据中本身有换行符，会导致数据错位； 解决办法： 在sqoop import时修改配置文件 添加了： delims Drops \n, \r, and \01 from string fields when importing to Hive.
阅读全文
摘要：telnet时显示：允许更多到 telnet 服务器的连接。请稍候再试 解决办法: windows自带telnet服务器默认的最大连接数为2，要想修改该设置，可以在命令行键入tlntadmn config maxconn=要设置的连接数。最大连接数是指同一时刻内客户连接服务器的最大数量,Telnet
阅读全文
摘要：windows->Preference ，然后：
阅读全文
摘要：在spark-shell中执行val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)报错： error: bad symbolic reference. A signature in HiveContext.class refer
阅读全文
摘要：http://ju.outofmemory.cn/entry/237491 Overview 最近一段时间都在搞集群迁移。最早公司的hadoop数据集群实在阿里云上的，机器不多，大概4台的样子，据说每个月要花7000多。从成本的角度，公司采购了4台2手服务器(E5-2420 v2 * 2+96G内存
阅读全文
摘要：http://www.aboutyun.com/thread-7548-1-1.html 这里面列出了hive几乎所有的配置项，下面问题只是说出了几种配置项目的作用。更多内容，可以查看内容问题导读：1.hive输出格式的配置项是哪个？2.hive被各种语言调用如何配置？3.hive提交作业是在hiv
阅读全文
摘要：Spark-Sql版本升级对应的新特性汇总 SparkSQL的前身是Shark。由于Shark自身的不完善，2014年6月1日Reynold Xin宣布：停止对Shark的开发。SparkSQL抛弃原有Shark的代码，汲取了Shark的一些优点，如内存列存储（In-Memory Columnar
阅读全文
摘要：情况： 查询的是2016年1月2日的数据，但返回解析出来的数据确实是2号的，可是时间竟然变成了2016年1月1日。 解决： 是时区问题，修改本地时区 具体代码，主要是看加红加粗的：
阅读全文
摘要：http://blog.csdn.net/freefishly/article/details/51759133 为什么要整合？ Kylin是通过离线预计算将Hive中事实表的各组合维度的值存储在Hbase中，在前端可实时展现。但是kylin的多维查询需要写SQL，对于不会写SQL的数据分析人员或者
阅读全文
