摘要: 一、材料准备: oracle11g安装包(64位) oracle11g客户端(32位) PL\SQL Developer安装包(32位) oracle11g安装包(64位) oracle11g客户端(32位) PL\SQL Developer安装包(32位) 1、下载Oracle 11g链接:htt 阅读全文
posted @ 2018-03-16 00:39 天海云端 阅读(2811) 评论(0) 推荐(0) 编辑
摘要: 使用Java进行Http请求: 阅读全文
posted @ 2019-03-24 23:11 天海云端 阅读(11305) 评论(1) 推荐(0) 编辑
摘要: 1.升级pip python -m pip install -U pip 阅读全文
posted @ 2019-03-24 22:37 天海云端 阅读(105) 评论(0) 推荐(0) 编辑
摘要: 背景 近年来大数据BigData、人工智能AI、物联网Iot等行业发展迅猛,很多人都想要从事大数据技术开发工作,但是,请问要怎么做,路线是什么?从哪里开始学?学哪些?这是一个大问题。对于我自己来说,最近也在学一些大数据开发相关的技术,所以之前整理了一份《大数据技术学习路线》,希望对你有所帮助。 学习 阅读全文
posted @ 2018-06-19 16:32 天海云端 阅读(386) 评论(1) 推荐(1) 编辑
摘要: 一.Navicat Premium中的数据迁移工具 为了生产库释放部分资源,需要将API模块迁移到mysql中,及需要导数据。 尝试了oracle to mysql工具,迁移时报错不说,这么大的数据量,用这种简陋的工具不大可靠。 意外发现平时用的数据库视图工具Navicat Premium中有数据迁 阅读全文
posted @ 2018-06-19 16:18 天海云端 阅读(23765) 评论(0) 推荐(0) 编辑
摘要: java排序从大的分类来看,可以分为内排序和外排序:其中,在排序过程中只使用了内存的排序称为内排序;内存和外存结合使用的排序成为外排序。 下面讲的都是内排序。 内排序在细分可以这样分: 1、选择排序:直接选择排序,堆排序 2、交换排序:冒泡排序,快速排序 3、插入排序:直接插入排序,二分插入排序,希 阅读全文
posted @ 2018-06-19 16:17 天海云端 阅读(136) 评论(0) 推荐(0) 编辑
摘要: 在做Shuffle阶段的优化过程中,遇到了数据倾斜的问题,造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和,优化是基于这些Counters得出的平均值,而由于数据倾斜的原因造成map处理数据量的差异过大,使得这些平均值能代表的价值降低。Hive的 阅读全文
posted @ 2018-06-19 16:17 天海云端 阅读(1597) 评论(0) 推荐(0) 编辑
摘要: 在16年8月份至今,一直在努力学习大数据大数据相关的技术,很想了解众多老司机的学习历程。因为大数据涉及的技术很广需要了解的东西也很多,会让很多新手望而却步。所以,我就在自己学习的过程中总结一下学到的内容以及踩到的一些坑,希望得到老司机的指点和新手的借鉴。 目前正在学习分布式理论和ZooKeeper 阅读全文
posted @ 2018-06-19 01:03 天海云端 阅读(201) 评论(1) 推荐(1) 编辑
摘要: 数据挖掘:What?Why?How? 这个问题思考了很久,作为过来人谈一谈,建议先看下以前的一些回答。 什么是数据挖掘? 怎么培养数据分析的能力? 如何成为一名数据科学家? 磨刀不误砍柴工。在学习数据挖掘之前应该明白几点: 数据挖掘目前在中国的尚未流行开,犹如屠龙之技。 数据初期的准备通常占整个数据 阅读全文
posted @ 2018-03-22 15:56 天海云端 阅读(204) 评论(0) 推荐(0) 编辑
摘要: 用户画像是一个挺新颖的词,最初它是大数据行业言必及之的时髦概念。现在我们运营谈及用户画像,它也是和精准营销、精细化运营直接钩挂的。这篇文章主要讲产品和运营角度的用户画像。 希望看完后,解决你一切关于用户画像的疑问。 什么是用户画像 用户画像一点也不神秘,它是根据用户在互联网留下的种种数据,主动或被动 阅读全文
posted @ 2018-03-22 15:52 天海云端 阅读(507) 评论(0) 推荐(0) 编辑
摘要: 在机器学习中,有一种叫做「没有免费的午餐」的定理。简而言之,它指出没有任何一种算法对所有问题都有效,在监督学习(即预测建模)中尤其如此。 例如,你不能说神经网络总是比决策树好,反之亦然。有很多因素在起作用,例如数据集的大小和结构。 因此,你应该针对具体问题尝试多种不同算法,并留出一个数据「测试集」来 阅读全文
posted @ 2018-03-22 15:49 天海云端 阅读(259) 评论(0) 推荐(0) 编辑