摘要： 这次练习的第一部分主要目标是完成对地域名和地域码的完善。 调用百度地图API来进行地域名和地域码的获取。 Data.java package bao; public class Data { String acode=""; String diyv=""; } DBUtil.java package 阅读全文

摘要： 本周主要学习了关于python以及大型数据的一些操作，学习的主要内容基本是关于数据的获取以及对数据进行一些分析。前面的博客已经介绍过对DataX的使用了，本次介绍一下另一种数据分析工具Kettle的使用，以下是自己的实际操作例子： 一、安装 链接: https://pan.baidu.com/s/1 阅读全文

摘要： 个人理解性能战术，大的方面就是使用对象，代码重构和设计模式，来使代码干净整洁，减小代码的体积；细节的地方就例如每一次使用完资源都关闭会话，或者使用不同的算法来减少代码运行中的资源占用，从而提高代码运行效率。所以，代码规范关系到了开发的方方面面，也是一个开发者的基本素质。 可供程序利用的资源（内存、 阅读全文

摘要： 1.获取 不管是什么格式，一旦锁定了某种数据，那么了解该数据中有什么以及没有什么，就变得非常重要了。 import urllib.request 2.检查和探索 主要的目标是合理 地检查数据，而实现这一点的最好办法是发现不可能或几乎不可能的事情。举个例子， 如果数据具有唯一的标识符，检查是否真的只有 阅读全文

摘要： 以“淘宝网”的一些场景来举例： 1、易用性:淘宝网的兼容性好,在任何浏览器上都可以正常运行,界面简洁,使用流畅。安全性也高,提供第三方保管资金,卖方发货,买房收到并表示商品质量满意的话,可以让资金流向卖家。很好地保证两方的利益。 2、可测试性:单元测试人员可以执行有关测试程序,保证网站的正常运行,性 阅读全文

摘要： 软件架构师是如何工作？ 首先要明白什么是架构以及为什么会产生架构。 漫谈里引入了社会的架构过程： 在每个人都必须自己完成所有生活必须品的生产的时候，是没有架构的（当然在个人来讲，同一时刻只能做有限的事情，在时间上还是可能会产生架构的）。一旦产生的分工，就把所有的事情，切分成由不同角色的人来完成，最后 阅读全文

摘要： 实验5-Spark SQL编程初级实践-题目-厦门大学-林子雨-Spark编程基础（Scala版） 1．Spark SQL 基本操作将下列 JSON 格式数据复制到 Linux 系统中，并保存命名为 employee.json。 { "id":1 , "name":" Ella" , "age":3 阅读全文

摘要： 实验4-RDD编程初级实践-题目-厦门大学-林子雨-Spark编程基础（Scala版） 1．spark-shell 交互式编程 数据集下载专区地址：http://dblab.xmu.edu.cn/post/spark/ 将chapter5-data1.txt文件放置在usr/local/sparkd 阅读全文

摘要： 实验3-Spark和Hadoop的安装-题目-厦门大学-林子雨-Spark编程基础（Scala版） HDFS常用操作 （1） 启动Hadoop，在HDFS中用户目录”/user/hadoop” （2） 在 Linux 系统的本地文件系统的“/home/hadoop”目录下新建一个文本文件 test. 阅读全文

摘要： 实验2-Scala编程初级实践-题目-厦门大学-林子雨-Spark编程基础（Scala版） 模拟图形绘制 对于一个图形绘制程序，用下面的层次对各种实体进行抽象。定义一个 Drawable 的特质，其包括一个 draw 方法，默认实现为输出对象的字符串表示。定义一个 Point 类表示点，其混入了 D 阅读全文