上一页 1 ··· 8 9 10 11 12 13 14 15 16 ··· 33 下一页
2018年4月7日
SpringBoot(五)：@ConfigurationProperties配置参数绑定
摘要： 在springmvc或其他ssh框架中如果我们要实现一个配置参数的加载，需要使用代码实现读取properties文件等操作，或者需要使用其他属性@value(name="username")等配置操作。但是在springboot中就比较简单操作： 1）自定义配置参数绑定：通过使用@Configura 阅读全文
posted @ 2018-04-07 22:43 cctext 阅读(13167) 评论(6) 推荐(1) 编辑
SpringBoot（四）：banner的控制
摘要： banner在springboot中是一个支持可配（banner的样式，banner的颜色，banner的内容）、是否显示。 1）banner显示内容配置： 默认springboot如果在src/resources下包含这样的一个banner信息，则会使用该banner.txt内容替换spring 阅读全文
posted @ 2018-04-07 20:30 cctext 阅读(2133) 评论(0) 推荐(0) 编辑
SpringBoot（三）：springboot启动参数
摘要： springboot默认启动入口函数是支持接收参数，并且在整个应用程序内部也可以获取到这些参数，并且如果传递的参数是一些内部定义的参数将会被映射到springboot内部配置项，从而达到配置效果。 springboot入口参数传递与获取： 方式1）springboot 配置项目启动传递参数： a）在 阅读全文
posted @ 2018-04-07 20:02 cctext 阅读(66064) 评论(0) 推荐(1) 编辑
2018年4月6日
SpringBoot(二)：设置springboot同一接口程序启动入口
摘要： 根据上一篇文章中搭建了一个springboot简单工程，在该工程中编写HelloWordController.java接口类，并在该类中写了一个main函数，做为该类的接口服务启动入口。此时如果新增多个接口服务类时，不修改任何代码是无法访问新增类的接口服务。 实际上springboot提供了统一配置 阅读全文
posted @ 2018-04-06 20:54 cctext 阅读(4022) 评论(0) 推荐(0) 编辑
SpringBoot(一)：使用eclipse/idea创建springboot helloword工程
摘要： eclipse如何创建spring boot工程： 第一步：首先打开eclipse，找到图中的下图的中“下三角”符号，选中"working sets"(表示将会把eclipse中的工程以working sets方式呈现，而不是单个project列表呈现) 第二步：依然是找出上图的菜单，点击“Sele 阅读全文
posted @ 2018-04-06 17:03 cctext 阅读(3756) 评论(0) 推荐(2) 编辑
2018年4月3日
最小二乘法多项式拟合的Java实现
摘要： 背景 由项目中需要根据一些已有数据学习出一个y=ax+b的一元二项式，给定了x,y的一些样本数据，通过梯度下降或最小二乘法做多项式拟合得到a、b，解决该问题时，首先想到的是通过spark mllib去学习，可是结果并不理想：少量的文档，参数也很难调整。于是转变了解决问题的方式：采用了最小二乘法做多项 阅读全文
posted @ 2018-04-03 23:57 cctext 阅读(9335) 评论(2) 推荐(2) 编辑
2018年4月1日
kafka_2.12-1.1.0 生产与消费java实现示例
摘要： 环境准备： 1）需要在maven工程中引入依赖： 2）本机是否能telnet 192.178.0.111 9092（kafaka所部署的vmw虚拟机）通？ 如果telnet端口不通，则需要关闭192.178.0.111的防火墙： 一、生产者 首先看以下两种实现示例： 1 package com.dx 阅读全文
posted @ 2018-04-01 21:09 cctext 阅读(6362) 评论(0) 推荐(0) 编辑
centos单机安装zookeeper+kafaka
摘要： 环境如下： CentOS-7-x86_64zookeeper-3.4.11kafka_2.12-1.1.0 一.zookeeper下载与安装 1）下载zookeeper 2）解压 3）配置 修改或添加zoo.cfg文件中如下两个配置项: 创建zk数据存储和zk日志存储目录： 4）配置环境变量 配置项 阅读全文
posted @ 2018-04-01 00:50 cctext 阅读(1784) 评论(0) 推荐(0) 编辑
2018年3月31日
Spark MLib：梯度下降算法实现
摘要： 声明：本文参考《 大数据：Spark mlib(三) GradientDescent梯度下降算法之Spark实现》 1. 什么是梯度下降？ 梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对 阅读全文
posted @ 2018-03-31 14:28 cctext 阅读(1106) 评论(0) 推荐(0) 编辑
2018年3月28日
Hive函数：SUM,AVG,MIN,MAX
摘要： 转自：http://lxw1234.com/archives/2015/04/176.htm，Hive分析窗口函数(一) SUM,AVG,MIN,MAX 之前看到大数据田地有关于max()over(partition by)的用法，今天恰好工作中用到了它，但是使用中遇到了一个问题：在max(rsrp 阅读全文
posted @ 2018-03-28 22:45 cctext 阅读(17540) 评论(0) 推荐(0) 编辑
2018年3月26日
TSQL：判定一段数组连续的数字段有多少的方案
摘要： 给定了一列数字，需要判定该列中连续的数据字有多少条记录： 阅读全文
posted @ 2018-03-26 14:33 cctext 阅读(185) 评论(0) 推荐(0) 编辑
2018年3月24日
spark2.1：读取hive中存储的多元组（string,double）失败
摘要： 这两天和同事一起在想着如何把一个表的记录减少，表记录包含了：objectid(主小区信息)，gridid(归属栅格)，height(高度)，rsrp(主小区rsrp)，n_objectid(邻区)，n_rsrp(邻小区rsrp) 记录中一个主小区对应有多个邻区信息，在分组合并记录时： 1）先按照ob 阅读全文
posted @ 2018-03-24 14:45 cctext 阅读(2153) 评论(0) 推荐(0) 编辑
2018年3月17日
Java：Java 中会存在内存泄漏吗
摘要： 理论上Java因为有垃圾回收机制（GC）不会存在内存泄露问题（这也是Java被广泛使用于服务器端编程的一个重要原因）；然而在实际开发中，可能会存在无用但可达的对象，这些对象不能被GC回收，因此也会导致内存泄露的发生。例如hibernate的Session（一级缓存）中的对象属于持久态，垃圾回收器是不 阅读全文
posted @ 2018-03-17 19:52 cctext 阅读(661) 评论(1) 推荐(0) 编辑
2018年3月16日
Hive函数：GROUPING SETS,GROUPING__ID,CUBE,ROLLUP
摘要： 参考：lxw大数据田地：http://lxw1234.com/archives/2015/04/193.htm 数据准备： GROUPING SETS 在一个GROUP BY查询中，根据不同的维度组合进行聚合，等价于将不同维度的GROUP BY结果集进行UNION ALL 备注：其中的 GROUPI 阅读全文
posted @ 2018-03-16 16:33 cctext 阅读(2137) 评论(0) 推荐(1) 编辑
Hive函数：rank()、dense_rank()
摘要： 数据准备： rank rank()over(order by 列名排序)的结果是不连续的，如果有4个人，其中有3个是并列第1名，那么最后的排序结果结果如：1 1 1 4 rank() over (partition by 分组字段 order by 排序字段 顺序) 注意：使用rank()over( 阅读全文
posted @ 2018-03-16 16:03 cctext 阅读(6494) 评论(0) 推荐(0) 编辑
Hive函数：CUME_DIST,PERCENT_RANK
摘要： 参考自：大数据田地http://lxw1234.com/archives/2015/04/185.htm 数据准备： CUME_DIST –CUME_DIST 小于等于当前值的行数/分组内总行数–比如，统计小于等于当前薪水的人数，所占总人数的比例 PERCENT_RANK –PERCENT_RANK 阅读全文
posted @ 2018-03-16 15:58 cctext 阅读(811) 评论(0) 推荐(0) 编辑
Hive函数：LAG,LEAD,FIRST_VALUE,LAST_VALUE
摘要： 参考自大数据田地：http://lxw1234.com/archives/2015/04/190.htm 测试数据准备： LAGLAG(col,n,DEFAULT) 用于统计窗口内往上第n行值 第一个参数为列名，第二个参数为往上第n行（可选，默认为1），第三个参数为默认值（当往上第n行为NULL时候 阅读全文
posted @ 2018-03-16 15:55 cctext 阅读(794) 评论(1) 推荐(0) 编辑
2018年3月14日
spark2.1注册内部函数spark.udf.register("xx", xxx _)，运行时抛出异常：Task not serializable
摘要： 函数代码： 使用spark-submit提交函数时，抛出异常： 解决方案： 把当前MySparkJob集成Serializable 阅读全文
posted @ 2018-03-14 23:24 cctext 阅读(3834) 评论(1) 推荐(0) 编辑
spark2.1操作json（save/read）
摘要： 建筑物配置信息： 向hdfs写入json文件： 从hdfs中读取json文件： 阅读全文
posted @ 2018-03-14 00:41 cctext 阅读(2041) 评论(0) 推荐(0) 编辑
2018年3月13日
Hadoop MR编程
摘要： Hadoop开发job需要定一个Map/Reduce/Job（启动MR job，并传入参数信息），以下代码示例实现的功能： 1）将一个用逗号分割的文件，替换为“|”分割的文件； 2）对小文件合并，将文件合并为reduceNum个文件。 DataMap.java DataReducer.java Da 阅读全文
posted @ 2018-03-13 11:20 cctext 阅读(2297) 评论(0) 推荐(0) 编辑
上一页 1 ··· 8 9 10 11 12 13 14 15 16 ··· 33 下一页