残阳飞雪

2016年8月4日

以当前日期命名或复制文件夹

摘要： scp /data2/logstash/data/logstash.$(date -d "today" +"%Y%m%d_%H%M%S").log deploy@10.0.58.21:/data/chun/ 阅读全文

posted @ 2016-08-04 20:11 残阳飞雪阅读(650) 评论(0) 推荐(0) 编辑

2016年7月28日

使用IntelliJ IDEA 14和Maven创建java web项目

摘要：参考地址 http://www.cnblogs.com/jifeng/p/4658765.html 阅读全文

posted @ 2016-07-28 10:01 残阳飞雪阅读(201) 评论(0) 推荐(0) 编辑

2016年7月21日

Scala2.11.8 spark2.3.1 mongodb connector 2.3.0

摘要： import java.sql.DriverManager import com.mongodb.spark._ import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession object mongospark20180830consume_amount { // 关于记录多个相同字段的处理方法 htt... 阅读全文

posted @ 2016-07-21 15:11 残阳飞雪阅读(1636) 评论(0) 推荐(1) 编辑

2016年7月17日

spark 实现动态日期读取

摘要： import org.apache.spark.{SparkConf, SparkContext} /** * Created by songcl on 2016/7/15. */ object day_uv { def main(args: Array[String]): Unit = { /** 阅读全文

posted @ 2016-07-17 14:23 残阳飞雪阅读(336) 评论(0) 推荐(0) 编辑

2016年7月9日

spark 内存溢出问题

只有注册用户登录后才能阅读该文。阅读全文

posted @ 2016-07-09 20:30 残阳飞雪阅读(1) 评论(0) 推荐(0) 编辑

2016年6月28日

Idea 201601注册码

摘要：参考链接 http://blog.csdn.net/u010310183/article/details/51162137 在license 下面输入阅读全文

posted @ 2016-06-28 15:03 残阳飞雪阅读(274) 评论(0) 推荐(0) 编辑

2016年6月27日

linux下的crontab服务

摘要： 1、crontab 是用来让使用者在固定时间或固定间隔执行程序之用在linux平台上如果需要实现任务调度功能可以编写cron脚本来实现。以某一频率执行任务linux缺省会启动crond进程，crond进程不需要用户启动、关闭。crond进程负责读取调度任务并执行，用户只需要将相应的调度脚本写入cro 阅读全文

posted @ 2016-06-27 10:34 残阳飞雪阅读(5662) 评论(1) 推荐(1) 编辑

2016年6月24日

spark MySQL jar 包

摘要：参考链接提交包，前提是要配置环境变量 export SPARK_CLASSPATH=$SPARK_CLASSPATH:/usr/local/spark/mysql/mysql.jar spark-submit --class insertmysql /home/deploy/mysqltest.j 阅读全文

posted @ 2016-06-24 11:45 残阳飞雪阅读(1078) 评论(0) 推荐(0) 编辑

2016年6月1日

spark 创建自定义函数

该文被密码保护。阅读全文

posted @ 2016-06-01 21:00 残阳飞雪阅读(9) 评论(0) 推荐(0) 编辑

2016年5月28日

远程调试scala mysql驱动《需先在buit library中加入驱动》

该文被密码保护。阅读全文

posted @ 2016-05-28 16:32 残阳飞雪阅读(3) 评论(0) 推荐(0) 编辑

公告