随笔 - 835  文章 - 1 评论 - 40 阅读 - 102万
< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

05 2020 档案
服务远程启动停止脚本,及开机自启
摘要:复制或软连接脚本到/etc/init.d/目录下 将脚本添加到初始化执行的队列中去 注意如果脚本需要用到网络,则NN需设置一个比较大的数字,如99。 命令:update-rc.d xxx defaults NN命令 #(NN为启动顺序) ubuntu 16.04中一定要加上以下LSB信息,不然放入启 阅读全文
posted @ 2020-05-29 17:02 lshan 阅读(615) 评论(0) 推荐(0) 编辑
一种基于HBase韵海量图片存储技术
摘要:原文:https://blog.csdn.net/king_sky_wjb/article/details/30485619?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.none 阅读全文
posted @ 2020-05-29 10:31 lshan 阅读(342) 评论(0) 推荐(0) 编辑
用于定时启动脚本,如果已经启动,就跳过
摘要:用于定时启动脚本,如果已经启动,y已及检查脚本是否已启动,如果启动就跳过 ubuntu 16.04 consumer.sh #!/bin/bash COUNT=`ps -ef | grep $1 | grep -v grep | wc -l ` echo $COUNT if [ $COUNT -eq 阅读全文
posted @ 2020-05-28 18:08 lshan 阅读(264) 评论(0) 推荐(0) 编辑
zookeeper cluster docker (集群部署) 3.4.x
摘要:Zookeeper 3.5. 及以上版本可以参考:https://www.cnblogs.com/LUA123/p/11428113.html Zookeeper 3.4.x 及以下版本: 1. 拉去 zookeper 官方镜像() sudo docker pull zookeeper 2.创建挂载 阅读全文
posted @ 2020-05-28 16:16 lshan 阅读(266) 评论(0) 推荐(0) 编辑
springboot mongo 动态查询与分页 (mongoTemplate )(2)
该文被密码保护。
posted @ 2020-05-27 15:45 lshan 阅读(0) 评论(0) 推荐(0) 编辑
spring data jpa 动态查询(mysql)
摘要:cankao : https://stackoverflow.com/questions/45973070/spring-jpa-examplematcher-compare-date-condition 场景: 动态条件查询, (主要解决时间问题) repository public interf 阅读全文
posted @ 2020-05-27 11:33 lshan 阅读(913) 评论(0) 推荐(0) 编辑
spring data jpa 分页查询(小结)
摘要:原文:https://www.cnblogs.com/hdwang/p/7843405.html spring data jpa 分页查询 方法一(本地sql查询,注意表名啥的都用数据库中的名称,适用于特定数据库的查询) public interface UserRepository extends 阅读全文
posted @ 2020-05-27 09:57 lshan 阅读(1515) 评论(0) 推荐(1) 编辑
java 工作日判断
摘要:package com.icil.collect.common; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.Arrays; import java.util.Calenda 阅读全文
posted @ 2020-05-22 15:57 lshan 阅读(2841) 评论(0) 推荐(0) 编辑
Map的merge方法(java8)
摘要:参考原文 :https://www.jianshu.com/p/292f4e346b5d 背景介绍 merge()可以解释如下:它将新的值赋值给到key中(如果不存在)或更新具有给定值的现有key(UPSERT)。让我们从最基本的例子开始:计算唯一的单词出现次数。在java8之前的时候,代码非常混乱 阅读全文
posted @ 2020-05-22 14:29 lshan 阅读(2906) 评论(0) 推荐(0) 编辑
java8 常用JVM 参数修改
摘要:参考: https://www.cnblogs.com/jpfss/p/9753215.html 推荐阅读: 总结: 百万连接,百亿吞吐量服务的JVM性能调优实战 >>https://my.oschina.net/LucasZhu/blog/2056232 最后,对于长连接,push一类的海量服务端 阅读全文
posted @ 2020-05-21 18:39 lshan 阅读(3475) 评论(0) 推荐(0) 编辑
ubuntu docker client 安装
摘要:官网 doc:https://docs.docker.com/engine/install/ubuntu/ 有时打不开 Install Docker Engine on Ubuntu Estimated reading time: 11 minutes To get started with Doc 阅读全文
posted @ 2020-05-21 16:17 lshan 阅读(840) 评论(0) 推荐(0) 编辑
scala io 读写文件
摘要:def testPrintAndWriter()= { val line = StdIn.readLine() val writer = new PrintWriter(new File("test.txt" )) writer.write("sea write "+line) writer.clo 阅读全文
posted @ 2020-05-15 16:56 lshan 阅读(211) 评论(0) 推荐(0) 编辑
Grafana 系统资源监测
摘要:Grafana 官网文档 :http://docs.grafana.org/ 官网: https://grafana.com/ 参考文档: Grafana全面瓦解:https://www.jianshu.com/p/7e7e0d06709b 可视化工具Grafana:简介及安装:https://ww 阅读全文
posted @ 2020-05-13 15:02 lshan 阅读(434) 评论(0) 推荐(0) 编辑
Java8 Stream Collectors收集器 Collectors.toMap Collectors.partitioningBy Collectors.groupingBy
摘要:cankao : https://www.jianshu.com/p/6ee7e4cd5314 Collectors.toMap Collectors.partitioningBy Collectors.groupingBy 1.Collectors.toMap: Student studentA 阅读全文
posted @ 2020-05-12 22:18 lshan 阅读(678) 评论(0) 推荐(0) 编辑
EhCacheUtils 缓存 ehche (将文件临时保存在磁盘)
摘要:参考:https://www.jianshu.com/p/154c82073b07 依赖: <dependency> <groupId>net.sf.ehcache</groupId> <artifactId>ehcache</artifactId> <version>2.10.2</version 阅读全文
posted @ 2020-05-12 19:15 lshan 阅读(1422) 评论(0) 推荐(0) 编辑
springboot2.X 整合scala
摘要:参考文档: https://segmentfault.com/a/1190000018357979 github: https://github.com/Lshan523/springboot-scala-integration/tree/master/src/main 如果需要注入多个对象: cl 阅读全文
posted @ 2020-05-10 10:32 lshan 阅读(753) 评论(0) 推荐(0) 编辑
Spark Java学习小结(一)
摘要:参考:https://blog.csdn.net/hellozhxy/article/details/80523499?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecas 阅读全文
posted @ 2020-05-09 22:53 lshan 阅读(467) 评论(0) 推荐(0) 编辑
java数据处理框架-Joinery 使用(类似于python中的pandas)
摘要:cankao :https://blog.csdn.net/weixin_44112790/article/details/95387314 git doc: 然后是DataFrame的手册,可以在里面查找更多的方法,其实都和pandas的差不多。http://cardillo.github.io/ 阅读全文
posted @ 2020-05-09 11:01 lshan 阅读(7971) 评论(0) 推荐(1) 编辑
spark streaming 整和kafka (java)
该文被密码保护。
posted @ 2020-05-08 16:55 lshan 阅读(6) 评论(0) 推荐(0) 编辑
spark sql and df (join ) (java)
该文被密码保护。
posted @ 2020-05-08 01:50 lshan 阅读(0) 评论(0) 推荐(0) 编辑
Spark MySQL使用 (java&scala) 大表问题
摘要:如果是大表, 会出现OOM 原本是这样,直接写Table名称,就会读整张Table .option("dbtable", "test_table")可以改写成:.option("dbtable", "(select * from test_table where dt >= '2017-05-01' 阅读全文
posted @ 2020-05-07 23:39 lshan 阅读(826) 评论(0) 推荐(0) 编辑
sprongboot 解决spark报错:Failed to locate the winutils binary in the hadoop binary path
摘要:1.下载hadoop-common-2.2.0-bin并解压到某个目录 https://github.com/srccodes/hadoop-common-2.2.0-bin 2.设置hadoop.home.dir System.setProperty("hadoop.home.dir", "D:\ 阅读全文
posted @ 2020-05-07 21:26 lshan 阅读(313) 评论(0) 推荐(0) 编辑
springboot 整合spark
摘要:参考:https://my.oschina.net/woter/blog/1843755 依赖: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instan 阅读全文
posted @ 2020-05-07 13:38 lshan 阅读(4744) 评论(1) 推荐(0) 编辑
java1.8 新特性(关于 match,find reduce )操作
摘要:原文:https://www.cnblogs.com/920913cheng/p/10240219.html 1. match处理Integer集合 package lambda.stream; /** * @author 作者:cb * @version 创建时间:2019年1月4日 下午2:35 阅读全文
posted @ 2020-05-06 17:18 lshan 阅读(211) 评论(0) 推荐(0) 编辑
spark ALS算法
摘要:ALS算法参数: // ALS关键代码 val model =ALS.train(训练集,rank,循环次数iter,lambda) 那是怎么想到要这样设置的呢?那就要在了解算法的基础上来设置此参数; 1、训练集,数据格式:(用户id 物品id 评分(0-1) ) 2、rank,根据数据的分散情况测 阅读全文
posted @ 2020-05-06 10:43 lshan 阅读(1111) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示