05 2016 档案

摘要:特征平台(feature store)的定义:一个用于机器学习的数据管理层,允许共享和发现特征并创建更有效的机器学习管道。 1.特征平台业界实现 1.uber 其最早由uber于2017年提出,uber的feature store名为Michaelangelo,参考:Meet Michelangel 阅读全文
posted @ 2016-05-27 18:57 tonglin0325 阅读(1309) 评论(0) 推荐(0) 编辑
摘要:1.介绍 kafka-ui是一个开源的kafka ui工具,支持kafka,schema registry(avro和protobuf都支持),kafka connect,KSQL DB等组件 github项目 https://github.com/provectus/kafka-ui docker 阅读全文
posted @ 2016-05-25 21:27 tonglin0325 阅读(1244) 评论(0) 推荐(0) 编辑
摘要:1.把一个字符串转换成整数(看面试题50)——《剑指Offer》P29 2.求链表中的倒数第k个结点(看面试题15)——《剑指Offer》P30 3.实现Singleton模式——《剑指Offer》P48 参考:http://www.cnblogs.com/tonglin0325/p/5196818 阅读全文
posted @ 2016-05-25 17:10 tonglin0325 阅读(721) 评论(0) 推荐(0) 编辑
摘要:官方下载地址 https://go.dev/dl/ 1.下载pkg版本的安装包,直接双击安装,比如 https://go.dev/dl/go1.20.12.darwin-amd64.pkg 这时默认的GOPATH路径(go依赖的下载路径)在~/go 2.也可以下载tar的压缩包进行安装 下载mac对 阅读全文
posted @ 2016-05-24 20:56 tonglin0325 阅读(384) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2016-05-24 11:17 tonglin0325 阅读(237) 评论(0) 推荐(0) 编辑
摘要:1.Flink CDC介绍 Flink CDC提供了一系列connector,用于从其他数据源获取变更数据(change data capture) 官方文档 https://ververica.github.io/flink-cdc-connectors/release-2.3/content/a 阅读全文
posted @ 2016-05-22 19:53 tonglin0325 阅读(3191) 评论(0) 推荐(0) 编辑
摘要:redis共有5种基本数据类型: String(可以是字符串,整数或者浮点数)、 Hash(哈希,Redis hash 是一个 string 类型的 field(字段) 和 value(值) 的映射表,hash 特别适合用于存储对象。Redis 中每个 hash 可以存储 232 - 1 键值对(4 阅读全文
posted @ 2016-05-22 17:17 tonglin0325 阅读(9032) 评论(0) 推荐(0) 编辑
摘要:建立一个动态web项目,起名为SpringMVC_crud 导包,其中包括jstl的一些包等 1.先写一个User.java,是用户类 文件User.java文件 2.再创建Controller控制器 文件UserController.java add的时候有两种,第一种 第二种 jsp/user/ 阅读全文
posted @ 2016-05-22 11:44 tonglin0325 阅读(534) 评论(0) 推荐(0) 编辑
摘要:JSR 303 – Bean Validation 是一个数据验证的规范,2009 年 11 月确定最终方案。2009 年 12 月 Java EE 6 发布,Bean Validation 作为一个重要特性被包含其中。本文将对 Bean Validation 的主要功能进行介绍,并通过一些示例来演 阅读全文
posted @ 2016-05-22 10:32 tonglin0325 阅读(505) 评论(0) 推荐(0) 编辑
摘要:一、给Controller传值,值将显示在控制台 1.第一种:使用@RequestParam,改HelloController.java //RequestMapping表示用哪一个url来对应 @RequestMapping({"/hello","/"}) public String hello( 阅读全文
posted @ 2016-05-21 20:18 tonglin0325 阅读(1416) 评论(0) 推荐(0) 编辑
摘要:1.cast函数 数据类型转换函数 比如date的值为 参考:Hive中CAST()函数用法 2.explode函数 explode() 函数接收一个 array 或 map 作为输入,然后将 array 或 map 里面的元素按照每行的形式输出。其可以配合 LATERAL VIEW 一起使用 参考 阅读全文
posted @ 2016-05-21 10:48 tonglin0325 阅读(841) 评论(0) 推荐(0) 编辑
摘要:在/usr/share/applications和/usr/share/app-install/desktop寻找需要的图标,没有就自己做一个 eclipse的图标 sublimetext的图标 为了使得sublime能修改root的文件,安装gksu,然后在Exec前面加上gksu 注意末尾不要有 阅读全文
posted @ 2016-05-20 22:24 tonglin0325 阅读(4352) 评论(0) 推荐(0) 编辑
摘要:安装ubuntu 老毛桃进入win pe修复启动项 在win pe下面制作ubuntu的安装盘,只用的软件是ultraISO 参考博客下面的分区的那篇文章 http://jingyan.baidu.com/article/60ccbceb18624464cab197ea.html 此时win pe的 阅读全文
posted @ 2016-05-19 19:34 tonglin0325 阅读(660) 评论(0) 推荐(0) 编辑
摘要:Flink窗口(window)可以用于keyed streams和non-keyed streams 参考官方文档:https://nightlies.apache.org/flink/flink-docs-master/zh/docs/dev/datastream/operators/window 阅读全文
posted @ 2016-05-19 11:37 tonglin0325 阅读(306) 评论(0) 推荐(0) 编辑
摘要:1.递归调用:recursive call 2.回溯法:backtricking method 3.动态规划:dynamic programming 4.定义一个函数:define a function 5.初始化含量:initialize a variable called ... 6.贪心法:g 阅读全文
posted @ 2016-05-19 11:34 tonglin0325 阅读(1669) 评论(0) 推荐(0) 编辑
摘要:1.查询第二高的值 输入:Salary表 + + + | Column Name | Type | + + + | id | int | | salary | int | + + + 使用limit+offset语法来限制结果数量,其中 limit N,1 等于 limit 1 offset N s 阅读全文
posted @ 2016-05-19 10:57 tonglin0325 阅读(806) 评论(0) 推荐(0) 编辑
摘要:1.开启checkpoint 默认情况下checkpoint是禁用的,需要手动进行开启,如下 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); StreamTableEnvir 阅读全文
posted @ 2016-05-18 12:53 tonglin0325 阅读(508) 评论(0) 推荐(0) 编辑
摘要:1.SpringMVC概念 2.整个springmvc运行的流程 请求--><1>Dispatcher servlet(controller控制器)--><2>HandlerMapping(这个在配置文件中写,可以通过这个找到url该给哪个具体的controller来处理) --><3>contro 阅读全文
posted @ 2016-05-18 10:10 tonglin0325 阅读(424) 评论(0) 推荐(0) 编辑
摘要:为了方便使用Flink对流式数据进行统一的读写,需要开发统一的source服务 1. kafka source 需要可配置的参数,参考flume的kafka source配置参数 https://flume.apache.org/FlumeUserGuide.html#kafka-source 定义 阅读全文
posted @ 2016-05-17 23:40 tonglin0325 阅读(458) 评论(0) 推荐(0) 编辑
摘要:DelayQueue是一个基于优先队列(PriorityQueue)实现的阻塞队列(BlockingQueue),队列中的消息的优先级是根据消息的TTL来决定的。 参考:Java延迟队列DelayQueue 使用延迟队列实现定时任务调度器 参考:https://soulmachine.gitbook 阅读全文
posted @ 2016-05-17 23:37 tonglin0325 阅读(1900) 评论(0) 推荐(0) 编辑
摘要:POJO(Plain Ordinary Java Object)简单的Java对象,实际就是普通JavaBeans,是为了避免和EJB混淆所创造的简称。 使用POJO名称是为了避免和EJB(Enterprise JavaBean)混淆起来, 而且简称比较直接. 其中有一些属性及其getter set 阅读全文
posted @ 2016-05-15 19:39 tonglin0325 阅读(1220) 评论(0) 推荐(0) 编辑
摘要:前端发起请求可以使用Ajax(使用XMLHttpRequest),fetch(基于Promise),Axios(基于Promise,内部使用 XMLHttpRequest 对象来实现发起和处理网络请求)等工具 可以使用浏览器的开发者工具来查看前端的请求是xhr还是fetch,比如访问google网站 阅读全文
posted @ 2016-05-14 20:07 tonglin0325 阅读(237) 评论(0) 推荐(0) 编辑
摘要:1.添加JMX端口 export JMX_PORT=xxx 然后启动java进程 2.命令行启动 jconsole,并连接remote JMX端口 阅读全文
posted @ 2016-05-14 16:29 tonglin0325 阅读(145) 评论(0) 推荐(0) 编辑
摘要:目前在Kubernetes 1.18 version中,已经支持4种不同类型的容器,分别为:标准容器(主容器)、Sidecar容器、Init 容器以及Ephemeral 容器。 1、标准容器标准容器是Kubernetes中最常见的容器类型,它们是Pod中的核心组件,用于运行应用程序或服务。标准容器使 阅读全文
posted @ 2016-05-14 16:06 tonglin0325 阅读(150) 评论(0) 推荐(0) 编辑
摘要:server.xml配置数据帐号和密码等 阅读全文
posted @ 2016-05-14 11:29 tonglin0325 阅读(144) 评论(0) 推荐(0) 编辑
摘要:rsync和scp类似,可以用于在机器之间的数据拷贝 Rsync同步文件时如何排除指定文件夹或多个目录 What are the differences between the rsync delete options? 阅读全文
posted @ 2016-05-13 22:55 tonglin0325 阅读(165) 评论(0) 推荐(0) 编辑
摘要:1.使用docker部署环境 docker run -p 9030:9030 -p 8030:8030 -p 8040:8040 -itd starrocks/allin1-ubuntu 参考:https://docs.starrocks.io/docs/quick_start/deploy_wit 阅读全文
posted @ 2016-05-08 17:37 tonglin0325 阅读(191) 评论(0) 推荐(0) 编辑
摘要:广告按形式进行分类,可以分成: 1.激励广告(rewarded ad) 主要使用场景是小游戏,工具类的应用,比如观看激励视频广告后获得复活机会,工具免费使用的次数等 2.插屏广告(Interstitial ad) 主要使用场景是在页面切换的时候,比如应用开屏广告,界面切换广告 3.原生广告(nati 阅读全文
posted @ 2016-05-08 11:06 tonglin0325 阅读(337) 评论(0) 推荐(0) 编辑
摘要:1.投放相关 1.CPI (Cost per install)获客成本以及渠道是否有效的衡量指标 2.oCPM(Optimized Cost per Mille的缩写),即优化千次展现出价,本质还是按照cpm付费。采用更精准的点击率和转化率预估机制,将广告展现给最容易产生转化的用户,在获取流量的同时 阅读全文
posted @ 2016-05-07 23:03 tonglin0325 阅读(315) 评论(0) 推荐(0) 编辑
摘要:生成key文件 openssl genrsa -des3 -out dummy.key 2048 生成pem文件 openssl rsa -inform PEM -outform PEM -in dummy.key -pubout -out dummy-nopass.pem 阅读全文
posted @ 2016-05-07 22:47 tonglin0325 阅读(233) 评论(0) 推荐(0) 编辑
摘要:1.启动pyspark 2.读取文件 >>> from pyspark.sql import SparkSession >>> >>> spark = SparkSession.builder.appName("myjob").getOrCreate() >>> df = spark.read.te 阅读全文
posted @ 2016-05-05 23:30 tonglin0325 阅读(184) 评论(0) 推荐(0) 编辑
摘要:对比thrift使用TCompactProtocol协议,protobuf使用,以及avro使用AvroKeyOutputFormat格式进行序列化对数据进行序列化后数据量大小 由于thrift的binary数据类型不能再次序列化化成二进制,所以测试的schema中没有binary类型的字段 1.a 阅读全文
posted @ 2016-05-05 21:30 tonglin0325 阅读(259) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示