大数据与云计算 - 随笔分类 - 一天不进步，就是退步

各个大厂的机器学习平台概述

摘要：机器学习的核心是“使用算法解析数据，从中学习，然后对世界上的某件事情做出决定或预测”。这意味着，与其显式地编写程序来执行某些任务，不如教计算机如何开发一个算法来完成任务。有三种主要类型的机器学习：监督学习、非监督学习和强化学习，所有这些都有其特定的优点和缺点。人工智能正成为企业转型过程中的关键组成阅读全文

posted @ 2019-08-01 16:28 一天不进步，就是退步阅读(2393) 评论(0) 推荐(0) 编辑

flink入门实战总结

摘要：随着大数据技术在各行各业的广泛应用，要求能对海量数据进行实时处理的需求越来越多，同时数据处理的业务逻辑也越来越复杂，传统的批处理方式和早期的流式处理框架也越来越难以在延迟性、吞吐量、容错能力以及使用便捷性等方面满足业务日益苛刻的要求。在这种形势下，新型流式处理框架Flink通过创造性地把现代大规模阅读全文

posted @ 2019-07-27 21:12 一天不进步，就是退步阅读(4874) 评论(0) 推荐(0) 编辑

使用flink Table &Sql api来构建批量和流式应用(3)Flink Sql 使用

摘要：从flink的官方文档，我们知道flink的编程模型分为四层，sql层是最高层的api，Table api是中间层，DataStream/DataSet Api 是核心，stateful Streaming process层是底层实现。其中， flink dataset api使用及原理介绍了D 阅读全文

posted @ 2019-07-19 17:24 一天不进步，就是退步阅读(4916) 评论(0) 推荐(0) 编辑

使用flink Table &Sql api来构建批量和流式应用(2)Table API概述

摘要：从flink的官方文档，我们知道flink的编程模型分为四层，sql层是最高层的api，Table api是中间层，DataStream/DataSet Api 是核心，stateful Streaming process层是底层实现。其中， flink dataset api使用及原理介绍了D 阅读全文

posted @ 2019-07-17 15:46 一天不进步，就是退步阅读(1801) 评论(0) 推荐(0) 编辑

使用flink Table &Sql api来构建批量和流式应用(1)Table的基本概念

摘要：从flink的官方文档，我们知道flink的编程模型分为四层，sql层是最高层的api，Table api是中间层，DataStream/DataSet Api 是核心，stateful Streaming process层是底层实现。其中， flink dataset api使用及原理介绍了D 阅读全文

posted @ 2019-07-15 11:42 一天不进步，就是退步阅读(8809) 评论(2) 推荐(0) 编辑

Flink中的状态与容错

摘要：1.概述 Flink支持有状态计算，根据支持得不同状态类型，分别有Keyed State和Operator State。针对状态数据得持久化，Flink提供了Checkpoint机制处理；针对状态数据，Flink提供了不同的状态管理器来管理状态数据，如MemoryStateBackend。上面Fl 阅读全文

posted @ 2019-07-09 18:21 一天不进步，就是退步阅读(1238) 评论(0) 推荐(0) 编辑

flink window实例分析

摘要：window是处理数据的核心。按需选择你需要的窗口类型后，它会将传入的原始数据流切分成多个buckets，所有计算都在window中进行。 flink本身提供的实例程序TopSpeedWindowing.java 其中， 1. 定义时间戳，上篇文章<flink中的时间戳如何使用？ Watermark 阅读全文

posted @ 2019-07-01 16:48 一天不进步，就是退步阅读(1356) 评论(0) 推荐(0) 编辑

flink中的时间戳如何使用？---Watermark使用及原理

只有注册用户登录后才能阅读该文。

posted @ 2019-06-28 17:57 一天不进步，就是退步阅读(73) 评论(0) 推荐(0) 编辑

flink DataStream API使用及原理

摘要：传统的大数据处理方式一般是批处理式的，也就是说，今天所收集的数据，我们明天再把今天收集到的数据算出来，以供大家使用，但是在很多情况下，数据的时效性对于业务的成败是非常关键的。 Spark 和 Flink 都是通用的开源大规模处理引擎，目标是在一个系统中支持所有的数据处理以带来效能的提升。两者都有相对阅读全文

posted @ 2019-06-26 09:10 一天不进步，就是退步阅读(3547) 评论(0) 推荐(0) 编辑

flink dataset api使用及原理

摘要：随着大数据技术在各行各业的广泛应用，要求能对海量数据进行实时处理的需求越来越多，同时数据处理的业务逻辑也越来越复杂，传统的批处理方式和早期的流式处理框架也越来越难以在延迟性、吞吐量、容错能力以及使用便捷性等方面满足业务日益苛刻的要求。在这种形势下，新型流式处理框架Flink通过创造性地把现代大规模阅读全文

posted @ 2019-06-20 15:12 一天不进步，就是退步阅读(5006) 评论(0) 推荐(1) 编辑

从flink-example分析flink组件(3)WordCount 流式实战及源码分析

摘要：前面介绍了批量处理的WorkCount是如何执行的 <从flink-example分析flink组件(1)WordCount batch实战及源码分析> <从flink-example分析flink组件(2)WordCount batch实战及源码分析 flink如何在本地执行的？> 这篇从Word 阅读全文

posted @ 2019-06-13 15:35 一天不进步，就是退步阅读(1833) 评论(0) 推荐(0) 编辑

从flink-example分析flink组件(2)WordCount batch实战及源码分析----flink如何在本地执行的？

只有注册用户登录后才能阅读该文。

posted @ 2019-06-06 18:05 一天不进步，就是退步阅读(100) 评论(0) 推荐(0) 编辑

从flink-example分析flink组件(1)WordCount batch实战及源码分析

摘要：上一章<windows下flink示例程序的执行> 简单介绍了一下flink在windows下如何通过flink-webui运行已经打包完成的示例程序(jar)，那么我们为什么要使用flink呢？ flink的特征官网给出的特征如下： 1、一切皆为流（All streaming use cases 阅读全文

posted @ 2019-05-30 15:44 一天不进步，就是退步阅读(3164) 评论(0) 推荐(0) 编辑

windows下flink示例程序的执行

摘要：1.什么是flink Apache Flink® - Stateful Computations over Data Streams 2.启动下载地址我下载了1.7.2 版本解压到本地文件目录下进入bin路径 D:\software\flink-1.7.2\bin 打开cmd 运行start 阅读全文

posted @ 2019-05-17 16:14 一天不进步，就是退步阅读(2061) 评论(0) 推荐(0) 编辑

solr查询特殊字符的处理

摘要：1. 使用solr的页面功能时，遇到语法错误 2. 确认原因从lexical error分析时特殊字符的问题。首先 solr查询有哪些特殊字符？查找官方文档：http://lucene.apache.org/core/7_6_0/queryparser/org/apache/lucene/qu 阅读全文

posted @ 2019-03-27 10:37 一天不进步，就是退步阅读(2548) 评论(0) 推荐(1) 编辑

solr查询工作原理深入内幕

摘要：1.什么是Lucene？作为一个开放源代码项目，Lucene从问世之后，引发了开放源代码社群的巨大反响，程序员们不仅使用它构建具体的全文检索应用，而且将之集成到各种系统软件中去，以及构建Web应用，甚至某些商业软件也采用了Lucene作为其内部全文检索子系统的核心。apache软件基金会的网站使用阅读全文

posted @ 2019-03-21 16:56 一天不进步，就是退步阅读(4245) 评论(0) 推荐(0) 编辑

solr概况

摘要：1.solr对比lucence lucence vs solr 类似于引擎 vs 汽车。 2. solr架构 3. 对应lucence/solr源码分析 RequestHandler 处理一个url请求如/select.其层次结构为： Response Writers updateHandler s 阅读全文

posted @ 2019-03-11 13:31 一天不进步，就是退步阅读(106) 评论(0) 推荐(0) 编辑

Apache Solr 实现去掉重复的搜索结果

摘要：https://lucene.apache.org/solr/guide/7_2/collapse-and-expand-results.html#collapsing-query-parser 对应的源码实现QParserPlugin 具体如下：阅读全文

posted @ 2019-03-07 17:14 一天不进步，就是退步阅读(694) 评论(0) 推荐(0) 编辑

solr调用lucene底层实现倒排索引源码解析

摘要：1.什么是Lucene？作为一个开放源代码项目，Lucene从问世之后，引发了开放源代码社群的巨大反响，程序员们不仅使用它构建具体的全文检索应用，而且将之集成到各种系统软件中去，以及构建Web应用，甚至某些商业软件也采用了Lucene作为其内部全文检索子系统的核心。apache软件基金会的网站使用阅读全文

posted @ 2019-03-07 13:26 一天不进步，就是退步阅读(1676) 评论(0) 推荐(1) 编辑

lucene-solr本地调试方法

摘要：1.下载并编译lucene-solr的源代码,并导入 eclipse sts等 2.修改SolrDispatchFilter的solr.solr.home属性，我们这里将其直接修改为一个本地绝对路径，以便能够直接启动： //String solrHome = (String) config.getS 阅读全文

posted @ 2019-03-06 16:39 一天不进步，就是退步阅读(794) 评论(0) 推荐(0) 编辑

随笔分类 - 大数据与云计算