python函数声明（参数/返回值注释）和三个双引号用法
摘要：1 # python的"""三个双引号两种用法：（1）多行注释 （2）定义多行字符串 2 def f1(ham: 42, eggs: int = 'spam') -> "Nothing to see here": 3 print("函数注释", f1.__annotations__) # 函数注释
阅读全文
posted @ 2024-06-18 15:24
随笔分类 - 大数据&算法
在线型业务/大数据场景/AI时代的技术栈
摘要：在线型业务的技术栈 首先当然是硬件，在线业务型的场景下，计算资源基本是CPU为主；存储资源则各种类型都有，主要是IO吞吐、时延、安全性等各种考虑；网络资源公网、内网类型，时延、吞吐考虑等。 在硬件之上（软件定义计算/存储/网络资源），基本都会使用类似K8S，或商用VMWare之类，来更方便的使用硬件
阅读全文
posted @ 2024-04-03 10:27
CNN的进击之路——讲讲ResNet, Inception, ResNeXt和Densenet等常见网络
摘要：前言 本文是一篇大杂烩，按照发布时间总结了CNN的一些常见网络。 AlexNet（2010）—> VGG(2014) ——> GoogLeNet V1(2014)——>ResNet（2015）——>DenseNet（2017）——>MobileNet（2019） https://tobefans.g
阅读全文
posted @ 2024-02-27 16:49
机器学习
摘要：【Coursera版本学习目录】 https://github.com/fengdu78/Coursera-ML-AndrewNg-Notes （一）监督学习（线性回归、逻辑回归、神经网络、支持向量机SVM）。 （二）无监督学习：聚类K-meas算法、主成分分析PCA，异常检测（主要用于无监督，某些
阅读全文
posted @ 2024-02-24 14:51
PCA主成分分析的理解
摘要：u |_matrix1x2_{{-0.70710678118654757};{-0.70710678118654735}} x^(1) |_matrix1x2_{{-0.51805350077523271};{-1.5767841510657621}} x_approx^(1) |_matrix1x
阅读全文
posted @ 2023-08-17 15:44
什么是列式`存储，一文秒懂
摘要：什么是列式`存储，一文秒懂， 为什么MaxCompute采用列式存储？列式存储和行式存储的主要区别在哪 从数据存储讲起 我们最先接触的数据库系统，大部分都是行存储系统。大学的时候学数据库，老师让我们将数据库想象成一张表格，每条数据记录就是一行数据，每行数据包含若干列。所以我们对大部分数据存储的思维也
阅读全文
posted @ 2023-03-31 18:44
谈谈流计算中的『Exactly Once』特性
摘要：本文翻译自 streaml.io 网站上的一篇博文：“Exactly once is NOT exactly the same” ，分析了流计算系统中常说的『Exactly Once』特性，主要观点是：『精确一次』并不保证是完全一样。主要内容如下：目前市面上使用较多的流计算系统有 Apache St
阅读全文
posted @ 2022-12-21 14:51
我整理了一份Flink流计算入门教程清单（转）
摘要：好久不见！ 作为技术出身的我，不太会写软文广告，今天就直接来个硬广。之前与人民邮电出版社合作的《Flink原理与实践》经过一年多时间的打磨和润色，这两天终于与大家见面了，恳请各位朋友多多支持。 Flink这两年已经火得一塌糊涂，不了解Flink，绝对不好意思称自己是个大数据开发。但比起Hadoop和
阅读全文
posted @ 2022-12-16 15:10
实时计算Flink+实时数仓Hologres
摘要：阿里云培训：https://developer.aliyun.com/learning/course/807/detail/13885?accounttraceid=d2070f0a9edb471c99bf53af298c6acbzktc#directory
阅读全文
posted @ 2022-12-14 09:55
流处理和批处理
摘要：批处理 （批处理和流处理介绍） 概念：在批处理中，新到达的数据元素将被收集到一个组中。 然后，在将来的某个时间对整个组进行批处理。 处理每个组的确切时间可以通过多种方式来确定。 例如，可以根据计划的时间间隔（例如，每小时）处理数据，也可以在到达特定数量的数据时触发数据处理，或者作为某些其他事件的结果
阅读全文
posted @ 2022-11-15 14:32
推理(Inference)与预测(Prediction)
摘要：在机器学习的背景下，很多人似乎混淆了这两个术语。这篇文章将试图澄清我们所说的这两个词是什么意思，每一个词在哪里有用，以及它们是如何应用的。在这里，我将举几个例子来直观地理解两者之间的区别。 推理和预测这两个术语都描述了我们在监督下从数据中学习的任务，以便找到一个描述自变量和结果之间关系的模型。然而，
阅读全文
posted @ 2022-08-16 19:50
【百度搜索研发部】以求医为例谈搜索引擎排序算法的基础原理（转）
摘要：我们向搜索引擎网站提交处理一个查问，搜索引擎网站会从先到后列出数量多的最后结果，这些个最后结果排序的标准是啥子呢？这个看似简单的问题，却是信息检索资深专家们研讨的中心困难的问题之一。 为理解释明白这个问题，我们来研讨一个比搜索引擎网站更加古老的话题：求医。譬如，假如我牙疼，应当去看怎样的医生呢？如果
阅读全文
posted @ 2017-09-05 17:25
TF-IDF与余弦相似性的应用（三）：自动摘要
摘要：转：http://www.ruanyifeng.com/blog/2013/03/automatic_summarization.html 有时候，很简单的数学方法，就可以完成很复杂的任务。 这个系列的前两部分就是很好的例子。仅仅依靠统计词频，就能找出关键词和相似文章。虽然它们算不上效果最好的方法，
阅读全文
posted @ 2017-07-07 16:45
TF-IDF与余弦相似性的应用（一）：自动提取关键词
摘要：转自：http://www.ruanyifeng.com/blog/2013/03/tf-idf.html 这个标题看上去好像很复杂，其实我要谈的是一个很简单的问题。 有一篇很长的文章，我要用计算机提取它的关键词（Automatic Keyphrase extraction），完全不加以人工干预，请
阅读全文
posted @ 2017-07-07 16:44
TF-IDF与余弦相似性的应用（二）：找出相似文章
摘要：转：http://www.ruanyifeng.com/blog/2013/03/cosine_similarity.html 上一次，我用TF-IDF算法自动提取关键词。 今天，我们再来研究另一个相关的问题。有些时候，除了找到关键词，我们还希望找到与原文章相似的其他文章。比如，"Google新闻"
阅读全文
posted @ 2017-07-07 13:46
技术向：一文读懂卷积神经网络CNN（转）
摘要：目录(?)[-] 卷积神经网络 转载请注明：http://blog.csdn.net/stdcoutzyx/article/details/41596663 自今年七月份以来，一直在实验室负责卷积神经网络（Convolutional Neural Network，CNN），期间配置和使用过thean
阅读全文
posted @ 2017-06-19 14:13
相关性 ≠ 因果性（转）
摘要：专家说，常食海参使人变得更聪明！ 科学研究表明，20～50岁男人射精越频繁，以后患前列腺癌风险就越低！ 你深信以上这种说法吗？是不是为了变聪明我们就要天天吃海参？是不是为了降低患前列腺癌的风险我们就要天天打飞机？ 相信死理性派的读者，不会轻易就得出结论。但轻易下结论是很多人经常犯的毛病，为了分析类似
阅读全文
posted @ 2017-06-12 16:27
