08 2021 档案
摘要:谈到大数据传输都会想到 Kafka,Kafka 号称大数据的杀手锏,在业界有很多成熟的应用场景并且被主流公司认可。这款为大数据而生的消息中间件,以其百万级TPS的吞吐量名声大噪,迅速成为大数据领域的宠儿,在数据采集、传输、存储的过程中发挥着举足轻重的作用。 在业界已经有很多成熟的消息中间件如:Rab
阅读全文
摘要:# 引言 在开发中,往往会遇到一些关于延时任务的需求。例如 生成订单30分钟未支付,则自动取消 生成订单60秒后,给用户发短信 对上述的任务,我们给一个专业的名字来形容,那就是延时任务。那么这里就会产生一个问题,这个延时任务和定时任务的区别究竟在哪里呢?一共有如下几点区别 定时任务有明确的触发时间,
阅读全文
摘要:查看内存的使用情况free 或者 top total 总内存used 已用内存free 空闲内存buff/cache 已使用的缓存avaiable 可用内存 清理已使用的缓存(buff/cache)前面加sync 是为了防止内容丢失,运行sync会把未存盘的cache都写入磁盘,稍等片刻, 或者是直
阅读全文
摘要:送分题 面试官:有操作过Linux吗? 我:有的呀 面试官:我想查看内存的使用情况该用什么命令 我:free 或者 top 面试官:那你说一下用free命令都可以看到啥信息 我:那,如下图所示 可以看到内存以及缓存的使用情况 total 总内存 used 已用内存 free 空闲内存 buff/ca
阅读全文
摘要:Node.js 提供的 Inspector 非常强大,不仅可以用来调试 Node.js 代码,还可以实时收集 Node.js 进程的 Heap Snapshot、Cpu Profile 等数据,同时支持静态、动态开启,是一个非常强大的工具,也是我们调试和诊断 Node.js 进程非常好的方式。本文从
阅读全文
摘要:Node.js 是一个 Javascript 的运行时,提供了系统能力的 api,主要是文件、网络相关的 IO api,而 IO api 的实现是在 libuv,提供了同步异步两种形式的 api。 本来就来探究下 libuv 的功能和提供的 api 的形式。 同步异步、事件循环 cpu 是顺序执行代
阅读全文
摘要:Web Audio提供了一个强大的音频处理系统,在我们现有的业务场景中,很少有使用到Web Audio,很多时候用到也仅限于播放一段音频。 除此之外,还能实现丰富的功能,比如:可视化、音色合成器、动态混音、声音特效、3D空间音频、均衡器、环境混响等,可以应用在音乐播放器、电子音乐软件、游戏音效、音乐
阅读全文
摘要:前言 前端开发肯定离不开判断一个元素是否能被用户看见,然后再基于此进行一些交互。 过去,要检测一个元素是否可见或者两个元素是否相交并不容易,很多解决办法不可靠或性能很差。然而,随着互联网的发展,这种需求却与日俱增,比如,下面这些情况都需要用到相交检测: 图片懒加载——当图片滚动到可见时才进行加载 内
阅读全文
摘要:无论是系统运维,还是应用运维,均可分为“纯手工”—> “脚本化”—> “自动化”—>“智能化”几个阶段,其中自动化阶段,主要是将一些重复性人工操作和运维经验封装为程序或脚本,一方面避免重复性操作及风险,另一方面提高执行效率。在自动化运维的转变过程中,经常使用的可能就是shell脚本了,今天主要分享下
阅读全文
摘要:下面的指南将教你如何安装和使用 ngxtop。 本软件是一款免费、开源、灵活、实时的 Nginx 网络服务器监控工具。 它的工作原理是程序解析 Nginx 访问日志并打印有关请求计数、URI 和状态代码等顶级功能的信息。 这是系统管理员或高级用户的最爱,他们想要一个轻量级工具来监控对他们的 Ngin
阅读全文
摘要:Linux 目录结构 对于每一个Linux学习者来说,了解Linux文件系统的目录结构,是学好Linux的至关重要的一步.,深入了解linux文件目录结构的标准和每个目录的详细功能,对于我们用好linux系统至关重要,下面我们就开始了解一下linux目录结构的相关知识。 当在使用Linux的时候,如
阅读全文
摘要:1前言 使用Shell脚本在Linux服务器上能够控制、毁坏或者获取任何东西,通过一些巧妙的攻击方法黑客可能会获取巨大的价值,但大多数攻击也留下踪迹。当然,这些踪迹也可通过Shell脚本等方法来隐藏。 寻找攻击证据就从攻击者留下的这些痕迹开始,如文件的修改日期。每一个Linux文件系统中的每个文件都
阅读全文
摘要:继上一篇文章Pandas数据处理——盘点那些常用的函数(上),这篇文章整理了剩下的一些Pandas常见方法,整体难度会比上一篇文章中的大一点,但还是比较容易理解的。话不多说,直接进入正题。 用于演示的数据如下: In [11]: data Out[11]: company gender salary
阅读全文
摘要:在之前的文章中,以图文的方式详细讲解了Pandas中groupby,merge以及map、apply、applymap的原理,掌握好这些原理,再在这个基础上进行一些拓展,基本就可以解决绝大部分比较复杂的数据处理操作了。几篇文章如下,想回看的小伙伴可以再重温一下: Pandas数据处理三板斧——map
阅读全文
摘要:为了方便维护,一般公司的数据在数据库内都是分表存储的,比如用一个表存储所有用户的基本信息,一个表存储用户的消费情况。所以,在日常的数据处理中,经常需要将两张表拼接起来使用,这样的操作对应到SQL中是join,在Pandas中则是用merge来实现。这篇文章就讲一下merge的主要原理。 上面的引入部
阅读全文
摘要:在日常的数据处理中,经常会对一个DataFrame进行逐行、逐列和逐元素的操作,对应这些操作,Pandas中的map、apply和applymap可以解决绝大部分这样的数据处理需求。这篇文章就以案例附带图解的方式,为大家详细介绍一下这三个方法的实现原理,相信读完本文后,不论是小白还是Pandas的进
阅读全文
摘要:在日常的数据分析中,经常需要将数据根据某个(多个)字段划分为不同的群体(group)进行分析,如电商领域将全国的总销售额根据省份进行划分,分析各省销售额的变化情况,社交领域将用户根据画像(性别、年龄)进行细分,研究用户的使用情况和偏好等。在Pandas中,上述的数据处理操作主要运用groupby完成
阅读全文
摘要:安全是 IT 行业一个老生常谈的话题了,从之前的“棱镜门”事件中折射出了很多安全问题,处理好信息安全问题已变得刻不容缓。不掉坑,不背锅!史上最全的服务器安全管理规范开源了。 因此做为程序员,就必须了解一些安全准则,同时,要保护自己所负责的业务,首先要站在攻击者的角度思考问题,修补任何潜在的威胁和漏洞
阅读全文
摘要:最近单位又有一个新Java项目。 涉及到扫码登录。之前项目使用的是 ajax轮询的方式。感觉太low了。 所以这次用webSocket的方式进行实现 好。废话不多说!咱们开始!! 一、首先咱们需要一张表 这表是干啥的呢? 就是记录一下谁扫码了。谁登录了。 User_Token表 字段如下: 1、uu
阅读全文
摘要:一起网易云 🍉 网易云音乐想必是大家很熟悉的一款 app 了,毕竟大家在深夜都会网抑云 开玩笑了,最近在网易云听歌时,发现了一个很有意思的特效: 就是切换歌曲时,会根据当前封面替换背景色。作为资深切图仔,我那该死的好奇心兜不住了,不行,我要去一探究竟。 首先我构思了很多它可能的实现方式: 机器学习
阅读全文
摘要:Python在内存中读写数据,用到的模块是StringIO和BytesIO StringIO >>> from io import StringIO >>> f = StringIO() >>> f.write('hello') 5 >>> f.write(' ') 1 >>> f.write('w
阅读全文
摘要:Neo4j是一个高性能的,NOSQL图形数据库,它将结构化数据存储在网络上而不是表中。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎,但是它将结构化数据存储在网络(从数学角度叫做图)上而不是表中。Neo4j也可以被看作是一个高性能的图引擎,该引擎具有成熟数据库的所有特性。程序员
阅读全文
摘要:ag:比grep、ack更快的递归搜索文件内容。 tig:字符模式下交互查看git项目,可以替代git命令。 mycli:mysql客户端,支持语法高亮和命令补全,效果类似ipython,可以替代mysql命令。 jq: json文件处理以及格式化显示,支持高亮,可以替换python -m json
阅读全文
摘要:前言 最近在读 Nginx 相关的书籍,做一下读书笔记。 Nginx 作为业界知名的高性能服务器,被广泛的应用。它的高性能正是由于其优秀的架构设计,其架构主要包括这几点:模块化设计、事件驱动架构、请求的多阶段异步处理、管理进程与多工作进程设计、内存池的设计,以下内容依次进行说明。 模块化设计 高度模
阅读全文