09 2021 档案
摘要:写爬虫的时候因为正则表达式写的有问题除了一些bug,翻了翻以前记的一些相关的笔记,打算总结一番,当然还是以python为例来写。 所以就直接把python中的re模块的基本使用和正则表达式的匹配规则放在一起了: 匹配单个字符 匹配特定字符串 text = "abc" ret = re.match('
阅读全文
摘要:三数之和 题目描述: 给你一个包含 n 个整数的数组 nums,判断 nums 中是否存在三个元素 a,b,c ,使得 a + b + c = 0 ?请你找出所有和为 0 且不重复的三元组。 注意:答案中不可以包含重复的三元组。 示例 1: 输入:nums = [-1,0,1,2,-1,-4] 输出
阅读全文
摘要:盛最多水的容器 题目描述: 给你 n 个非负整数 a1,a2,...,an,每个数代表坐标中的一个点 (i, ai) 。在坐标内画 n 条垂直线,垂直线 i 的两个端点分别为 (i, ai) 和 (i, 0) 。找出其中的两条线,使得它们与 x 轴共同构成的容器可以容纳最多的水。 说明:你不能倾斜容
阅读全文
摘要:最近工作中有用到python操作ElasticSearch,就借此记录一些常用python的API吧。ElasticSearch基础等以后有时间再去复习和整理一下。 主要就是用这俩: from elasticsearch import Elasticsearch from elasticsearch
阅读全文
摘要:HDFS的读写流程 HDFS读流程 这个图有点别扭,客户端Client放在了右边,不过无伤大雅。 客户端要读取数据,首先是向client发送请求,告诉它要读取某一文件,客户端接到请求后,返回相应的元数据信息。获取到元数据信息后,客户端通过FSDataInputStream依次读取各个datanode
阅读全文
摘要:Hive是什么 Hive 是 Hadoop 家族中一款数据仓库产品,Hive 最大的特点就是提供了类 SQL 的语法,封装了底层的 MapReduce 过程,让有 SQL 基础的业务人员,也可以通过SQL直接利用 Hadoop 进行大数据的操作。像我一开始学习MapReduce的时候,就是通过一个个
阅读全文
摘要:HDFS文件系统 HDFS全拼Hadoop Distributed File System 即Hadoop的分布式文件系统,它其实就是以文件块(block)的形式来存储文件。 在HDFS中,文件被切分为固定大小的数据块,数据块大小默认为64M(也可以设置成其它大小),如果文件大小未超过64M,也会单
阅读全文
摘要:今天要用到一个叫esutil的不知名模块包,如果用pip命令的话不一定可以直接下载来(好像用清华源可以,别的豆瓣源还是什么就找不到模块了)。一般pip安装失败的就可以考虑去发布它的官网或者其他地方下载。 下载得到类似这样的一个压缩文件: 解压到一个文件夹中,打开,可以看到有类似这些信息: 其中set
阅读全文
摘要:题目描述: 给你一个字符串 s,找到 s 中最长的回文子串。 示例 1: 输入:s = "babad" 输出:"bab" 解释:"aba" 同样是符合题意的答案。 示例 2: 输入:s = "cbbd" 输出:"bb" 示例 3: 输入:s = "a" 输出:"a" 示例 4: 输入:s = "ac
阅读全文
摘要:题目描述: 给定两个大小分别为 m 和 n 的正序(从小到大)数组 nums1 和 nums2。请你找出并返回这两个正序数组的 中位数 。 示例 1: 输入:nums1 = [1,3], nums2 = [2] 输出:2.00000 解释:合并数组 = [1,2,3] ,中位数 2 示例 2: 输入
阅读全文
摘要:题目描述: 给定一个字符串 s ,请你找出其中不含有重复字符的 最长子串 的长度。 示例 1: 输入: s = "abcabcbb" 输出: 3 解释: 因为无重复字符的最长子串是 "abc",所以其长度为 3。 示例 2: 输入: s = "bbbbb" 输出: 1 解释: 因为无重复字符的最长子
阅读全文
摘要:题目描述: 给定一个整数数组 nums 和一个整数目标值 target,请你在该数组中找出 和为目标值 target 的那 两个 整数,并返回它们的数组下标。 你可以假设每种输入只会对应一个答案。但是,数组中同一个元素在答案里不能重复出现。 你可以按任意顺序返回答案。 示例 1: 输入:nums =
阅读全文
摘要:两数相加 题目描述: 给你两个 非空 的链表,表示两个非负的整数。它们每位数字都是按照 逆序 的方式存储的,并且每个节点只能存储 一位 数字。 请你将两个数相加,并以相同形式返回一个表示和的链表。 你可以假设除了数字 0 之外,这两个数都不会以 0 开头。 示例 1: 输入:l1 = [2,4,3]
阅读全文