摘要:
1. ES简介 Elasticsearch 是由Apache开源的一个兼有搜索引擎和NoSQL数据库功能的系统,其特点主要如下。 l 基于Java/Lucene构建,支持全文搜索、结构化搜索 l 低延迟,支持实时搜索 l 分布式部署,可横向集群扩展 l 支持百万级数据 l 支持多条件复杂查询,如聚合 阅读全文
摘要:
hadoop的核心是 HDFS 和 MapReduce HDFS(Hadoop Distributed File System,Hadoop分布式文件系统) MapReduce(MapReduce,大数据处理):从海量·源数据提取分析元素最后返回结果集的编程模型 阅读全文
摘要:
分布式 CAP 理论: 任何一个分布式系统都无法同时满足一致性(Consistency)、可用性(Availability)和分区容错性(Partition tolerance),最多只能同时满足两项。 锁只要能保证互斥就行,可以将标记存在内存当中。 单机将标记存在堆内存当中,针对的是多线程 分布式 阅读全文
摘要:
Request Header: Header解释示例 Accept 指定客户端能够接收的内容类型 Accept: text/plain, text/html Accept-Charset 浏览器可以接受的字符编码集 Accept-Charset: iso-8859-5 Accept-Encoding 阅读全文
摘要:
通过Python3.8 来写爬虫代码,获取网站信息 爬虫库:requests 一般用于处理网络请求,获取html页面 requests库的session会话对象可以跨请求保持某些参数。说白了,就是使用session成功的登录了某个网站,则在再次使用该session对象求求该网站的其他网页都会默认使用 阅读全文
摘要:
当编写shell脚本时,总是不可避免的要与外界进行交互。 通过 read -p "请输入:" input 指令,可以实现由键盘到脚本的交互。 但是由输入法进行输入的时候,不可避免会产生一些特殊字符,如果一起输入脚本,会造成脚本的不稳定,因此需要对从键盘输入 的字符进行校验。 path=`pwd` w 阅读全文
摘要:
1. 角色(role)与用户(user):对于PostgreSQL来说,这是完全相同的两个对象。 唯一的区别是在创建的时候:ROLE不具有缺省的LOGIN权限。 CREATE ROLE kanon PASSWORD 'kanon' LOGIN; 等同于 CREATE USER kanon PASSW 阅读全文
摘要:
数据库备份: 1.采用sql文件进行备份 2.直接复制数据库文件进行全局备份 1.采用sql文件进行备份 将数据库dbname,从host1复制到host2 pg_dump -h host1 dbname | psql -h host2 dbname pg_dump指令: 备份:pg_dump db 阅读全文
摘要:
linux vi/vim 显示行号: :set nu vi/vim 取消显示行号: :set nonu cat /etc/redhat-release && cat /etc/lsb-releaseradhat或centos存在: /etc/redhat-release 这个文件【 命令 cat / 阅读全文
摘要:
GBK编码范围: x00-xff GBK双字节编码范围x20-x7f ASCIIxa1-xff 中文x80-xff 中文 utf-8编码范围: u4e00-u9fa5 (中文)x3130-x318F (韩文)xAC00-xD7A3 (韩文)u0800-u4e00 (日文) 阅读全文