08 2022 档案
摘要:上周做私有云的扩容,有一台设备中有5T的日志存储数据,需要把日志数据备份到其他的设备中,考虑到一个方案,准备用NFS 先简单介绍一下NFS服务器是什么? NFS server可以看作是一个FILE SERVER,它可以让你的PC通过网络将远端的NFS SERVER共享出来的档案MOUNT到自己的系统
阅读全文
摘要:Linux定时清理日志脚本 在应用疯狂打日志的情况下,服务器很容易被塞满磁盘。 先要写一个shell脚本,脚本如下。 #!/bin/bash # 使用规范 #1、该文件固定存放在linux的 /usr/local/zjport_test/delFiles 目录下 #2、各责任人维护好要清理日志文件的
阅读全文
摘要:记录一种日志封装 logger.py import os import logging class AppLogger: def __init__(self, name, level=logging.DEBUG, stdout=False, tofile=None): # 创建一个logger se
阅读全文
摘要:Mock是什么 Mock这个词在英语中有模拟的这个意思,因此我们可以猜测出这个库的主要功能是模拟一些东西。准确的说,Mock是Python中一个用于支持单元测试的库,它的主要功能是使用mock对象替代掉指定的Python对象,以达到模拟对象的行为。简单的说,mock库用于如下的场景: 假设你开发的项
阅读全文
摘要:(1)/etc/fstab 每行定义一个要挂载的文件系统 mount -a 自动挂载/etc/fstab文件没有挂载的设备,不管已挂载过的设备 如果想刷新修改过已挂载的设备,mount -o remount /dev/sdX(或挂载点) swpon -a 自动激活/etc/fstab文件没有激活的交
阅读全文
摘要:环境安装 pip install PyExecJS(自己pip安装,安装成功后,最好重启下cmd终端和pycharm,或者重启电脑) 安装node.js开发环境:安装好了之后,记得重启电脑! js改写工具 PyExecJS介绍 PyExecJS 是一个可以使用 Python 来模拟运行 JavaSc
阅读全文
摘要:逆向重点掌握的内容: 1.逆向的思维 2.网站逆向的分析思路和步骤 注意:重点不是放在代码中,而是分析的思路和套路(技巧) 逆向到底是什么? 通俗来讲,逆向就是处理爬虫过程中对于加密数据的破解,和一些动态变化请求参数的处理。 js常见的加密方式 加密在前端开发和爬虫中是经常遇见的。掌握了加密算法且可
阅读全文
摘要:各种加密逻辑 在我们进行js逆向的时候. 总会遇见一些我们人类无法直接能理解的东西出现. 此时你看到的大多数是被加密过的密文. 一. 一切从MD5开始 (Message-Digest Algorithm ) MD5信息摘要算法(英语:MD5 Message-Digest Algorithm) M
阅读全文
摘要:简介 什么是框架? 所谓的框,其实说白了就是一个【项目的半成品】,该项目的半成品需要被集成了各种功能且具有较强的通用性。 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名,非常强悍。所谓的框架就是一个已经被集成了各种功能(高性能异步下载,队列,分布式,解析,持久化等)的具
阅读全文
摘要:MongoDB数据存储 MongoDB是一个非关系型数据库(NoSQL). 非常适合超大数据集的存储, 由 C++ 语言编写,旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。 下面是
阅读全文
摘要:M3U8流视频数据爬虫 HLS技术介绍 现在大部分视频客户端都采用HTTP Live Streaming,而不是直接播放MP4等视频文件(HLS,Apple为了提高流播效率开发的技术)。HLS技术的特点是将流媒体切分为若干【TS片段】(比如几秒一段),然后通过一个【M3U8列表文件】将这些TS片段批
阅读全文
摘要:1. 白话垃圾回收 用通俗的语言解释内存管理和垃圾回收的过程,搞懂这一部分就可以去面试、去装逼了… 1.1 大管家refchain 在Python的C源码中有一个名为refchain的环状双向链表,这个链表比较牛逼了,因为Python程序中一旦创建对象都会把这个对象添加到refchain这个链表中。
阅读全文
摘要:博客园的在线文档编辑器挺好用,但是网页上编辑,始终还是没有本地编辑方便。 本人本地编辑使用的是typora编辑器,很好的支持markdown文件,并且能够本地解析markdown的格式。关于typora的安装很简单,点击跳转到官网下载。 不多说了,进入主题: 1、上传本地markdown文件到博客园
阅读全文
摘要:在Linux中: 0:表示键盘输入(stdin) 1:表示标准输出(stdout),系统默认是1 2:表示错误输出(stderr) shell命令:command >/dev/null 2>&1 & 等同于 command 1>/dev/null 2>&1 & 1)command:表示shell命令
阅读全文
摘要:【自动化测试学习路线】 1. 自动化测试必备Python编程内容 2. Web UI 自动化测试基础内容 3. Web UI 自动化测试实战内容 4. APP UI 自动化测试基础内容 5. APP UI 自动化测试实战内容 6. API 接口自动化测试基础内容 7. API 接口自动化测试实战内容
阅读全文
摘要:地址:https://www.runoob.com/postgresql/postgresql-tutorial.html 1. psql -h localhost -p 5432 -U sps sps_db 2.查看数据库 \l; 3.查看表结构 \d tablename; 4.如果你想要数据库的
阅读全文
摘要:1、 LDAP的存储规则 区分名(DN,Distinguished Name) 文件系统/LDAP/电话号码簿目录的每一个分支都至少有一个独一无二的属性,这一属性可以帮助我们来区别。 文件系统,相对路径:/etc/passwd;绝对路径:D:\Baidu\database。 在LDAP中,一个条目的
阅读全文
摘要:简介 当我们想快速了解书籍、小说、电影剧本中的内容时,可以绘制 WordCloud 词云图,显示主要的关键词(高频词),可以非常直观地看到结果。 一般的云图可以利用在线的云图制作工具就可以满足,例如:TAGUL 、图悦 、Tagxedo 、Tocloud 等。 如果我们想要有一个好的云图展示,就需要
阅读全文