05 2020 档案

头条爬虫失败的JS逆向过程
摘要：2020年5月28日18:48:03第一次编写。 头条爬虫失效了，请求新闻详情页面，会返回JS页面，进行JS执行，然后带着JS执行出来的参数再次请求，会请求到正确的页面。 返回的需要重定向的页面 <html> <head> <meta charset="UTF-8" /> </head> <body 阅读全文
posted @ 2020-05-29 11:07 呓语i 阅读(4264) 评论(0) 推荐(0)
使用Rbenv安装Ruby
摘要：使用Rbenv安装Ruby 需要安装的工具 sudo yum install git-core zlib zlib-devel gcc-c++ patch readline readline-devel libyaml-devel libffi-devel openssl-devel make bz 阅读全文
posted @ 2020-05-28 13:45 呓语i 阅读(911) 评论(0) 推荐(0)
VSCode 连接远程文件，Win10SSH登陆远程服务器
摘要：VSCode 连接远程文件，Win10SSH登陆远程服务器 1. 安装OpenSSH Get-WindowsCapability -Online | ? Name -like 'OpenSSH*' 安装客户端 Add-WindowsCapability -Online -Name OpenSSH.C 阅读全文
posted @ 2020-05-28 11:36 呓语i 阅读(1477) 评论(0) 推荐(0)
python requests的超时和重试
摘要：问题描述 在使用 域名 请求接口时，有两个地方会出现超时， 连接超时 和 读取超时 关于接口服务器响应超时 可以在本地搭建测试环境。 1. 搭建测试接口服务器 需要有 包，使用以下命令安装 2. 测试代码 3. 测试读取超时 运行测试代码之后，出现以下情况 从上面的日志信息，可以看出API请求了3次 阅读全文
posted @ 2020-05-22 14:35 呓语i 阅读(1481) 评论(0) 推荐(0)
MySql CSV文件格式导入导出
摘要：1. 检查MYSQL是否允许导入文件 | 值 | 含义 | | | : | | NULL | 禁止文件导入导出 | | "" | 空字符，允许文件导入导出 | | 特定路径 | 只有在该路径下的文件可以导入导出mysql | 如果为 NULL ,则在配置文件中添加 然后重启MYSQL SQL导入语句 阅读全文
posted @ 2020-05-21 19:59 呓语i 阅读(169) 评论(0) 推荐(0)
Mongodb 副本集组成
摘要：副本集的组成 Mongodb的复制功能是使用操作日志oplog实现的，操作日志包含了主节点的每一次写操作。oplog是主节点的local数据库中的一个 固定集合 。 每个备份节点都维护这自己的oplog，记录着每一次从主节点复制数据的操作。 如果某个备份节点挂掉了，重新启动之后会自动从oplog中最 阅读全文
posted @ 2020-05-15 23:54 呓语i 阅读(151) 评论(0) 推荐(0)
linux 管理 网络命令相关
摘要：命令 traceroute 通过traceroute我们可以知道信息从你的计算机到互联网另一端的主机是走的什么路径。当然每次数据包由某一同样的出发点（source）到达某一同样的目的地(destination)走的路径可能会不一样，但基本上来说大部分时候所走的路由是相同的。linux系统中，我们称之 阅读全文
posted @ 2020-05-13 23:54 呓语i 阅读(137) 评论(0) 推荐(0)
NLP gensim 相似度计算
摘要：```pythonfrom collections import defaultdictfrom gensim import corporaimport jiebafrom gensim import similaritiesimport reclass Similarity: def docs(self, datas): # 构建主搜索索引 docs = [] ... 阅读全文
posted @ 2020-05-13 23:53 呓语i 阅读(229) 评论(0) 推荐(0)
python ipython使用
摘要：获取一个文档的帮助 补全代码 快捷键 导航快捷键 | 快捷键 | 动作 | | | | | Ctrl+a | 移动到本行的开始 | | Ctrl+e | 移动到本行的结束 | | Ctrl+b(或左箭头) | 光标回退一个字符 | | Ctrl+f(或右箭头) | 光标前进一个字符 | 文本输入快捷 阅读全文
posted @ 2020-05-13 23:51 呓语i 阅读(273) 评论(0) 推荐(0)
Django ORM 操作
摘要：ORM查询操作及优化 基本操作 最底层的 django.db.connection from django.db import connection Books.objects.all() connection.queries ## 可以查看查询时间 [{'sql': 'SELECT "testsq 阅读全文
posted @ 2020-05-12 23:36 呓语i 阅读(132) 评论(0) 推荐(0)
Django uwsgi 基础知识
摘要：编写uwsgi,nginx配置文件 如下配置，保存在项目根目录下的 uwsgi,ini 中，其中 %d 的含义为“包含配置文件的目录的绝对路径”（结尾是/）， %n 是“不带扩展名的文件名” 然后在 /etc/nginx/conf.d/proxy.conf 中这样写 uwsgi_pass的值和uws 阅读全文
posted @ 2020-05-12 23:33 呓语i 阅读(517) 评论(0) 推荐(0)
前端 vue router 传递参数
摘要：GET方式传参 POST方式传参 阅读全文
posted @ 2020-05-12 23:31 呓语i 阅读(151) 评论(0) 推荐(0)
Django url引用异常
摘要：使用 引用文件错误 异常描述 url导包问题 异常描述 django2.0 把原来的 django.core.urlresolvers 包 更改为了 django.urls包，所以我们需要把导入的包都修改一下就可以了。 阅读全文
posted @ 2020-05-12 00:08 呓语i 阅读(303) 评论(0) 推荐(0)
Django ORM异常
摘要：mysql连接异常 异常描述 在 文件 级联删除问题 异常描述 在django2.0后，定义外键和一对一关系的时候需要加on_delete选项，此参数为了避免两个表里的数据不一致问题，不然会报错： TypeError: __init__() missing 1 required positional 阅读全文
posted @ 2020-05-12 00:07 呓语i 阅读(410) 评论(0) 推荐(0)
django sqlite3 报错问题
摘要：sqlite3 报错问题 报错 就是Django查到的Sqlite的版本不对，找到的是3.7.17， 但是对版本要求(version sqlite autoconf 安装 测试 如果是Centos7，yum更新了最新的Sqlite，默认的版本应该是3.7.17， 使用 正常了，没有版本不匹配的报错了 阅读全文
posted @ 2020-05-12 00:05 呓语i 阅读(475) 评论(0) 推荐(0)
爬虫 requests的超时和重试
摘要：摘自 https://requests.readthedocs.io/zh_CN/latest/user/quickstart.html id10 https://requests.readthedocs.io/zh_CN/latest/user/advanced.html timeout 超时 连 阅读全文
posted @ 2020-05-11 18:18 呓语i 阅读(948) 评论(0) 推荐(0)
python 异常 NameError: name 'ModuleNotFoundError' is not defined
摘要：今天遇到一个异常 出现在这一行 查阅资料发现， 是3.6之后出现的，但是出现问题的环境是3.5，所以不能使用。 换成 也是可以的。 阅读全文
posted @ 2020-05-11 14:02 呓语i 阅读(1235) 评论(0) 推荐(0)
python 操作Sqlite3
摘要：```pythonimport sqlite3# connection = sqlite3.connect(':memory:') # 在内存打开一个数据库# 当一个数据库被多个连接访问的时候，如果其中一个进程修改这个数据库，在这个事务提交之前，这个 SQLite 数据库将会被一直锁定。timeout 参数指定了这个连接等待锁释放的超时时间，超时之后会引发一个异常。这个超时时间默认是 5.0（5秒... 阅读全文
posted @ 2020-05-10 22:43 呓语i 阅读(325) 评论(0) 推荐(0)
Linux scp 传文件
摘要：远程 本地 本地 远程 阅读全文
posted @ 2020-05-10 20:25 呓语i 阅读(331) 评论(0) 推荐(0)
Top命令中VIRT，RES，SHR的含义
摘要：VIRT：虚拟内存 1. 进程需要的虚拟内存大小，包括使用的库，代码，数据等 2. 如果进程申请100m的内存，但实际只用了10m，那么他会有100m，而不是实际的使用量。 RES：常驻内存 1. 进程当前使用的内存大小，不包括swap out 2. 包含其他进程的共享 3. 如果进程申请100m的 阅读全文
posted @ 2020-05-10 19:55 呓语i 阅读(3224) 评论(0) 推荐(0)
mongodb 安装
摘要：官方文档 下载地址 mongodb.conf 配置 # 数据存储路径 dbpath=/opt/software/mongodb/data # 日志 logpath=/opt/software/mongodb/log/mongodb.log logappend=true # 端口 port=27017 阅读全文
posted @ 2020-05-10 00:41 呓语i 阅读(88) 评论(0) 推荐(0)
mysql 安装
摘要："下载文件" 解压文件 编辑配置文件 my.ini 初始化 启动 重置mysql root密码 阅读全文
posted @ 2020-05-10 00:33 呓语i 阅读(116) 评论(0) 推荐(0)
mongodb 导入导出
摘要：数据导入导出 数据库的全部表 # 导出 mongodump -h IP --port 端口 -u 用户名 -p 密码 -d 数据库 -o 文件存在路径 # 导入 mongorestore -h IP --port 端口 -u 用户名 -p 密码 -d 数据库 文件存在路径 mongorestore 阅读全文
posted @ 2020-05-10 00:29 呓语i 阅读(124) 评论(0) 推荐(0)
tesseract Centos7 安装
摘要："正规网址" 1. 升级下基础包 2. 这个过程最好用root安装，或者使用sudo命令 3. 安装tesseract 4. 安装模型文件 5. 安装ghostpdl 阅读全文
posted @ 2020-05-08 21:54 呓语i 阅读(481) 评论(0) 推荐(0)
爬虫 selenium 基础操作
摘要：Driver下载地址 "chromedriver" "selenium" Driver的常用的API 基本 Select Cookie 页面等待 显式等待 显式等待 指定某个条件，设置等待时间，如果超出这个时间没有找到该元素，便会抛出异常 隐式等待 隐式等待目的是让WebDriver在查找某个或某类 阅读全文
posted @ 2020-05-08 21:36 呓语i 阅读(162) 评论(0) 推荐(0)
爬虫 websocket
摘要：基础使用 "查看网站" 阅读全文
posted @ 2020-05-07 23:39 呓语i 阅读(370) 评论(0) 推荐(0)
爬虫 xpath
摘要：1、匹配某节点下的所有 获取文档中所有匹配的节点， 获取当前节点，有的时候我们需要获取当前节点下的所有节点， 一定要结合 使用 ，否则都会获取整个文档的匹配结果. 2、匹配包含某属性的所有的属性值 3、选取若干路径 这个符号用于在一个xpath中写多个表达式用，用 分开，每个表达式互不干扰 4、 A 阅读全文
posted @ 2020-05-07 23:27 呓语i 阅读(153) 评论(0) 推荐(0)
Mongo 基础命令
摘要：插入 db.collection.insert({"name": "iFan"}) # 批量插入 db.collection.insertMany([ {"name": "iFan2"}, {"name": "iFan1"} ]) mongodb能接受的最大消息长度为48M，如果当前的数据长度超过了 阅读全文
posted @ 2020-05-07 23:19 呓语i 阅读(138) 评论(0) 推荐(0)
大数据 Spark 连接外部资源
摘要：Spark中使用外部连接获取配置信息 Spark Streaming在启动的时候只能使用一个数据源的数据，但是我们的配置是随着业务进行改变的，所以需要动态的进行业务配置的获取。 连接redis 使用单例模式，在Driver上定义，在分区上遍历，JedisConnectionPool是在Master上 阅读全文
posted @ 2020-05-06 22:47 呓语i 阅读(198) 评论(0) 推荐(0)
大数据 Spark 异常
摘要：问题描述 在执行 spark shell master yarn 报错，发现以下错误信息 出现原因 在新安装的集群上，hdfs的/user/目录下面并没有当前用户的目录和相关权限的目录 解决方法 使用hdfs用户，创建该用户的相关权限的目录 阅读全文
posted @ 2020-05-06 22:45 呓语i 阅读(578) 评论(0) 推荐(0)
大数据 Spark 安装
摘要：下载相关软件包 解压 修改配置信息 spark env.sh slaves 启动 启动 spark shell 启动集群 启动时可能出现的问题: java.lang.ClassNotFoundException: parquet.hadoop.ParquetOutputCommitter 使用 ma 阅读全文
posted @ 2020-05-06 22:44 呓语i 阅读(182) 评论(0) 推荐(0)
python 对象克隆
摘要：: 返回x的浅层复制 : 返回x的深层复制 一个 浅层复制 会构造一个新的复合对象，然后（在可能的范围内）将原对象中找到的 引用 插入其中。 一个 深层复制 会构造一个新的复合对象，然后递归地将原始对象中所找到的对象的 副本 插入。 深度复制操作通常存在两个问题, 而浅层复制操作并不存在这些问题： 阅读全文
posted @ 2020-05-06 00:00 呓语i 阅读(901) 评论(0) 推荐(0)
python shell 执行
摘要：os.system system方法会创建子进程运行外部程序，方法只返回外部程序的运行结果。这个方法比较适用于外部程序没有输出结果的情况。 os.popen 当需要得到外部程序的输出结果时，本方法非常有用。比如使用urllib调用Web API时，需要对得到的数据进行处理。os.popen(cmd) 阅读全文
posted @ 2020-05-05 23:59 呓语i 阅读(176) 评论(0) 推荐(0)
python bottle学习
摘要：1. 安装 2. 示例程序 请求路由 动态路由 :int 只匹配（有符号）数字，并将值转换为整数。 浮标 类似于：int，但用于十进制数。 路径 以非贪婪的方式匹配所有字符，包括斜线字符，并且可以用于匹配多个路径段。 :re 允许您在配置字段中指定自定义正则表达式。不修改匹配的值。 实现自己的过滤器 阅读全文
posted @ 2020-05-05 23:58 呓语i 阅读(585) 评论(0) 推荐(0)
NLP gensim 相似度计算
摘要：```python from collections import defaultdict from gensim import corpora import jieba from gensim import similarities import re class Similarity: def docs(self, datas): # 构建主搜索索引 docs = [] for doc in 阅读全文
posted @ 2020-05-05 23:56 呓语i 阅读(238) 评论(0) 推荐(0)
linux shell expect 自动交互脚本
摘要：交互式脚本 启用选项 ||| | | | | c|执行脚本前先执行的命令，可多次使用。| | d|debug模式，可以在运行时输出一些诊断信息，与在脚本开始处使用exp_internal 1相似。| | D|启用交换调式器,可设一整数参数。| | f|从文件读取命令，仅用于使用 !时。如果文件名为" 阅读全文
posted @ 2020-05-05 23:55 呓语i 阅读(1157) 评论(0) 推荐(0)
docker 安装镜像
摘要：docker 阿里云安装 1. 安装必要的一些系统工具 2. 添加软件源信息 3. 更新并安装Docker CE 4. 开启Docker服务 5. 设置服务开机启动 6. 加速 7. 将当前用户添加到docker组 mysql 1. 下载镜像 2. 修改配置文件 3. 创建文件夹 作为数据存储的路径 阅读全文
posted @ 2020-05-03 23:52 呓语i 阅读(139) 评论(0) 推荐(0)
数据库 MySQL 数据导入导出
摘要：数据导入导出 数据导出 在日常维护工作当中经常会需要对数据进行导出操作，而mysqldump是导出数据过程中使用非常频繁的一个工具；它自带的功能参数非常多，文章中会列举出一些常用的操作，在文章末尾会将所有的参数详细说明列出来。 语法： 默认不带参数的导出，导出文本内容大概如下： 。 1.导出所有数据 阅读全文
posted @ 2020-05-03 23:51 呓语i 阅读(228) 评论(0) 推荐(0)
爬虫 puppeteer
摘要：github 安装 npm i puppeteer --registry=https://registry.npm.taobao.org # 不下载驱动 npm i puppeteer-core --registry=https://registry.npm.taobao.org 手动查看下载地址 阅读全文
posted @ 2020-05-03 23:50 呓语i 阅读(701) 评论(0) 推荐(0)
Linux ssh相关
摘要：修改ssh的端口 没有安装semanage的话，需要安装 1. 查看安全组允许的ssh端口 2. 添加 24567 端口为ssh的端口 3. 修改ssh端口并禁用root远程登录 4. 重启ssh服务 免密登录 原理 1. 客户端向服务器发送链接请求 2. 服务器向客户端发出自己的公钥 3. 客户端 阅读全文
posted @ 2020-05-02 22:14 呓语i 阅读(179) 评论(0) 推荐(0)
Sqlite 使用
摘要：SQLite 数据类型 SQLite 数据类型是一个用来指定任何对象的数据类型的属性。SQLite 中的每一列，每个变量和表达式都有相关的数据类型。 您可以在创建表的同时使用这些数据类型。SQLite 使用一个更普遍的动态类型系统。在 SQLite 中，值的数据类型与值本身是相关的，而不是与它的容器 阅读全文
posted @ 2020-05-02 22:13 呓语i 阅读(257) 评论(0) 推荐(0)
python Log使用
摘要：程序内配置 config 配置 使用 logconfig.ini test.py 程序内使用字典 YMAL 配置 logconfig.yaml test.py Handler 作为 " " 基类的补充，提供了很多有用的子类： 1. " " 实例发送消息到流（类似文件对象）。 2. " " 实例将消息 阅读全文
posted @ 2020-05-02 22:11 呓语i 阅读(336) 评论(0) 推荐(0)
Node 基本配置
摘要：默认安装路径 C:/用户/[用户名]/AppData/Roming/npm/node_meodules 修改 查看配置信息 npm config ls 创建文件夹并重新设置 # win npm config set prefix "D:\software\nodejs\meodules\npm" n 阅读全文
posted @ 2020-05-01 22:19 呓语i 阅读(291) 评论(0) 推荐(0)
python GIL锁
摘要：为什么要有GIL GIL GIL（global interpreter lock），全局解释器锁，是很多编程语言实现中都具有的特性，由于它的存在，解释器无法实现真正的并发。它也是 Python 中经常讨论的话题之一。 Python 作为编程语言存在多个具体实现，包括最常用的 CPython、超集 C 阅读全文
posted @ 2020-05-01 22:17 呓语i 阅读(197) 评论(0) 推荐(0)
大数据 Zookeeper 集群
摘要：前期准备 安装好JDK 安装 Zookeeper 1. 修改conf下的zoo.cfg文件 创建dataDir指定的目录 2. 修改dataDir下的myid文件 不存在则创建 3. 将zookeeper目录发送到其他节点 4. 修改其他节点的myid文件内容分别为 2 和 3 5. 启动各个节点上 阅读全文
posted @ 2020-05-01 22:16 呓语i 阅读(147) 评论(0) 推荐(0)