技术改变命运Andy

2021年10月11日

爬虫部署-3，爬虫管理平台，Crawlab、Gerapy、Scrapydweb，SpiderKeeper，scrapyd，基于上述平台，构思自己的爬虫管理平台

摘要：四大爬虫管理平台 Crawlab Gerapy Scrapydweb SpiderKeeper scrapyd Crawlab 前端：vue-element-admin 后端：go 不局限于语言和scrapy，运行第一步：部署 docker pull tikazyq/crawlab:latest 阅读全文

posted @ 2021-10-11 05:36 技术改变命运Andy 阅读(2608) 评论(0) 推荐(1) 编辑

爬虫部署-2，基于Docker的Scrapy+Scrapyd+Scrapydweb部署

摘要： #### scrapy对接docker的思路， ### 涉及到四个部分， Scrapy Scrapyd Scrapydweb Docker #### 首先你思考一下，如果只有Scrapyd怎么docker部署？ 1、把Scrapyd独立成为一个项目 1.1 编写Scrapyd的配置文件新建一个sc 阅读全文

posted @ 2021-10-11 03:03 技术改变命运Andy 阅读(625) 评论(0) 推荐(0) 编辑

2021年10月10日

爬虫部署-1，服务端安装使用scrapyd，客户端安装scrapy-client，利用scrapy-client 发布爬虫到远程服务端

摘要： #### 服务端安装使用scrapyd 下面的操作是在远程的服务器操作， 1，创建虚拟环境，虚拟环境名为sd 2，pip3 install scrapyd 3. 配置 mkdir /etc/scrapyd vim /etc/scrapyd/scrapyd.conf 4，写入一下配置参考官网：ht 阅读全文

posted @ 2021-10-10 12:57 技术改变命运Andy 阅读(258) 评论(0) 推荐(0) 编辑

2021年10月9日

pycharm --mark Directory as -sources root

摘要：在使用pycharm进行前后端开发的时候，python开启了多级文件夹，有前端有后端，这个时候后端python导包会出现语法错误，可以右键添加文件夹--mark Directory as -sources root 这样pycharm就知道这个是后端项目的根目录就不会语法报错红线了，阅读全文

posted @ 2021-10-09 10:14 技术改变命运Andy 阅读(1489) 评论(0) 推荐(0) 编辑

2021年10月8日

3-后端flask

摘要： #### 开发工具：pycharm 开发环境：使用自己建的虚拟环境，项目目录： #### 新建数据库，新建表 1. 在数据库中建立一个数据库： create database books charset=utf8; 2. 建立两张表 2.1 ： create table book_infos( i 阅读全文

posted @ 2021-10-08 10:02 技术改变命运Andy 阅读(40) 评论(0) 推荐(0) 编辑

2-前端vue

摘要： #### 开发工具：pycharm 开发环境：node 项目目录： #### vue-cli创建项目使用脚手架，vue-cli，创建项目 vue create ProjectName 这里使用vue2默认，来开发，不用vue3，创建完之后，明确提示你了，启动项目的命令， #### views添加阅读全文

posted @ 2021-10-08 10:00 技术改变命运Andy 阅读(32) 评论(0) 推荐(0) 编辑

1-项目构思

摘要： #### 我选择了一个小说的网站，重要的机会， 1，这个网站有视频，有源码，适合学习，借助这个网站，慢慢的学习这个vue和flask这两个大的体系，就是使用vue+flask，搭建web，使用scrapy爬取小说，可以扩展开发监控平台，数据平台， 5，体会这里面的商业价值吗？可以说有这个就可以扩阅读全文

posted @ 2021-10-08 09:59 技术改变命运Andy 阅读(59) 评论(0) 推荐(0) 编辑

mac 查看硬盘占用情况

摘要：点击左上角的苹果按钮，点击关于本机，点击存储空间，可以查看到mac的硬盘占用情况，阅读全文

posted @ 2021-10-08 04:50 技术改变命运Andy 阅读(766) 评论(0) 推荐(0) 编辑

前后端项目部署-6， flask+Gunicorn+gevent+supervisor+nginx+redis+mysql+mongodb+vue，docker-compose部署

摘要： #### 前后端项目部署-6， flask+Gunicorn+gevent+supervisor+nginx+redis+mysql+mongodb+vue，docker-compose部署 ### 这一篇，主要是研究一下vue和flask结合起来，怎么使用docker部署，其他的flask+Gu 阅读全文

posted @ 2021-10-08 03:47 技术改变命运Andy 阅读(231) 评论(0) 推荐(0) 编辑

2021年10月7日

1-Linux 网络操作 ping telnet curl netstat(netstat -ntlp)，查看外网ip

摘要： Linux 网络操作 # 一，ping ping是Linux系统下的一个命令,ping也属于一个通信协议，是TCP/IP协议的一部分。利用“ping”命令可以检查网络是否连通，可以很好地帮助我们分析和判定网络故障。 ping命令本身处于应用层，相当于一个应用程序，它直接使用网络层的ICMP协议。Pi 阅读全文

posted @ 2021-10-07 20:06 技术改变命运Andy 阅读(628) 评论(0) 推荐(0) 编辑

mac 上面禁用一个终端命令

摘要： #### 背景，我想要禁用一个终端命令，我经常使用clear，但是现在cle老是弹出这个clean-diff，让我用的很不爽 #### 经过查阅，发现这个命令在这里， /usr/local/bin/clean-diff #### 看看这个具体情况 clean-diff -> ../Cellar/ff 阅读全文

posted @ 2021-10-07 16:46 技术改变命运Andy 阅读(262) 评论(0) 推荐(0) 编辑

mysql数据库-5-1-pymysql操作mysql

摘要： # pymysql连接mysql ``` import pymysql def favorite_colors(): config = { 'user': 'root', 'password': 'root', 'host': 'db', 'port': '3306', 'database': 'k 阅读全文

posted @ 2021-10-07 04:18 技术改变命运Andy 阅读(41) 评论(0) 推荐(0) 编辑

前后端项目部署-5， flask+Gunicorn+gevent+supervisor+nginx+redis+mysql+mongodb，docker-compose部署

摘要： ### flask+Gunicorn+gevent+supervisor+nginx+redis+mysql+mongodb，docker-compose部署 ### flask+Gunicorn+gevent+supervisor+nginx+redis，docker-compose部署这个不多阅读全文

posted @ 2021-10-07 03:25 技术改变命运Andy 阅读(172) 评论(0) 推荐(0) 编辑

前后端项目部署-4， flask+Gunicorn+gevent+supervisor+nginx+redis，docker-compose部署

摘要： #### 部署方案flask+Gunicorn+gevent+supervisor+nginx 每个组件的作用： 1，. gunicorn：高性能WSGI服务器； Gunicorn是一个unix上被广泛使用的高性能的Python WSGI UNIX HTTP Server。和大多数的web框架兼容，阅读全文

posted @ 2021-10-07 00:13 技术改变命运Andy 阅读(453) 评论(0) 推荐(0) 编辑

2021年10月6日

前后端项目部署-3， flask+Gunicorn+gevent+supervisor，docker部署，以及supervisor的使用

摘要： #### 部署方案flask+Gunicorn+gevent+supervisor 每个组件的作用： 1，. gunicorn：高性能WSGI服务器； Gunicorn是一个unix上被广泛使用的高性能的Python WSGI UNIX HTTP Server。和大多数的web框架兼容，并具有实现简阅读全文

posted @ 2021-10-06 13:40 技术改变命运Andy 阅读(462) 评论(0) 推荐(0) 编辑

1-6python预备知识-python的解释器和内置类型内置函数内置模块，python一切皆对象

摘要： ``` # 我觉得要学习还是要看源码, # 死记硬背是没有意义的， # 什么情况下会出现跳转到python_stubs？ # 当我们调用的函数是内置函数或仅二进制存在的函数(没有py文件，只有pyc等)时，pycharm会对某个版本进行硬编码而生成的伪函数（实际不是调用的这个，只是方便我们做开发）。阅读全文

posted @ 2021-10-06 13:23 技术改变命运Andy 阅读(297) 评论(0) 推荐(0) 编辑

3-2-mac github访问不稳定解决办法

摘要： #### 第一步，先确定是不是host问题 #### 你是否出现了：github 配置host不管用的问题？你是否出现了：github 手机能访问，电脑不能访问的问题？ #### 首先不要急着配置host，你先用手机访问一下，github，看看能不能访问，如果手机流量能访问，电脑不能访问，阅读全文

posted @ 2021-10-06 08:34 技术改变命运Andy 阅读(1124) 评论(0) 推荐(0) 编辑

前后端项目部署-2， flask+Gunicorn+gevent，docker部署，

摘要： #### 部署方案flask+Gunicorn+gevent 每个组件的作用： 1，. gunicorn：高性能WSGI服务器； Gunicorn是一个unix上被广泛使用的高性能的Python WSGI UNIX HTTP Server。和大多数的web框架兼容，并具有实现简单，轻量级，高性能等特阅读全文

posted @ 2021-10-06 05:58 技术改变命运Andy 阅读(431) 评论(0) 推荐(0) 编辑

2021年10月5日

前后端项目部署-1， flask，只有flask，一个最简单的flask项目部署到Docker的过程，

摘要： #### 第一步：首先准备一个简单的flask项目，只需要一个main函数就可以了，随便写一个接口， from flask import Flask app = Flask(__name__) @app.route('/') def alldata(): return '<h1>Hello Wo 阅读全文

posted @ 2021-10-05 05:49 技术改变命运Andy 阅读(281) 评论(0) 推荐(0) 编辑

0-mac，VMware，安装centos7，虚拟机，无界面

摘要： #### 一. 准备工作： 1. 安装Vmware Fusion （略） 2. 下载CentOS-7-x86_64-Minimal http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-1503-01.i 阅读全文

posted @ 2021-10-05 01:05 技术改变命运Andy 阅读(603) 评论(0) 推荐(0) 编辑

2021年10月4日

深网简介

摘要： ### 深网，是你浏览器，看不到的，通过链接是访问不到的，互联网并不是我们看到的只有一层，实际上是分为三层的，分别是表层网(明网)，深网和暗网：表层网(明网)：这一层就是我们平时可以随意访问的网络，但是它只是互联网的最表层，大约只占据了4%-20%的内容，搜索引擎就是我们访问明网的关键，不需要阅读全文

posted @ 2021-10-04 18:41 技术改变命运Andy 阅读(4939) 评论(0) 推荐(0) 编辑

mitmproxy抓包工具使用 for mac

摘要： mitmproxy 安装 pip install mitmproxy 安装完成后，使以下代码验证 mitmweb --version 简介 MITM 即中间人攻击（Man-in-the-middle attack） MitmProxy 是一个支持 HTTP和HTTPS的抓包程序启动命令：mitm 阅读全文

posted @ 2021-10-04 18:38 技术改变命运Andy 阅读(386) 评论(0) 推荐(0) 编辑

安卓抓取的另外一种思路

摘要：安卓抓取，思路1，可以通过安卓逆向，得到请求接口的加密参数，然后直接请求接口抓取，这种难度是比较大的，需要进行源码分析，逆向解密，思路2，另外一种思路，就是解决抓包，然后通过appium滑动app，然后只要能抓到包，其实就可以直接从返回的内容提取我们想要的数据了，工具就是使用mitproxy 阅读全文

posted @ 2021-10-04 00:08 技术改变命运Andy 阅读(131) 评论(0) 推荐(0) 编辑

2021年10月3日

安卓手机设置权限，adb pull permission denied解决办法

摘要：现转移到/sdcard下面吧，然后往外拿，阅读全文

posted @ 2021-10-03 18:48 技术改变命运Andy 阅读(687) 评论(0) 推荐(0) 编辑

爬虫工程师到底为什么要学习安卓逆向？

摘要：背景这篇文章写给Python爬虫工程师们，互联网行业的处境越来越艰辛，流量越来越涌向移动端，爬虫和反爬的攻防不断升级，这一切的一切，都让我们只能一刻不停的学习新技能，才能保持竞争力和养家糊口（一群单身狗，挣的钱连自己都养不活）。 App逆向不断出现在爬虫工程师的日程表里，可是到底该怎么入门App逆阅读全文

posted @ 2021-10-03 18:37 技术改变命运Andy 阅读(2012) 评论(1) 推荐(3) 编辑

2021年9月30日

adb常用命令，

摘要： # 基础命令 1、adb devices 查看手机设备 2、adb install packsge(包路径)安装包 3、adb install -r packages(保留数据及缓存文件安装新包) 4、adb uninstall package (卸载包) 5、adb kill-server 关闭a 阅读全文

posted @ 2021-09-30 20:24 技术改变命运Andy 阅读(196) 评论(0) 推荐(0) 编辑

2021年9月29日

genymotion模拟器

摘要： genymotion模拟器报错： An error occured while deploying the file. This probably means that the app contains ARM native code and your Genymotion device cann 阅读全文

posted @ 2021-09-29 19:53 技术改变命运Andy 阅读(310) 评论(0) 推荐(0) 编辑

2021年9月25日

验证码破解的问题会是一个难点，需要学习深度学习，图像识别的内容，

摘要：验证码破解的问题会是一个难点，需要学习深度学习，图像识别的内容，否则的话，就是使用打码平台，比如百度的图像识别接口，第一步，需要开通，申请百度AI接口：申请地址：http://ai.baidu.com/ 然后用你的账号登入，登入以后依次单击“产品服务”，“全部产品”，“图像识别”，然后在“图像阅读全文

posted @ 2021-09-25 20:59 技术改变命运Andy 阅读(192) 评论(0) 推荐(0) 编辑

js逆向的题目，练习题12题，css静态字体反爬，

摘要： ##### js逆向-css静态字体反爬练习题，第12题，静态css反爬，利用字体反爬原理：1、主要利用font-family属性，例如设置为my-font2、在HTML里面不常见（不可读）的unicode3、在CSS字体（my-font）中将其映射到常见（可读）到字体，例如数字4、爬虫在抓取数阅读全文

posted @ 2021-09-25 19:09 技术改变命运Andy 阅读(230) 评论(0) 推荐(0) 编辑

2021年9月24日

js逆向的题目，12-15

摘要： ### 第14题发现在请求参数里面加了一个uc， var list = {"page": String(num),"uc": window.a,}; 这个 window.a是加密在了jsfuck里面了，我们破解了之后是这样的， (function anonymous() {window.s = 阅读全文

posted @ 2021-09-24 20:38 技术改变命运Andy 阅读(101) 评论(0) 推荐(0) 编辑

2021年9月23日

js逆向的题目，15-20

摘要： ### 第16题第16题，使用了表情包加密，先破解表情包加密 window.localStorage.setItem('a' , String(Date.parse(new Date()) / 1000));a = window.localStorage.getItem('a');window. 阅读全文

posted @ 2021-09-23 18:42 技术改变命运Andy 阅读(118) 评论(0) 推荐(0) 编辑

js逆向的题目，第11题，jsl，加速乐，__jsl_clearance cookie破解

摘要： ### 第十一题，jsl，加速乐有一个国家网站就是用的这个，https://www.cnvd.org.cn/flaw/list.htm 观察一下返回：每一次会有两次请求，这两次请求的，__jsl_clearance是不一样的，第一次的请求是一段js代码第二次的请求，才是正常的html代码，阅读全文

posted @ 2021-09-23 18:41 技术改变命运Andy 阅读(174) 评论(1) 推荐(0) 编辑

js逆向的题目，6-10

摘要： ##### 第六题，session 保持查看接口的，HTTP response 有一个Set-Cookie：告诉浏览器下次请求时需要带上该字段中的Cookie，这个非常重要，是服务器识别用户和维持会话的重要手段。所以回话保持，就是把上一次设置的cookie，我下一次要带上，怎么实现，我们可以阅读全文

posted @ 2021-09-23 18:40 技术改变命运Andy 阅读(117) 评论(0) 推荐(0) 编辑

Python pip install报错SSLError(SSLCertVerificationError(1, ‘[SSL: CERTIFICATE_VERIFY_FAILED]

摘要： Python pip install报错SSLError(SSLCertVerificationError(1, ‘[SSL: CERTIFICATE_VERIFY_FAILED] 在某次pip安装包的时候报了一个错看到有提示ssl，即加密传输有问题，排查了一会儿之后看到有抓包软件正在运行，所以关阅读全文

posted @ 2021-09-23 16:46 技术改变命运Andy 阅读(1783) 评论(0) 推荐(0) 编辑

Centos7安装Redis

摘要： # 一、安装gcc依赖由于 redis 是用 C 语言开发，安装之前必先确认是否安装 gcc 环境（gcc -v），如果没有安装，执行以下命令进行安装 ``` [root@localhost local]# yum install -y gcc ``` # 二、下载并解压安装包 ``` [root 阅读全文

posted @ 2021-09-23 16:14 技术改变命运Andy 阅读(141) 评论(0) 推荐(0) 编辑

把爬虫部署到这个vps云主机上面-操作方法

摘要：现在的问题是如何操作把爬虫部署到这个vps云主机上面，第一步，购买云主机，http://www.5jwl.com/ 无极网络，我使用这个公司的，第二步，在云主机配置拨号，这个每个厂商都有教程，买了之后问问厂商，第三步，在vps安装python和配置python虚拟环境，这一步在cento 阅读全文

posted @ 2021-09-23 14:47 技术改变命运Andy 阅读(368) 评论(0) 推荐(0) 编辑

2-linux-centos7- vim配置

摘要： ### 执行 `vim ~/.vimrc`进入配置文件常用配置： 1，设置语法高亮：syntax on 2，显示行号：set nu 后续用到了再说， #### 阅读全文

posted @ 2021-09-23 14:22 技术改变命运Andy 阅读(221) 评论(0) 推荐(0) 编辑

vps拨号服务器Centos7.1系统拨号教程说明

摘要：拨号VPS主机Centos7.1系统拨号教程说明第一步，请先运行： /bin/systemctl stop NetworkManager.service 输入pppoe-setup出现以下提示 DNS 必须填入否则不能上网设置完成后直接输入pppoe-start 可直接PING www.bai 阅读全文

posted @ 2021-09-23 13:31 技术改变命运Andy 阅读(414) 评论(0) 推荐(0) 编辑

2021年9月22日

centos7中安装python3，配置python虚拟环境，

摘要： #### centos7中安装python3 还是先安装依赖吧 yum -y groupinstall "Development tools"yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel 阅读全文

posted @ 2021-09-22 21:16 技术改变命运Andy 阅读(736) 评论(0) 推荐(0) 编辑

1-linux screen 命令详解

摘要：一、简介系统管理员经常需要SSH 或者telent 远程登录到Linux 服务器，经常运行一些需要很长时间才能完成的任务，比如系统备份、ftp 传输等等。通常情况下我们都是为每一个这样的任务开一个远程终端窗口，因为它们执行的时间太长了。必须等待它们执行完毕，在此期间不能关掉窗口或者断开连接，否则阅读全文

posted @ 2021-09-22 17:02 技术改变命运Andy 阅读(1031) 评论(0) 推荐(0) 编辑