技术改变命运Andy

2021年11月14日

摘要： # 前言 Glitlab 比较占用内存，官方建议最低配置为 2核4G。我的服务器刚刚好是2核4G，但是还装了 Docker 跑一些其他服务，所以以防万一，还是选择在本地的虚拟机中进行安装。虚拟机的安装， CentOS 系统的安装以及 Docker 环境的配置就不再演示，网上有很多非常详细的教程。我阅读全文

posted @ 2021-11-14 04:01 技术改变命运Andy 阅读(556) 评论(0) 推荐(0) 编辑

docker + jenkins + flask 部署，持续化集成

摘要： ### Flask 项目文件 $ tree flask_docker_jenkins_demo/flask_docker_jenkins_demo/├── Dockerfile├── README.md└── app.py from flask import Flask, jsonify app = 阅读全文

posted @ 2021-11-14 03:59 技术改变命运Andy 阅读(291) 评论(0) 推荐(0) 编辑

centos docker 安装 Jenkins 报错： No such plugin: cloudbees-folder！！！排查

摘要： ### 我在mac上面使用docker安装Jenkins是没有问题的，但是我到我本地的虚拟机，centos，安装就有问题，排查了2个小时才找到原因先说网上的， 1，这是因为缺少 cloudbees-folder 插件，我们下载即可：cloudbees-folder下载地址下载后得到 cloud 阅读全文

posted @ 2021-11-14 02:08 技术改变命运Andy 阅读(3738) 评论(2) 推荐(0) 编辑

2021年11月13日

Docker版本Jenkins的使用

摘要： ##### 创建项目 #### 1、新建item 选择freestyle project ### 进入下面的配置 #### 我们最需要关注的就是源码管理，以及环境的构建，暂且不管项目的配置。我们先看一下gitee或者github的配置。 ### 2、github上的公私钥配置源码管理方面我们是从g 阅读全文

posted @ 2021-11-13 18:48 技术改变命运Andy 阅读(366) 评论(0) 推荐(0) 编辑

Docker版本Jenkins的安装

摘要： # 一. Jenkins介绍 Jenkins是当前非常流行的一款持续集成工具，可以帮助大家把更新后的代码自动部署到服务器上运行。 # 二. 为什么用docker版的Jenkins Jenkins主要有三种安装方式方式一：下载官方war包，放到tomcat中直接运行。方式二：yum安装，在li 阅读全文

posted @ 2021-11-13 17:14 技术改变命运Andy 阅读(1080) 评论(0) 推荐(0) 编辑

2021年11月12日

Scrapy：pipeline管道的open_spider、close_spider

摘要： ### 设置scrapy爬虫开启和关闭时的动作。 pipelines.py ### class DemoPipeline(object): # 开启爬虫时执行，只执行一次 def open_spider(self, spider): # 为spider对象动态添加属性，可以在spider模块中获取该阅读全文

posted @ 2021-11-12 19:33 技术改变命运Andy 阅读(761) 评论(0) 推荐(0) 编辑

2021年11月8日

2-4-flask框架-扩展-数据库迁移-使用flask-migrate进行数据库的管理，非常方便！！！

摘要： # flask数据库迁移 ## 使用flaskSQLAlchemy的问题 - 如果数据库里已经有A表了，然后在A类中添加字段，是不会更新添加到A表中的。 ## 怎么更新字段 - 因此我们需要进行数据库的更新，可以使用flask的扩展包migrate ## 安装 - pip install Flask 阅读全文

posted @ 2021-11-08 19:55 技术改变命运Andy 阅读(949) 评论(0) 推荐(1) 编辑

2021年11月2日

scrapy发送qq邮件，使用python模块和使用scrapy自带方法

摘要： scrapy发送qq邮件发送邮件的意义给scrapy加入发送邮件功能，其目的旨在报错预警，这对运维现有爬虫有着很大的积极意义或者爬虫爬取结束后，发邮件告诉开发者，hi，任务已经完成了. 我不纠结于是否使用scrapy自带的发送邮件功能，我的目的只是去实现它，用简单直接的方式发送邮件的方法很多阅读全文

posted @ 2021-11-02 08:37 技术改变命运Andy 阅读(164) 评论(0) 推荐(0) 编辑

scrapy把数据保存到mongodb

摘要： scrapy数据存进mongodb 第一步，settings.py添加 ITEM_PIPELINES = { # 'scrapy_runklist.pipelines.ScrapyRunklistPipeline': 300, 'scrapy_runklist.pipelines.ScrapyWei 阅读全文

posted @ 2021-11-02 04:44 技术改变命运Andy 阅读(311) 评论(0) 推荐(0) 编辑

scrapy添加headers

摘要： scrapy添加header 第一种，setting里面有一个默认的请求头 USER_AGENT = 'scrapy_runklist (+http://www.yourdomain.com)' DEFAULT_REQUEST_HEADERS = { 'Accept': 'text/html,app 阅读全文

posted @ 2021-11-02 03:36 技术改变命运Andy 阅读(2026) 评论(0) 推荐(0) 编辑

2021年10月30日

docker查看运行的容器日志

摘要： docker查看运行的容器日志 1. 查看运行着的容器 ``` docker ps -a ``` 2. 查看容器日志命令 ``` docker logs [OPTIONS] CONTAINER [OPTIONS] -f : 跟踪日志输出 -t : 显示时间戳 --tail :仅列出最新N条容器日志阅读全文

posted @ 2021-10-30 10:32 技术改变命运Andy 阅读(157) 评论(0) 推荐(0) 编辑

2021年10月28日

5-1-vue3框架-调用后端接口，axios使用，解决跨域问题

摘要： # 什么是 axios？ Axios 是一个基于 promise 的 HTTP 库，可以用在浏览器和 node.js 中。 # 一，安装使用 npm: ``` $ npm install axios ``` # 二、配置axios，添加拦截器在src目录下新建一个request文件夹，在里面新建阅读全文

posted @ 2021-10-28 02:58 技术改变命运Andy 阅读(465) 评论(0) 推荐(0) 编辑

Jenkins-Publish Over SSH插件Send files or execute commands over SSH，Jenkins发布代码到指定服务器

摘要： # 安装插件 Jenkins：找不到Send files or execute commands over SSH 那就需要去安装Publish Over SSH插件啦。 Jenkins -> 系统管理 -> 插件管理 -> 可选插件当然也可以通过地址一步跳转。搜索Publish Over SS 阅读全文

posted @ 2021-10-28 02:56 技术改变命运Andy 阅读(679) 评论(0) 推荐(0) 编辑

0-3-vue框架-构建工具-Vite 与 Vue Cli 对比（vue3还是使用vite）,webpack

摘要： # webpack介绍 Webpack 是一个前端资源加载/打包工具。它将根据模块的依赖关系进行静态分析，然后将这些模块按照指定的规则生成对应的静态资源。 Webpack 可以将多种静态资源 js、css、less 转换成一个静态文件，减少了页面的请求。 ## 安装webpack 首先要安装Node 阅读全文

posted @ 2021-10-28 02:55 技术改变命运Andy 阅读(127) 评论(0) 推荐(0) 编辑

2-1-vue框架-组件-vue-component组件化开发-组件的定义和使用

摘要： # 组件化开发 - 组件是Vue中最重要的知识，因为vue是组件化开发， - 任意类型的应用界面都可以抽象为一个组件，也就是说项目都是一个个的组件构成的 - 我们使用小型、独立和通常可复用的组件构建大型应用。 - 这是一种开发的理念，组件化开发， - 组件最大的优势就是可复用 # 定义一个组件当阅读全文

posted @ 2021-10-28 02:47 技术改变命运Andy 阅读(502) 评论(0) 推荐(0) 编辑

1-3-vue框架-基础-vue生命周期：钩子函数，很重要

摘要： # 1、什么是vue生命周期？ Vue 实例从创建到销毁的过程，就是生命周期。从开始创建、初始化数据、编译模板、挂载Dom→渲染、更新→渲染、销毁等一系列过程，称之为 Vue 的生命周期。这个就是一个钩子函数，在之前或者之后插入一些功能，在此过程中，它也会运行被称为生命周期钩子的函数，让开发阅读全文

posted @ 2021-10-28 02:46 技术改变命运Andy 阅读(48) 评论(0) 推荐(0) 编辑

1-2-vue框架-基础-模板语法和指令

摘要： # 模板语法 Vue 使用一种基于 HTML 的模板语法，使我们能够声明式地将其组件实例的数据绑定到呈现的 DOM 上。指令和模板语言要结合使用下面的学习，都使用vue3来学习， vue介绍，使用vue创建项目：https://www.cnblogs.com/andy0816/p/1507216 阅读全文

posted @ 2021-10-28 02:43 技术改变命运Andy 阅读(272) 评论(0) 推荐(0) 编辑

python apscheduler的使用研究

摘要： # Scrapydweb-APScheduler定时任务分析 - 看看是怎么运作的 ## APScheduler简介 - APscheduler全称Advanced Python Scheduler - APScheduler是一个Python定时任务框架， - 提供了基于日期、固定时间间隔以及cr 阅读全文

posted @ 2021-10-28 00:13 技术改变命运Andy 阅读(387) 评论(0) 推荐(0) 编辑

2021年10月26日

2-5-vue框架-组件-vue-component组件化开发-透传Attributes（（父传子，不常用，但是要知道）

摘要： # Attributes 继承 “透传 attribute”指的是传递给一个组件，却没有被该组件声明为 props 或 emits 的 attribute 或者 v-on 事件监听器。最常见的例子就是 class、style 和 id。当一个组件以单个元素为根作渲染时，透传的 attribute 阅读全文

posted @ 2021-10-26 23:57 技术改变命运Andy 阅读(70) 评论(0) 推荐(0) 编辑

2-4-vue框架-组件-vue-component组件化开发-组件v-model（子传父的另外一种方式）

摘要： # v-model 可以在组件上使用以实现双向绑定。 # 原生元素使用v-model 首先让我们回忆一下 v-model 在原生元素上的用法：这个v-model 在表单中使用，比如输入框，可以获取我们输入的信息， ``` ``` 在代码背后，模板编译器会对 v-model 进行更冗长的等价展开。因阅读全文

posted @ 2021-10-26 23:51 技术改变命运Andy 阅读(11) 评论(0) 推荐(0) 编辑

通过淘宝镜像下载python3.8.3的安装包

摘要： http://npm.taobao.org/mirrors/python/3.8.3/ 阅读全文

posted @ 2021-10-26 23:25 技术改变命运Andy 阅读(787) 评论(0) 推荐(0) 编辑

pycharm 报错Connection to Python debugger failed socket closed

摘要： Connection to Python debugger failed socket closed修复方法第一种：就是网上说的你有重名的文件夹或者文件，比如code这样的文件夹或者文件，这种就去改名字就行了，第二种：装了pyqt之后就会有这个错误在 Build, Execution, 阅读全文

posted @ 2021-10-26 21:23 技术改变命运Andy 阅读(5642) 评论(1) 推荐(1) 编辑

2021年10月23日

ida mac安装2021年10月23号，mac11.6安装成功

摘要：系统版本 sudo chmod 777 给了相关权限还是没法运行 sudo chmod 777 ida64.app sudo xattr -rd com.apple.quarantine ida64.app 即可运行链接地址🔗 ：链接: https://pan.baidu.com/s/1v3 阅读全文

posted @ 2021-10-23 15:49 技术改变命运Andy 阅读(6535) 评论(3) 推荐(1) 编辑

2021年10月21日

3-1-github fork项目，和删除fork项目

摘要： # github fork项目 fork 项目很简单，就是直接点击fork就可以了 fork完之后，原作者的项目删除了，但是你fork的项目还在程序员开发了功能之后，想要干什么？可能想要接私活，过了两年你可能想要接私活，你可以去做培训，参加一些研讨，你可以看看github上面的源码，提高一下自己阅读全文

posted @ 2021-10-21 21:46 技术改变命运Andy 阅读(2490) 评论(0) 推荐(0) 编辑

frida环境问题解决Failed to enumerate processes: this feature requires an iOS Developer Disk Image to be mounted;

摘要： #### 使用模拟器报错： (scrapy) liqian@liqiandeMacBook-Pro ~ % frida-ps -U Failed to enumerate processes: this feature requires an iOS Developer Disk Image to 阅读全文

posted @ 2021-10-21 20:54 技术改变命运Andy 阅读(3887) 评论(0) 推荐(0) 编辑

pycharm 设置滚动调节字体

摘要：需要经过两步，一个放大一个缩小， File —> setting —> Keymap —>在搜寻框中输入：increase —> Increase Font Size（双击） —> 在弹出的对话框中选择Add Mouse Shortcut File —> setting —> Keymap —>在搜阅读全文

posted @ 2021-10-21 18:02 技术改变命运Andy 阅读(97) 评论(0) 推荐(0) 编辑

2021年10月20日

Mac tshark 报错：command not found: tshark

摘要： Mac tshark 报错：command not found: tshark tshark在安装wireshark的时候就已经安装上了，目录：/Applications/Wireshark.app/Contents/MacOS/tshark 所以使用软连接把这个目录链接到环境中就行： sudo l 阅读全文

posted @ 2021-10-20 21:58 技术改变命运Andy 阅读(386) 评论(0) 推荐(0) 编辑

android手机安装busybox步骤

摘要： android手机安装busybox步骤接下来是想使用一些linux下边的常用命令。但是android 并不支持那么多命令。所以只好安装busybox. busybox下载路径： 1 http: //benno.id.au/android/busybox 下载下来的可能是一个busybox.txt 阅读全文

posted @ 2021-10-20 21:32 技术改变命运Andy 阅读(1406) 评论(0) 推荐(0) 编辑

2021年10月19日

adb查看手机app的log日志

摘要： #### 先查看自己安装的包adb shell pm list packages -3 com.iCitySuzhou.suzhou001 1，抓取socket请求：我们先使用adb shell "ps|包名" 如：adb shell "ps|grep com.dangdang.buy2"。过滤包阅读全文

posted @ 2021-10-19 17:53 技术改变命运Andy 阅读(859) 评论(0) 推荐(0) 编辑

mac ---Charles抓包---ios苹果手机

摘要： #### 安装Charles 1. 获取PC的IP地址在Charles菜单栏 -> Help -> Local IP Address中可以查看PC的IP地址。 2. 配置iPhone代理在iPhone的设置 -> 无线局域网 -> 局域网信息(i) -> 配置代理 -> 手动中配置代理，服务器输入框阅读全文

posted @ 2021-10-19 16:00 技术改变命运Andy 阅读(488) 评论(0) 推荐(0) 编辑

appium在爬虫中的应用--转

摘要： #### 首先声明一点，在爬任何数据的时候，一定不要先考虑用Appium,个人建议开始爬虫前正确的做法应该是：1.去百度和谷歌搜下这个网站有没有人分享出你要爬数据的API2.看看电脑网页有没有你要的数据，调查下好不好拿，不管好不好拿，也不要急着就开爬3.看看有没有电脑能打开的手机网站，一般格式为ht 阅读全文

posted @ 2021-10-19 11:42 技术改变命运Andy 阅读(322) 评论(0) 推荐(0) 编辑

tcpdump手机抓包

摘要： #### 这个没有图形界面，可以在Linux服务器上运行，这是比wireshark优秀的地方， ### 首先手机root #### 然后adb要能连接手机 #### 下载tcpdump 下载连接如下:http://www.androidtcpdump.com/android-tcpdump/down 阅读全文

posted @ 2021-10-19 09:49 技术改变命运Andy 阅读(1041) 评论(0) 推荐(0) 编辑

反抓包ssl-pinning

摘要： SSL-pinning 反抓包策略为了防止中间人攻击，可以使用SSL-Pinning的技术来反抓包。可以发现中间人攻击的要点的伪造了一个假的服务端证书给了客户端，客户端误以为真。解决思路就是，客户端也预置一份服务端的证书，比较一下就知道真假了。 SSL-pinning有两种方式：证书锁定（Ce 阅读全文

posted @ 2021-10-19 08:42 技术改变命运Andy 阅读(4057) 评论(0) 推荐(2) 编辑

2021年10月17日

scrapy 结合selenium

摘要：结合selenium 原理： scrapy框架只能爬取静态网站。如需爬取动态网站，需要结合着selenium进行js的渲染，才能获取到动态加载的数据。如何通过selenium请求url，而不再通过下载器Downloader去请求这个url? 方法：在request对象通过中间件的时候，在中间件内阅读全文

posted @ 2021-10-17 16:03 技术改变命运Andy 阅读(1549) 评论(1) 推荐(0) 编辑

scrapy中如何设置应用cookies

摘要：总的来说，scrapy框架中设置cookie有三种方式。第一种： setting文件中设置cookie 当COOKIES_ENABLED是注释的时候scrapy默认没有开启cookie 当COOKIES_ENABLED没有注释设置为False的时候scrapy默认使用了settings里面的coo 阅读全文

posted @ 2021-10-17 16:01 技术改变命运Andy 阅读(1290) 评论(0) 推荐(0) 编辑

mac tree 命令

摘要： ### 安装 brew install tree # 在一个大文件，层级目录很多的路径，不要直接使用tree，否则会打印很多的目录，没有用，一般来讲，使用，查看不同级别子目录和文件使用"tree -L N "这个命令，只查看当前第N级的目录和文件，使用"tree -L 1 "这个命令，只查看当前阅读全文

posted @ 2021-10-17 13:16 技术改变命运Andy 阅读(208) 评论(0) 推荐(0) 编辑

2021年10月14日

pyhon 字典表达式处理cookies headers

摘要： ### # headers处理 headers = """Host:match.yuanrenxue.com content-length: 0 pragma: no-cache cache-control: no-cache sec-ch-ua: "Chromium";v="94", "Googl 阅读全文

posted @ 2021-10-14 03:12 技术改变命运Andy 阅读(49) 评论(0) 推荐(0) 编辑

浅谈js逆向之发展历史（转）（有用）

摘要： https://bbs.125.la/thread-14670632-1-1.html 不知不觉玩这个领域已经有点年头了，一直想推动这个领域发展，奈何靠某个人是很难实现的，所以我创办了编程喵的群，找了一些志同道合的伙伴一起推进js逆向领域的发展，并且开发配套的工具，录制了一些公开教程，偶尔也会直播公阅读全文

posted @ 2021-10-14 01:01 技术改变命运Andy 阅读(972) 评论(0) 推荐(0) 编辑

2021年10月13日

免费接口api测试

摘要： ### 编写天气预报的程序或者ip地址的程序等等时，都是需要一些免费的资源的。这些免费的资源收集起来比较麻烦，因此转载了一些资源，这样以后用的时候，会很方便。 https://www.kancloud.cn/ccjin/yingq/1631612 ##### 国家气象局提供的天气预报接口接口地址：阅读全文

posted @ 2021-10-13 08:12 技术改变命运Andy 阅读(811) 评论(0) 推荐(0) 编辑

selenium自带抓包的使用，desired_capabilities

摘要： ### 做爬虫的时候，有时候遇到需要的数据在加载资源当中，通常做法是拼接url，然后获取数据，但首先需要进行分析，如果拼接中的参数有加密的情况时，如果不能模拟算法生成正确的参数，那就很头疼。而访问performance，可以获得加载网站时的资源请求信息，可以通过这一特点，获取url和数据。 #### 阅读全文

posted @ 2021-10-13 07:33 技术改变命运Andy 阅读(4160) 评论(0) 推荐(0) 编辑