摘要：
scrapy是目前python使用的最广泛的爬虫框架 架构图如下 解释： Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。 Scheduler(调度器): 它负责接受引擎发送过来的Request请 阅读全文
摘要：
对爬取的网页进行数据解析有4中方式： re正则 bs4 xpath pyquery 这里着重介绍xpath 一。安装 pip install lxml二。优点 解析效率比较高 通用性最强的三。实例 from lxml import etree from random import choice im 阅读全文
摘要：
使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3） 1.安装 pip install requests 2.实例 from random import choice import requests user_ag 阅读全文
摘要：
最近在学习爬虫，爬虫最多是用python编写，这里总结记录下本人整理的python基本语法 一.python简介 Python是一种跨平台的计算机程序设计语言。 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。 二.基础语法 2.1单行注释 2.2多行注释 2.3乱码问题 当Pyth 阅读全文
摘要：
一般指配置中的Remote Storage Location 连接失败 地址改成 华为maven参考即可 https://mirrors.huaweicloud.com/repository/maven/ 相关文章 nexus搭建 Nexus配置阿里云代理仓库 阅读全文
摘要：
Nexus默认远程仓库为https://repo1.maven.org/maven2/ maven默认远程仓库为https://repo1.maven.org/maven2/ aliyun默认远程仓库为http://maven.aliyun.com/nexus/content/groups/publ 阅读全文
摘要：
一．为什么要构建Nexus私服？ 公司所有开发成员没有外网,通过局域网连接 nexus 私服,由私服连接外网。 把项目发布到私服.其他人员从私服下载。 二．使用私服之后架构图 三．搭建 Nexus 3.1 nexus-2.10-1bundle.zip 解压到任意非中文目录中 3.2进入 nexus- 阅读全文
摘要：
2020年09月14日重新编写，添加了正则表达式，文件处理，用户管理等模块，几乎囊括你所会用到的所有Linux命令 一. linux发行版本 red hat : 目前全球最大的 linux 发行厂商.(收费) ubuntu:免费版本.界面比较好 麒麟. Cent OS:免费.由 red hat 分支 阅读全文
摘要：
Apache ActiveMQ是Apache软件基金会所研发的开放源代码消息中间件；由于ActiveMQ是一个纯Java程序，因此只需要操作系统支持Java虚拟机，ActiveMQ便可执行。 ActiveMQ有两种模式，分别是PTP模式和P&S模式 下面分别举例说明 1.PTP模式(queue) 消 阅读全文
摘要：
原因是redis出错了。解决方法如下： 1、使用命令检查REDIS状态： /java/redis/redis7000/src/redis-trib.rb check 192.168.249.230:7000 [ERR] Nodes don't agree about configuration!>> 阅读全文