摘要：
scrapy使用本机的ip可以正常进行爬取数据，但是使用代理ip就会报错：由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。可以确定使用的代理ip是没有问题的，访问的网站也没有问题。在网上搜索了很多也没有解决，困扰很久，目前猜想可能是安装的杀毒软件的问题，防火墙的关系有可能，还有 阅读全文
摘要：
一.浏览器开启实验室模式 在谷歌浏览器中输入网址<chrome://flags/ >,进入页面后打开该功能。 二.配置js文件 我用的是pycharm，首先对需要调试的js文件进行配置，然后填入--inspect-brk 三.调试js Debugger要调试的js文件，然后在谷歌浏览器中新打开一个标 阅读全文
摘要：
百度百科MD5 function md5(string) { function md5_RotateLeft(lValue, iShiftBits) { return (lValue << iShiftBits) | (lValue >>> (32 - iShiftBits)); } functio 阅读全文
摘要：
目前已知有两种方法，例如在A.js文件中引用B.js文件中的方法。 先说第一种： B.js文件是这样的， function hello(){ console.log("Hello world"); } exports.hello = h; 那么在A.js文件中可以这样引用， // var hello 阅读全文
摘要：
爬数据的时候报错，一开始愣住了我以为我的骚操作太多网站给我封了，后来爬别的网站也是同样的报错，然后意识到不是被封了，然后各种在网上查资料，去更新python里的某个包，然后也是报错，我去更新pip也是报错，我以为是python出现问题了，最后翻到了这篇文章恍然大悟，https://www.cnblo 阅读全文
摘要：
一、下载安装 1.1 MongoDB下载安装 下载地址：https://www.mongodb.com/try/download/community 我下载的是最新的版本 7.0.2，windows的msi安装包， 安装步骤：双击安装包打开 -> next -> 接受协议 -> next -> 选择 阅读全文
摘要：
一、flask安装 首先我是用的conda环境，我创建了一个python版本为3.10的名称为flask的conda环境，python版本是3.10.12，激活该环境后需要下载flask，flask我没有指定版本，下载的是当前最新的版本2.3.3。安装flask的时候会默认附加安装 jinja2等等 阅读全文
摘要：
安装网址：https://archive.apache.org/dist/sqoop/1.4.6/ 下载的是 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 这个版本的安装包，下载很慢，等着吧。 安装步骤： 1. 上传并解压。首先将安装包上传到hadoop102 阅读全文
摘要：
一、Hbase简介 1.1 定义 Apache HBase 是以 hdfs 为数据存储的，一种分布式、可扩展的 NoSQL 数据库。 1.2 HBase 数据模型 HBase 数据模型的关键在于稀疏、分布式、多维、排序的映射。其中映射 map 指代非关系型数据库的 key-Value 结构。 1.2 阅读全文
摘要：
一、Flume概述 1.1 Flume定义 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。 1.2 Flume基础架构 1.2 阅读全文