12 2022 档案
摘要：1、 百度蜘蛛：Baiduspider Baiduspider-image baiduboxapp Baiduspider-render。IP段参考 #PC搜索UA： Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/se
阅读全文
摘要：搜狗蜘蛛IP段： 118.184.176.0/22123.180.0.0/14123.125.0.0/1661.135.0.0/16123.126.64.0/18111.202.0.0/1636.110.128.0/19220.181.0.0/16106.120.128.0/1749.7.0.0/1
阅读全文
摘要：Google中国蜘蛛IP段： 203.208.32.0/19203.208.60.0/2474.125.0.0/1672.14.192.0/1864.233.160.0/1966.249.64.0/1966.102.0.0/2064.68.64.0/1966.249.90.0/2466.249.91
阅读全文
摘要：场景描述： 上次看到一篇有关权重聚合的文章，在不明所以的情况下，擅自修改了重定向，导致网站收录狂跌； 蜘蛛记录如下： 百度站长诊断确是OK的，返回200； 使用爱站站长工具进行测试，却发现不论是不是带www都跳转301；难怪了。 处理步骤： 1.确认Nginx重定向已经删除； 2.关闭强制SSL；
阅读全文
摘要：场景描述： 采集时候，因为部分采集规则的问题，导致入库的某字段数据多了些无用字符。需要根据含有某个字符串来判断，并清空该值。 操作步骤： 1.备份数据库【十分重要，必须操作！】； 2.输入命令查看含有该字符串的数据条数； SELECT * FROM `***_ecms_app` WHERE loca
阅读全文
摘要：场景描述： 采集部分数据后，newstext字段写入时出现了问题，但页面已经生成，为避免产生404不能直接删除问题页面，现需要将主表news中的简介字段smalltext内容复制到副表news_data_1的newstext中，以代替部分数据。 操作步骤： 1.备份数据库【必须操作，避免数据丢失或操
阅读全文
摘要：场景描述： 搭建帝国CMS网站的时候，因为默认使用了宝塔推荐的PHP环境一键安装，报错如下： 报错： Deprecated: Function get_magic_quotes_gpc() is deprecated in /data/xxx.com/e/class/connect.php on l
阅读全文
摘要：1.百度UA标记： 移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baidus
阅读全文
摘要：有的IP搭建了扫描器，专门对各个网站进行扫描爆破，没有侵入的时候，会造成大量404，且浪费主机资源，以下是常见的扫描器IP，有一个拉黑一个，绝对不会错！ 【文末有JSOP文件，可下载后导入】 看到的朋友可以将以下IP添加到IP黑名单： 1 111.14.101.1-111.14.101.255 2
阅读全文
摘要：1.概述： 1.注释：使用#,python会自动忽略#以后的语句； 2.换行：使用 \，可以使得后面的继续上前面的语句； 2.if else写法：
阅读全文
摘要：1.JupyterNoteBook的安装： pip install jupyter notebook 2.打开jupyter notebook： 2.1默认打开jupyter notebook,操作记录会保存在C盘或默认目录; 2.2 在指定目录下打开，例如J： 3.进入Python编辑环境： 4.
阅读全文
摘要：1.集合的概述： 集合相当于字典中的Key，也就是舍弃了值的字典； 使用 {} 或者 set() 来创建； 集合是无序的； 集合元素是唯一的（如果出现重复元素，会被覆盖；应用在爬虫去重）； 使用in 判断元素是否存在； 集合内元素可变； 2.集合的创建： #直接创建空集，会变成字典； >>> set
阅读全文
摘要：需求描述： 帝国CMS搭建的网站，有时候会有移动端和PC端两个分离；当在PC端发布的时候，移动端不会同步生成文章，这就需要进行同步设置。 实施步骤： 1.下载同步插件：同步插件： 2.上传同步插件到指定文件夹 /e/dongpo/mob/，没有的话就创建一个； 3.后台系统配置插件 4.插件路径配置
阅读全文
摘要：需求说明： 查看服务器的一些日志发现经常有一些爆破的记录，如果我们单个赋值IP，那将是一个巨大的工程，所以我们可以通过Excel来处理； 处理步骤： 1.下载日志表格； 2.新建一个表，输入表头，将第一列复制粘贴好所有的IP地址， 3.在第二列输入函数“=LEFT(A2,FIND("@",SUBST
阅读全文
摘要：1.元组的概述： 元组与列表类似，由任意类型的元素组成序列； 元组是不可变的（与列表不同处）； 2.元组的创建及检验： >>> tuple_1 = (1,2,3,4) >>> tuple_1 (1, 2, 3, 4) >>> tuple_2 = 1,2,3 >>> tuple_2 (1, 2, 3)
阅读全文
摘要：1.字典的概述： 1.1 字典没有顺序，不能通过切片取元素； 1.2 它是通过互相不同的key值来访问元素； 1.3 字典是可变的，可以随意增加，修改或者删除其中的键值对； 2.字典的创建： >>> dic = {'a':1,'b':2} >>> dic {'a': 1, 'b': 2} >>> l
阅读全文
摘要：1.列表的创建：list或者使用 [ ]; a='dawt' list(a) ['d', 'a', 'w', 't'] a=['d', 'a', 'w', 't'] a ['d', 'a', 'w', 't'] 注意：使用list可以将其他类型的数据转换为列表； 2.列表的切片：[start, en
阅读全文
