百度收集自动推送脚本——python版
做网站的过程中,网站做出来容易,把网站推广出去就难了,其中第一步就是需要各大搜索引擎,如百度,谷歌,360和搜狗等对我们的网站进行收录,链接提交方面,其实各大网站斗差不多,基本上都有sitemap提交,但百度网站收录除了sitemap提交之外,还提供了主动推送和自动推送。
所谓的自动推送实际上就一被动技能,在每个网站上写入特定的JS代码,当有人访问网页时,JS代码就将当前未被收录的网页推送到百度服务器,完成收录,其脚本如下:
<script> (function(){ var bp = document.createElement('script'); var curProtocol = window.location.protocol.split(':')[0]; if (curProtocol === 'https') { bp.src = 'https://zz.bdstatic.com/linksubmit/push.js'; } else { bp.src = 'http://push.zhanzhang.baidu.com/push.js'; } var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(bp, s); })(); </script>
将这段JS代码复制到每个网页,就可以实现自动推送的功能了。
而主动推送比较有意思,目前百度只提供了curl, php, ruby程序示例,没有Python版本。主动推送每天最多可以推送10万条url
按照百度提供的信息,其实python版本也相对容易编写。
首先登陆百度搜索资源平台,然后在链接提交里找到自动推送接口,如我的网站推送接口:
接着就使用这个推送接口文件进行python程序编写,另外需要准备一个sitemap文件,网站所有的url都从sitemap中读取,当然如果有url列表也可以直接从url列表中读取。
# base on python 3.7 import requests import re import time def push_urls(urls): url = "你的百度推送接口" headers = { 'User-Agent': 'curl/7.12.1', 'Host': 'data.zz.baidu.com', 'Content - Type': 'text / plain', 'Content - Length': '83', 'charset':'gbk', } try: response = requests.post(url, headers=headers, data=urls, timeout=5).text return response except Exception as e: print(e) def auto_push_urls(): remain_push_count = 100000 push_count = 0 start_number = 608006 actual_push_url = 0 # open a sitemap try: with open("sitemap.xml", "r", encoding="utf-8") as f: source_links = f.readlines() except Exception as e: print(e) else: for link in source_links[start_number]: url = re.findall('<loc>(.*?)</loc>', link) if url !=[]: target_url = url[0].encode("utf-8") response = push_urls(target_url) # print(url[0]) print(f"psuh a url:{target_url}, {response}") push_count += 1 actual_push_url += 1 if push_count > remain_push_count: break return actual_push_url if __name__ =="__main__": print("start pushing urls ...") pushed_url_number = auto_push_urls() print(f"complete pushing urls: {pushed_url_number} ...")
推送成功后,接口返回一个字典列表,含剩余url数目"remain":99999,推送成功数目:"success":1
{"remain":100000,"success":0,"not_same_site":["smwap.bodamn120.com/zt/zixun/"]}
如失败,则返回具体失败原因: