摘要: 连接本地虚拟机,可以用xShell软件,但Mac系统好像有个更好的选择,就是通过终端直接连接,反正进去也都是用命令操作的~~ 连接方法:ssh name@ip 问题:ssh: connect to host ip地址 port 22: Connection refused 分析:要连接的是本地虚拟机 阅读全文
posted @ 2018-08-05 13:36 贺健龙 阅读(786) 评论(0) 推荐(0) 编辑
摘要: 目前卡在视频部分,公众号的视频来源是腾讯视频,播放和下载地址都是加密的,目前vid及vkey均已经获取,但使用爬虫得到的结果永远是403、405,尚未解决。 考虑方法: selenium当页面加载后查看广告用时,等广告加载时间过去后再点击视频,再由网页中获取加载的视频地址进行下载,明天测试看有无 阅读全文
posted @ 2018-08-05 00:04 贺健龙 阅读(3766) 评论(0) 推荐(0) 编辑
摘要: 使用16线程爬取腾讯的招聘的100页分页信息,用时6秒左右(3M网速) 阅读全文
posted @ 2018-07-21 08:15 贺健龙 阅读(1506) 评论(0) 推荐(0) 编辑
摘要: 软件:charles、pycharm 平台:mac 网址:https://view.inews.qq.com/a/20180718A1WSEB00?uid= 第一步:获取api接口 1、电脑中安装charles抓包软件,与手机处于同一wifi网络下,将charles作为手机端的代理服务器。 主机名: 阅读全文
posted @ 2018-07-20 12:33 贺健龙 阅读(643) 评论(0) 推荐(0) 编辑
摘要: 电脑:mac 手机:小米5s 原因:通过小米手机自带浏览器登陆Charles指定的下载界面(电脑点击上图位置可显示证书下载路径),会自动下载一个.crt格式证书文件,但无法安装,经常提示安装失败,证证不存在等问题。 解决:无意使用第三方浏览器再次下载,下载的文件是一个非证书的.pem格式文件,这时只 阅读全文
posted @ 2018-07-16 09:34 贺健龙 阅读(208) 评论(0) 推荐(0) 编辑
摘要: 系统:Mac 软件:python3 报错信息显示为路径异常,但查询无问题 上网资料,于:https://www.jianshu.com/p/afd552124244下的一个回复找到可能原因 mac系统,需要把下载的chrome驱动放置到app目录内部 再次执行python程序,运行成功 阅读全文
posted @ 2018-07-10 22:36 贺健龙 阅读(199) 评论(0) 推荐(0) 编辑
摘要: import requests import timefrom bs4 import BeautifulSoup def sina(): is_first = True task_q = [] # 本地存储新闻 task_time = [] while True: data_list = getNews() if is_firs... 阅读全文
posted @ 2018-07-10 20:48 贺健龙 阅读(3143) 评论(5) 推荐(0) 编辑
摘要: 终端:mac 错误描述:pycharm写完的爬虫项目,需要将爬取内容存储至指定文件夹的json文件内,终端运行时报错: 查询原因:指定位置可能未建立文件夹(已建立),不成立 最终原因:终端目录与.py文件未在同一级目录下,初步考虑,open()函数是以当前运行终端运行节点为标准建立文件,而pyc 阅读全文
posted @ 2018-07-10 15:44 贺健龙 阅读(3585) 评论(0) 推荐(1) 编辑
摘要: dict 字典{ }:用单引号把Key与Value标记,用 : 连接,‘Key’ :‘Value’ 是一个字典元素,调用x['Key']可获取Value值 list 列表[ ]:append( )增加、list_a.insert(1,'x'):在指定位置增加、list_a.pop()默认删除最 阅读全文
posted @ 2017-11-26 00:35 贺健龙 阅读(986) 评论(0) 推荐(0) 编辑
摘要: 之前例子讲过关于字典、列表、字符串、元组,按书中所述,其实这些已经足够写一些代码,但Python属于面向对象的编程语言,本节所讲的类,是必须要掌握的,虽然现在有些懵逼 描述及方法,类似球的形状,球的玩法 比如汽车,如果用面向对象的方式解释, 我想你带我去哪哪,直接开车去就可以了 而如果用面向过程的编 阅读全文
posted @ 2017-11-25 15:53 贺健龙 阅读(1588) 评论(0) 推荐(0) 编辑