上一页 1 ··· 28 29 30 31 32 33 34 35 36 ··· 49 下一页
摘要: reqeusts库,在使用ip代理时,单ip代理和多ip代理的写法不同 (目前测试通过,如有错误,请评论指正) 单ip代理模式 省去headers等 import requests proxy = { 'HTTPS': '162.105.30.101:8080' } url = '爬取链接地址' r 阅读全文
posted @ 2018-07-23 16:13 Operater 阅读(7707) 评论(1) 推荐(1) 编辑
摘要: 使用: from fake_useragent import UserAgent 最实用的 但我认为写爬虫最实用的是可以随意变换headers,一定要有随机性。在这里我写了三个随机生成user agent,三次打印都不一样,随机性很强,十分方便。 爬虫中具体使用方法 fake-useragent 将 阅读全文
posted @ 2018-07-23 11:55 Operater 阅读(3610) 评论(0) 推荐(0) 编辑
摘要: CentOS(Community ENTerprise Operating System)是Linux发行版之一,它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码,因此有些要求高度稳定性的服务器以CentOS替代商业版的Red 阅读全文
posted @ 2018-07-18 16:12 Operater 阅读(7162) 评论(0) 推荐(0) 编辑
摘要: #!/usr/bin/python和#!/usr/bin/env 的区别 #!/usr/bin/python 通常在一个.py文件开头都会有这个语句它只在Linux系统下生效,意思是当作为可执行文件运行时调用的解释器的位置上面代码的意思是调用/usr/bin/下的Python来作为解释程序,同样,你 阅读全文
posted @ 2018-07-18 15:49 Operater 阅读(1741) 评论(0) 推荐(0) 编辑
摘要: 官方解释 json(javascript object Notation)是一种轻量级的数据交换格式,易于人阅读和编写。同时也易于机器解析和生成。它基于javascript programming language,json采用完全独立于语言的文本格式,但是也使用了类似于C语言家族的习惯,这些特性使 阅读全文
posted @ 2018-07-17 19:55 Operater 阅读(286) 评论(0) 推荐(0) 编辑
摘要: 刚启动vim进入的就是命令模式 在命令模式下 h等于左箭头 j等于下箭头 k等于上箭头 l等于右箭头 想要多次移动可以使用30j或30↓向下移动30行 在命令模式下输入0跳到行头 在命令模式下输入$跳到行尾 在vim的底线命令模式下(在命令模式下输入冒号(:)进入底线命令模式) 跳转到文件头 输入命 阅读全文
posted @ 2018-07-17 19:00 Operater 阅读(1493) 评论(0) 推荐(0) 编辑
摘要: 先在D:\mg\data下新建一个logs文件夹,再在logs文件夹下新建一个logs.txt文件 windows下安装mongodb服务,管理员身份运行cmd 当输出的日志文件log.txt里有这些话说明安装成功了 卸载服务 管理员身份运行cmd net start mongodb 报错 解决方法 阅读全文
posted @ 2018-07-13 16:18 Operater 阅读(1918) 评论(0) 推荐(0) 编辑
摘要: ftp,securecrt,winscp等工具下载文件时候有选项,可选的有二进制方式和文本方式,文本方式又称为ascii方式 ascii方式和binary方式的区别是回车换行的处理 binary方式不对数据执行任何处理 ascii方式将回车换行转换为本机的回车字符,比如unix下是\n,window 阅读全文
posted @ 2018-07-12 20:54 Operater 阅读(4478) 评论(1) 推荐(0) 编辑
摘要: 元数据是描述其他数据的数据,或者说是用于提供某种资源的有关信息的结构数据。元数据是描述信息资源或数据等对象的数据,其使用目的在于:识别资源,评价资源,追踪资源在使用过程中的变化,实现简单高效的管理大量网络化数据,实现信息资源的有效发现,查找,一体化组织和对使用资源的有效管理 阅读全文
posted @ 2018-07-12 10:23 Operater 阅读(201) 评论(0) 推荐(0) 编辑
摘要: Chrome: 1.打开chrome浏览器,点击右上角的“自定义和控制Google Chrome”按钮 2.在下拉菜单中选择设置 3.点击设置页底部的“显示高级设置...” 4.在隐私设置下,点击“内容设置...”按钮.,点击cookie 5.在弹出的窗口中,选择“仅将本地数据保留到您退出浏览器为止 阅读全文
posted @ 2018-07-11 13:53 Operater 阅读(5400) 评论(0) 推荐(0) 编辑
上一页 1 ··· 28 29 30 31 32 33 34 35 36 ··· 49 下一页