摘要：
先看一下代码，真的只是五十行： 第七行用来加载chrome的配置文件，需要改成自己的路径，可以再chrome的地址栏里输入chrome://version查看，第八行用来绕过淘宝对selenium的检测，request_page是自定义的爬虫函数，主要是利用xpath语法，真的不要太方便，第一个fo 阅读全文
摘要：
numpy study 0x01：n维数组对象ndaarray 存放同类型元素的多维数组 0x02：numpy数据类型 numpy 的数值类型实际上是 dtype 对象的实例，并对应唯一的字符，包括 np.bool_，np.int32，np.float32，等等。 字定义结构化数据类型： impor 阅读全文
摘要：
selenium虽然强大，但也有不方便的地方，selenium每次启动浏览器都是一个全新的浏览器，并没有加载任何的配置，这样在爬取一些需要登陆才能看到的页面时就有些不太方便。但我们可以通过加载chrome配置文件的方法，免去重复登陆，而只需要登陆一次就行。 0x01：获取个人资料路径 在chrome 阅读全文
摘要：
selenium selenium是一个支持各大浏览器的自动化测试工具，包括 Chrome，Safari，Firefox ，ie等。再构造爬虫时，如果我们加入了User Agent，那么变伪装成了浏览器，可以骗过一些技术水平不太高的网站。但如果使用selenium，则就不是伪装浏览器，而是真正的用浏 阅读全文
摘要：
工欲善其事必先利其器，记录一下eclipse怎么创建java项目 0x01：选择工作空间 打开eclipse出现的下面第一个界面，选择java project的空座区间，简单的说就是把你创建的java项目放在那里 0x02：创建项目 点击File--New--Project 弹出的页面选“Java 阅读全文
摘要：
0x01：换源，依次输入一下两条命令 0x02：创建虚拟环境 0x03：查看虚拟环境 再anaconda的根目录下，有个envs目录，所创建的虚拟环境都存放再这里，包括再pycharm中使用anaconda环境创建的项目 0x04：启动虚拟环境 打开Anaconda prompt， 输入activa 阅读全文
摘要：
这两天一致被一个问题困扰，电脑里装了anaconda和python3.7，在命令行里输入python，想要python3.7，出现的确实python3.6，或使用pip安装包时，不知道是装在里python3.7里面还是anaconda里面。原因是python3.7和anaconda的可执行文件都是p 阅读全文
摘要：
假设读者已经了解了什么叫字符集，什么叫编码，什么叫解码。 首先要明确，虽然有三种前缀（无前缀，前缀u，前缀b），但是字符串的类型只有两种（str，bytes），实验如下： 根据程序以及以上运行结果，发现无前缀，和前缀u，构造出来的字符串常量，是一样的。 类型一样是str，长度一样是3，==判断也是返 阅读全文
摘要：
库结构： 工作机制： api.py get、post、put、delete等请求方式都在api文件中，另外，api文件中还有个request方法，使用任何一种请求方式都是调用request方法，只是传入的参数不同，比如下面的get方式请求 def get(url, params=None, kwar 阅读全文
摘要：
http包简介 http包提供了 HTTP协议的一些功能，主要模块有： http.client 底层的 HTTP 协议的一些功能，可以为 urllib.request 模块所用 http.server 提供了基于 socketserver模块的基本 HTTP服务器类 http.cookies coo 阅读全文