海纳百川_有容乃大

爬虫必备工具-chrome 开发者工具

摘要：在某个网站上，分析和抓取数据，我们用的最多的工具就是 Chrome 开发者工具 01 元素面板通过元素（Element）面板，我们能查看发哦想抓取页面渲染内容所在的标签、使用什么 CSS 属性（例如：class = ‘name’）等内容。例如而我想抓取知乎主页中的动态标题，在网页页面所在处上右击书阅读全文

posted @ 2019-09-27 09:14 海纳百川_有容乃大阅读(388) 评论(0) 推荐(0) 编辑

Python 中多进程、多线程、协程

摘要：进程：一个运行的程序（代码）就是一个进程，没有运行的代码叫程序，进程是系统资源分配的最小单位，进程拥有自己独立的内存空间，所以进程间数据不共享、开销大。线程：调度执行的最小单位，也叫执行路径，不能独立存在，依赖进程存在一个进程至少有一个线程，叫主线程，而多个线程共享内存（数据共享，共享全局变量阅读全文

posted @ 2019-09-26 09:31 海纳百川_有容乃大阅读(582) 评论(0) 推荐(0) 编辑

Python 中命令行参数解析工具 docopt 安装和应用

摘要：什么是 docopt？ 1、docopt 是一种 Python 编写的命令行执行脚本的交互语言。它是一种语言！它是一种语言！它是一种语言！ 2、使用这种语言可以在自己的脚本中，添加一些规则限制。这样脚本在执行的时候就必须按照这样格式来执行，同时，也可以很方便的编写一些帮助信息（其实很多软件在输阅读全文

posted @ 2019-09-25 18:35 海纳百川_有容乃大阅读(809) 评论(0) 推荐(0) 编辑

什么是中台？

摘要：在传统的 IT 企业，项目的物理结构是什么样的呢？无论项目内部的任何复杂，都可分为“前台”和“后台”。什么是前台？首先，这里所说的“前台”和“前端”并不是一回事。所谓前台包括各种和用户直接交互的界面，比如Web 页面，手机 App；也包括服务端各种实时响应的用户的请求的业务逻辑。比如商品查询、阅读全文

posted @ 2019-09-25 09:41 海纳百川_有容乃大阅读(2628) 评论(0) 推荐(0) 编辑

ubuntu 18.04 上安装 docker

摘要：命令安装 docker 1、直接从 ubuntu 仓库安装，打开终端，输入： 2、启动 docker 服务。设置开机自启动 docker 服务 3、免 sudo 配置：阅读全文

posted @ 2019-09-24 08:29 海纳百川_有容乃大阅读(315) 评论(0) 推荐(0) 编辑

深入理解 ajax系列第一篇（XHR 对象）

摘要： 1999年，微软公司发布了IE5，第一次引入新功能：允许javascript 脚本向服务器发起 hffp 请求。这个功能方式并没有被引起注意，知道2004年 Gmail 发布和 Google Map 发布，才引起广泛关注。2005 年2月，ajax 这个词第一次正式提出，指围绕这个功能进行开发一整阅读全文

posted @ 2019-09-23 18:31 海纳百川_有容乃大阅读(1076) 评论(0) 推荐(0) 编辑

scrapy 中 shell 出现 403 Forbiidden 解决方案

posted @ 2019-09-23 16:25 海纳百川_有容乃大阅读(943) 评论(0) 推荐(0) 编辑

python 的参数总结

摘要：一、形参和实参函数参数的作用是传递数据给函数使用在使用的过程中，参数有两种形式：形式参数和实际参数形参：定义函数的参数实参：调用函数时的参数根据实际参数类型不同，将实际参数传递给形参的方式有两种：值传递和引用传递值传递：实参为不可变对象，传递给形参后，形参的值改变，实参值不变。（如阅读全文

posted @ 2019-09-23 10:05 海纳百川_有容乃大阅读(315) 评论(0) 推荐(0) 编辑

Python 的直接赋值、Deepcopy、Copy的区别

摘要：直接赋值：其实就是对象的引用浅拷贝（copy）：只拷贝符对象，不会拷贝对象内部的子对象深拷贝（deepcopy）： copy 模块的 deepcopy 方法，完全拷贝了父对象及其子对象有图有真相请观赏： 1、 b = a; 赋值引用， a 和 b 都是指向同一个对象 2、b = a.co 阅读全文

posted @ 2019-09-23 08:28 海纳百川_有容乃大阅读(297) 评论(0) 推荐(0) 编辑

什么是 SDK？

摘要：通俗而言： 1、其实很简单，SDK 就是 Software Development Kit 的缩写，中问意思是：软件开发工具包。 2、这是一个覆盖面相当广泛的名词，可以这么说：辅助开发某一类软件的相关文档、范例和工具的集合都可以叫做“SDK”。 PS：（这里插一段关于抽象的理解的话：抽象就是从阅读全文

posted @ 2019-09-21 13:05 海纳百川_有容乃大阅读(18566) 评论(0) 推荐(0) 编辑