09 2023 档案
算法戴高乐-02篇-滑窗
摘要：滑动窗口模板 注意：这里区间用的是左闭右开：[left, right) void slidingWindow(String s) { // 1、选合适的数据结构，记录窗口数据 HashMap<Character, Integer> window = new HashMap<>(); int left
阅读全文
Python从入门到实战-Scrapy源码3-抓取任务
摘要：Scrapy 如何完成抓取任务 这部分讲解 Scrapy 最核心的抓取流程如何运行？调度各个组件？完成整个抓取工作的。 运行入口 还是回到最初的入口，在执行 Scrapy 命令时，主要经过以下几步： 调用 cmdline.py 的 execute 方法 找到对应的 命令实例 解析命令行 构建 Cra
阅读全文
Python从入门到实战-Scrapy源码2-核心组件(配置文件加载)
摘要：本篇文章解决：Scrapy 有哪些核心组件？以及它们主要负责了哪些工作？这些组件为了完成这些功能，内部又是如何实现的？ 爬虫-Crawler 上次讲到 Scrapy 运行起来后，执行到最后到了 Crawler 的 crawl 方法，我们来看这个方法： @inlineCallbacks def cra
阅读全文
《Python从入门到实战》-Scrapy源码1-Scrapy入口
摘要：运行入口（execute.py） 我们已经知道了 Scrapy 的运行入口是 scrapy/cmdline.py 的 execute 方法 def execute(argv=None, settings=None): """ 主要工作包括配置初始化、命令解析、爬虫类加载、运行爬虫 """ if ar
阅读全文
Python在Linux上执行脚本
摘要：Linux 命令行运行 Python 脚本 1. 安装 Python 解释器 查看Python解释器安装位置： which python 2. 创建 Python 脚本 这里说下在linux中命令行创建Python脚本 ## nano 命令创建 hello.py，里面写一个 print("Hello
阅读全文
阅读源码主题学习(I)
摘要：一个程序员的技术水平的高低，是看他做过多少系统，更重要是看他踩过多少坑。 阅读源码有哪些坑？ 源码阅读最难的不是代码本身，也不是理解其设计理念，而是坚持！ 职场小人开始说话了： 1.工作中用的技术不需要阅读源码，在开发过程中熟练运用就行； 2.看源码太费时间，而且容易忘记，实际使用中遇到问题去做针对
阅读全文
《Python从入门到实战》-源码篇-pyspider
摘要：pyspider 是什么？ 一个Python写的强大的网路爬虫系统。 github：https://github.com/binux/pyspider 官方文档：http://docs.pyspider.org/en/latest/ 什么是网络爬虫？ 一个扫描网络内容并记录其有用信息的工具。打开一大
阅读全文
《Python从入门到实战》-框架篇-构建通用垂直爬虫平台
摘要：在公司设计开发了一个通用的垂直爬虫平台，把整个爬虫平台的设计思路分享一下。 写一个爬虫很简单，写一个可持续稳定运行的爬虫也不难，但如何构建一个通用化的垂直爬虫平台？ 爬虫简介 首先介绍一下，什么是爬虫？ 搜索引擎是这样定义的： 网络爬虫（又被称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓
阅读全文
《Python从入门到实战》-源码篇-Scrapy
摘要：Scrapy是什么？ Python写的开源爬虫框架。 什么是爬虫？ 就可以方便地从网上抓取你想要的内容。 优点： 功能强大。 哪里看出功能强大？ 便捷地构建 request，request是异步调度和处理的 强大的 selector 解析response downloader是多线程的 性能，也就是
阅读全文
算法戴高乐计划-01篇-二叉树|BFS
摘要：labu一直强调要先刷二叉树！先刷二叉树！先刷二叉树！那现在就开始把。 二叉树的遍历 效果：从最简单的问题中提炼出所有二叉树题目的共性，将二叉树中蕴含的思维进行升华，反手用到 动态规划，回溯算法，分治算法，图论算法 中去。 1、二叉树的前中后序遍历是什么？只是三个顺序不同的 List 吗？ 2、请分
阅读全文
