摘要： Kafka遇到一些问题 offset在rebalance Fetch position FetchPosition{offset=143266, offsetEpoch=Optional[2], currentLeader=LeaderAndEpoch{leader=Optional[52.159. 阅读全文

摘要： GroupBy 用法地址：https://www.cnblogs.com/henuyuxiang/p/14989223.html Map<String, Set<String>> sourceTargetsMap = staticEdges.stream() .collect(Collectors. 阅读全文

摘要： 多线程消费方式 方式1：一个线程对应一个消费者 消费者数量不大于分区数，最好也能对等起来 方式2：多线程消费同一个分区 位移提交和顺序控制的处理非常复杂，不推荐 方式1：消费者<=分区数 int threadNum = 4; for (int i = 0; i < threadNum; i++) { 阅读全文

摘要： LCP 07. 传递信息 小朋友 A 在和 ta 的小伙伴们玩传信息游戏，游戏规则如下： 有 n 名玩家，所有玩家编号分别为 0 ～ n-1，其中小朋友 A 的编号为 0 每个玩家都有固定的若干个可传信息的其他玩家（也可能没有）。传信息的关系是单向的（比如 A 可以向 B 传信息，但 B 不能向 A 阅读全文

摘要： 滑动窗口模板 注意：这里区间用的是左闭右开：[left, right) void slidingWindow(String s) { // 1、选合适的数据结构，记录窗口数据 HashMap<Character, Integer> window = new HashMap<>(); int left 阅读全文

摘要： Scrapy 如何完成抓取任务 这部分讲解 Scrapy 最核心的抓取流程如何运行？调度各个组件？完成整个抓取工作的。 运行入口 还是回到最初的入口，在执行 Scrapy 命令时，主要经过以下几步： 调用 cmdline.py 的 execute 方法 找到对应的 命令实例 解析命令行 构建 Cra 阅读全文

摘要： 本篇文章解决：Scrapy 有哪些核心组件？以及它们主要负责了哪些工作？这些组件为了完成这些功能，内部又是如何实现的？ 爬虫-Crawler 上次讲到 Scrapy 运行起来后，执行到最后到了 Crawler 的 crawl 方法，我们来看这个方法： @inlineCallbacks def cra 阅读全文

摘要： 运行入口（execute.py） 我们已经知道了 Scrapy 的运行入口是 scrapy/cmdline.py 的 execute 方法 def execute(argv=None, settings=None): """ 主要工作包括配置初始化、命令解析、爬虫类加载、运行爬虫 """ if ar 阅读全文

摘要： Linux 命令行运行 Python 脚本 1. 安装 Python 解释器 查看Python解释器安装位置： which python 2. 创建 Python 脚本 这里说下在linux中命令行创建Python脚本 ## nano 命令创建 hello.py，里面写一个 print("Hello 阅读全文

摘要： 一个程序员的技术水平的高低，是看他做过多少系统，更重要是看他踩过多少坑。 阅读源码有哪些坑？ 源码阅读最难的不是代码本身，也不是理解其设计理念，而是坚持！ 职场小人开始说话了： 1.工作中用的技术不需要阅读源码，在开发过程中熟练运用就行； 2.看源码太费时间，而且容易忘记，实际使用中遇到问题去做针对 阅读全文