10 2019 档案
摘要：可见性问题 可见性是指一个线程对共享变量进行了修改，其他线程能够立马看到该共享变量更新后的值 ，这视乎是一个合情合理的要求，但是在多线程的情况下，可能就要让你失望了，由于每个 CPU 都有自己的缓存，每个线程使用的可能是不同的 CPU ，这就会出现数据可见性的问题，先来看看下面这张图： 对于一个共享
阅读全文
摘要：最近拜读了“阿里工程师的自我修养”手册，12 位技术专家分享生涯感悟来帮助我们这些菜鸡更好的成长，度过中年危机，我收获颇多，其中有不少的方法技巧和我正在使用的，这让我觉得我做的这些事情是对的，我走在了一条正确的道路上。我们程序员这个行业不像医生、律师等其他行业，那些行业可谓是越老越吃香，但是我们不一
阅读全文
摘要：这是 Java 爬虫系列博文的第五篇，在上一篇 "Java 爬虫服务器被屏蔽，不要慌，咱们换一台服务器" 中，我们简单的聊反爬虫策略和反反爬虫方法，主要针对的是 IP 被封及其对应办法。前面几篇文章我们把爬虫相关的基本知识都讲的差不多啦。这一篇我们来聊一聊爬虫架构相关的内容。 前面几章内容我们的爬虫
阅读全文
摘要：这是 Java 爬虫系列博文的第四篇，在上一篇 "Java 爬虫遇上数据异步加载，试试这两种办法！" 中，我们从内置浏览器内核和反向解析法两个角度简单的聊了聊关于处理数据异步加载问题。在这篇文章中，我们简单的来聊一聊爬虫时，资源网站根据用户访问行为屏蔽掉爬虫程序及其对应的解决办法。 屏蔽爬虫程序是资
阅读全文
摘要：这是国外一机构调查了 7000 名开发者得出来的 Java 2019 年生态圈工具使用报告，主要调查了 Java 版本、开发框架、web 服务器等使用情况。虽然只有 7000 名开发者参与调查，这数目对于互联网从业者开始可以忽略不计，但是当你看完这份报告之后，再结合自身周围的情况，我相信你会非常认同
阅读全文
摘要：这是 Java 爬虫系列博文的第三篇，在上一篇 "Java 爬虫遇到需要登录的网站，该怎么办？" 中，我们简单的讲解了爬虫时遇到登录问题的解决办法，在这篇文章中我们一起来聊一聊爬虫时遇到数据异步加载的问题，这也是爬虫中常见的问题。 现在很多都是前后端分离项目，这会使得数据异步加载问题更加突出，所以你
阅读全文
摘要：这是 Java 网络爬虫系列博文的第二篇，在上一篇 "Java 网络爬虫，就是这么的简单" 中，我们简单的学习了一下如何利用 Java 进行网络爬虫。在这一篇中我们将简单的聊一聊在网络爬虫时，遇到需要登录的网站，我们该怎么办？ 在做爬虫时，遇到需要登陆的问题也比较常见，比如写脚本抢票之类的，但凡需要
阅读全文
摘要：这是 Java 网络爬虫系列文章的第一篇，如果你还不知道 Java 网络爬虫系列文章，请参看 "学 Java 网络爬虫，需要哪些基础知识" 。第一篇是关于 Java 网络爬虫入门内容，在该篇中我们以采集虎扑列表新闻的新闻标题和详情页为例，需要提取的内容如下图所示： 我们需要提取图中圈出来的文字及其对
阅读全文
摘要：说起网络爬虫，大家想起的估计都是 Python ，诚然爬虫已经是 Python 的代名词之一，相比 Java 来说就要逊色不少。有不少人都不知道 Java 可以做网络爬虫，其实 Java 也能做网络爬虫而且还能做的非常好，在开源社区中有不少优秀的 Java 网络爬虫框架，例如 webmagic 。我
阅读全文
