随笔分类 - 开发代码
摘要：使用Python操作MySQL，需要批量获取上万条数据，并把结果返回写入文件； 遇到问题：'Too large to show contents. Max items to show: 300' 解决办法如下： 在pycharm中debug时，如果len(list)>300，会提示too long
阅读全文
摘要：看到一篇文章：https://my.oschina.net/keking/blog/3104972 在推荐IDEA Rest Client，经过尝试，我安装了RESTMan，我参考了这几篇文章： http://www.kokojia.com/article/40225.html https://ww
阅读全文
摘要：一份在线文档：https://doc.rust-lang.org/stable/rust-by-example/hello.html Rust 1.0 前两天发布了正式版，该项目是 Rust 编程语言的电子书，开源的，提供 MOBI MD HTML EPUB LETTER PDF A4 PDF 等多
阅读全文
摘要：mysql下安装mysql server mysql下安装redis server：https://www.jianshu.com/p/3bdfda703552 mac下安装配置redis：https://www.jianshu.com/p/af33284aa57a 一、下载MySQL 访问MySQ
阅读全文
摘要：更新jdk版本之后，遇到一个小问题，简单记录一下。 虽然修改了 JAVA_HOME和Path的参数，但是依然会报错：“could not open `C:\Program Files\Java\jre7\lib\amd64\jvm.cfg” 看了一下，文件和配置都是正确的，后来简要查了一下本地文件目
阅读全文
摘要：Java常用的八种排序算法，供参考： 插入排序： 希尔排序： 简单选择排序： 冒泡排序： 快速排序： 归并排序： 堆排序： 基数排序： 总结：
阅读全文
摘要：背景 对于电商类型和内容服务类型的网站，经常会出现因为配置错误造成页面链接无法访问的情况（404）。 显然，要确保网站中的所有链接都具有可访问性，通过人工进行检测肯定是不现实的，常用的做法是使用爬虫技术定期对网站进行资源爬取，及时发现访问异常的链接。 对于网络爬虫，当前市面上已经存在大量的开源项目和
阅读全文
摘要：推荐一些其他的资源，爬虫相关 大话爬虫的基本套路 Puppeteer之爬虫入门 利用爬虫技术能做到哪些很酷很有趣很有用的事情？ Web网页爬虫对抗指南 Part.1 如何学习python爬虫 各种爬虫实例, 强烈推荐
阅读全文
摘要：为什么要进行爬虫对抗？ 知己知彼，百战不殆。 爬虫往往会爬取其他服务的一些核心资源，这些资源是服务提供商重点保护的资产，所以很多网站都会启用一些反爬虫策略。 这里我们简单分析一下反爬虫的常用手段。 监控后台日志和流量模式; 如果发现异常活动，则限制访问 通过日志是可以看出一些异常访问的，比如例如来自
阅读全文
摘要：在V2EX主页的右侧有个最热主题区域，里面列出了当日的热门讨论话题。使用爬虫技术获取这些热门主题文本和链接。 注意：v2ex本身提供了接口去获取这些热门主题的详细信息，本节内容只是举例，并不是最佳实践 具体步骤 访问v2ex主页，获取html文本 分析html文本，找出待获取内容的特征 解析html
阅读全文
摘要：最近看下爬虫方面，用一些通用的做一些小的实验。都是比较基础的代码，高手请跳过。 说明 这里只是实现获取知乎每日/每月最热问题的一个基本的小功能（https://www.zhihu.com/explore） 具体步骤 访问知乎的发现主页，获取html文本分析html文本，找出今日最热和本月最热的htm
阅读全文
摘要：参考：https://www.cnblogs.com/tian-xie/p/6264104.html 工具下载：https://downloads.atlassian.com/software/sourcetree/windows/ga/SourceTreeSetup-2.5.5.exe
阅读全文
摘要：常用的chrome插件推荐（一）：http://www.cnblogs.com/haochuang/p/8125008.html 常用的chrome插件推荐（二）：http://www.cnblogs.com/haochuang/p/8125040.html 常用的chrome插件推荐（三）：htt
阅读全文
摘要：关于 阿里巴巴java开发规范，参考这些： IntelliJ iDEA参考：http://blog.csdn.net/happymff/article/details/78712729 Eclipse安装参考：http://blog.csdn.net/qq_19260029/article/deta
阅读全文
