爬虫与python - 随笔分类 - 一天不进步，就是退步

<python数据挖掘入门与实战>代码

摘要：从百度搜索，净是csdn下载的，现在csdn下载弄的很恶心，垄断并且只想赚钱了，不想使用，去github上找到了。 https://github.com/PacktPublishing/Learning-Data-Mining-with-Python 阅读全文

posted @ 2018-10-09 11:12 一天不进步，就是退步阅读(1877) 评论(0) 推荐(3) 编辑

python3根据地址批量获取百度地图经纬度

摘要：python3代码如下：阅读全文

posted @ 2018-09-20 10:35 一天不进步，就是退步阅读(683) 评论(0) 推荐(0) 编辑

python 字符串转字节数组

摘要：场景： java加解密和python加解密互转的时候，因一些非显示字符无法确认两者是否一致，故需要打出他们的十六进制字节数组进行比较 1.python代码实现 2. java实现阅读全文

posted @ 2018-08-02 19:47 一天不进步，就是退步阅读(1387) 评论(0) 推荐(0) 编辑

No module named Crypto--转

摘要：https://blog.csdn.net/lacoucou/article/details/53152122 1.pip install pycropt 这中办法经常会报错：似乎也很麻烦。 2.使用编译好的安装包。下载地址：根据自己的版本现在对应的安装即可。然而，安装完，或许并没有什么卵用，阅读全文

posted @ 2018-07-26 14:34 一天不进步，就是退步阅读(229) 评论(0) 推荐(0) 编辑

Python/WSGI 应用快速入门--转

摘要：http://uwsgi-docs-cn.readthedocs.io/zh_CN/latest/WSGIquickstart.html 这个快速入门指南将会向你展示如何部署简单的 WSGI 应用和普通 web 框架。 Python 在这里特指 CPython，如果你想用 PyPy 你需要使用专门的阅读全文

posted @ 2018-06-21 14:07 一天不进步，就是退步阅读(1646) 评论(0) 推荐(0) 编辑

Anaconda(miniconda)安装及使用--转

摘要：https://www.waitalone.cn/anaconda-install-error.html 3,224 3,224 3,224 1、Anaconda概述 Anaconda是一个用于科学计算的Python发行版，支持 Linux, Mac, Windows系统，提供了包管理与环境管理的功阅读全文

posted @ 2018-05-21 20:23 一天不进步，就是退步阅读(17011) 评论(0) 推荐(0) 编辑

关于python2.7的md5加密遇到的问题（TypeError: Unicode-objects must be encoded before hashing)

摘要：https://blog.csdn.net/u012087740/article/details/48439559 注意update()必须指定要加密的字符串的字符编码阅读全文

posted @ 2018-05-03 09:40 一天不进步，就是退步阅读(411) 评论(0) 推荐(0) 编辑

爬虫提取非结构化数据

摘要：pdf：pdfBox解析pdf文档 word：poi rtf：rtfconverter4j excel：jxl,poi，数据库访问jsqlparser powerpoint：poi 图片：javax.imageio.Imageio 二值化：阅读全文

posted @ 2018-04-28 09:48 一天不进步，就是退步阅读(402) 评论(0) 推荐(0) 编辑

pyDes 实现 Python 版的 DES 对称加密/解密--转

摘要：https://my.oschina.net/leejun2005/blog/586451 手头有个 Java 版的 DES 加密/解密程序，最近想着将其 Python 重构下，方便后续脚本解析，捣鼓了两下 pyDes 貌似很方便，不过据网上其他同学测试说 PyCrypto 性能要比 pyDes 高阅读全文

posted @ 2018-04-27 19:08 一天不进步，就是退步阅读(10408) 评论(0) 推荐(0) 编辑

python2 'str' object has no attribute 'decode'

摘要：上述代码，报错： 'str' object has no attribute 'decode' 查找原因： https://stackoverflow.com/questions/29030725/str-object-has-no-attribute-decode You cannot decod 阅读全文

posted @ 2018-04-27 18:54 一天不进步，就是退步阅读(12983) 评论(0) 推荐(0) 编辑

分布式爬虫系统设计、实现与实战：爬取京东、苏宁易购全网手机商品数据+MySQL、HBase存储

摘要：http://blog.51cto.com/xpleaf/2093952 1 概述在不用爬虫框架的情况，经过多方学习，尝试实现了一个分布式爬虫系统，并且可以将数据保存到不同地方，类似MySQL、HBase等。基于面向接口的编码思想来开发，因此这个系统具有一定的扩展性，有兴趣的朋友直接看一下代码，阅读全文

posted @ 2018-04-13 14:10 一天不进步，就是退步阅读(2899) 评论(2) 推荐(2) 编辑

Windows键盘驱动结构与消息机制--转

摘要：https://www.douban.com/note/318793892/ 本文主要介绍按键消息是如何传递到窗口并转化为具体的按键消息的。Windows系统是事件驱动的多任务系统，其中按键和鼠标是主要的事件。按键是由键盘驱动获得并转换，然后广播给各个窗口。整个架构的核心是csrss.exe这个进程阅读全文

posted @ 2018-04-03 15:10 一天不进步，就是退步阅读(1229) 评论(0) 推荐(0) 编辑

Java. How to use headless browsers for crawling web and scraping data from website.--转

摘要：https://www.linkedin.com/pulse/java-how-use-headless-browsers-crawling-web-scraping-data-taluyev/ Did you ever think to implement software to scrape d 阅读全文

posted @ 2018-04-02 19:34 一天不进步，就是退步阅读(175) 评论(0) 推荐(0) 编辑

java.net.URISyntaxException: Illegal character in query

摘要：java使用httpclient爬取一个网站的时候，请求：String url3="http://sh.58.com/ershoufang/33562546149042x.shtml?amp;params=esfjxpclranxuanctrAB^desc&fzbref=0&enti 阅读全文

posted @ 2018-03-30 13:16 一天不进步，就是退步阅读(1176) 评论(0) 推荐(0) 编辑

selenium打开chrome浏览器代码

摘要：import os from selenium import webdriver chromedriver = "C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" os.environ["webdriver.chrome.driver"] = chromedriver driver = webdriver.Chrom... 阅读全文

posted @ 2018-01-30 19:50 一天不进步，就是退步阅读(383) 评论(0) 推荐(0) 编辑

深入理解Python字符编码--转

摘要：http://blog.51cto.com/9478652/2057896 不论你是有着多年经验的 Python 老司机还是刚入门 Python 不久，你一定遇到过UnicodeEncodeError、UnicodeDecodeError 错误，每当遇到错误我们就拿着 encode、decode 函阅读全文

posted @ 2018-01-08 10:00 一天不进步，就是退步阅读(254) 评论(0) 推荐(0) 编辑

History of the browser user-agent string--转

摘要：https://webaim.org/blog/user-agent-string-history/ In the beginning there was NCSA Mosaic, and Mosaic called itself NCSA_Mosaic/2.0 (Windows 3.1), and 阅读全文

posted @ 2018-01-03 12:46 一天不进步，就是退步阅读(190) 评论(0) 推荐(0) 编辑

从 Zero 到 Hero ，一文掌握 Python--转

摘要：https://www.oschina.net/translate/learning-python-from-zero-to-hero 第一个问题，什么是 Python ？根据 Python 之父 Guido van Rossum 的话，Python 是：一种高级程序语言，其核心设计哲学是代码可读阅读全文

posted @ 2017-11-28 14:53 一天不进步，就是退步阅读(380) 评论(1) 推荐(0) 编辑

jsoup HTML parser hello world examples--转

摘要：原文地址：http://www.mkyong.com/java/jsoup-html-parser-hello-world-examples/ Jsoup, a HTML parser, its “jquery-like” and “regex” selector syntax is very ea 阅读全文

posted @ 2017-09-30 10:51 一天不进步，就是退步阅读(415) 评论(0) 推荐(0) 编辑

主流的Python领域和框架--转

摘要：原文地址：https://www.zhihu.com/question/19899608 阅读全文

posted @ 2017-09-25 09:47 一天不进步，就是退步阅读(270) 评论(0) 推荐(0) 编辑

随笔分类 - 爬虫与python