Python爬虫技巧
摘要：Python爬虫技巧一之设置ADSL拨号服务器代理 reference: https://zhuanlan.zhihu.com/p/25286144 爬取数据时，是不是只能每个网站每个网站的分析，有没有通用的方式 做爬虫也好多年了，一般抓取网站中的标题，文章发布时间，正文，文章图片。可以做到 80%
阅读全文
posted @ 2017-03-26 23:13
03 2017 档案
python中如何使用requests模块下载文件并获取进度提示？
摘要：Reference: https://www.zhihu.com/question/41132103
阅读全文
posted @ 2017-03-26 22:56
Python实例获取mp3文件的tag信息
摘要：下面利用一个python的实例程序，来学习python。这个程序的目的就是分析出所有MP3文件的Tag信息并输出。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34
阅读全文
posted @ 2017-03-22 17:55
python 视频处理，提取视频相关帧，读取Excel
摘要：一共这几个模块： class videoReader 读取视频 class videoFramesExtractor(videoReader):继承了读取视频，主要是用来限制读取视频中的哪些帧，并保存。 read_excel_single(excel_path,event_instance): 处理
阅读全文
posted @ 2017-03-22 17:43
Python中文转拼音代码(支持全拼和首字母缩写)
摘要：本文的代码，从https://github.com/cleverdeng/pinyin.py升级得来，针对原文的代码，做了以下升级： 1 2 3 4 1、可以传入参数firstcode：如果为true，只取汉子的第一个拼音字母；如果为false，则会输出全部拼音； 2、修复：如果为英文字母，则直接输
阅读全文
posted @ 2017-03-13 10:45
python rabittmq 使用
摘要：Reference: https://www.rabbitmq.com/tutorials/tutorial-three-python.html 1 "Hello World!" The simplest thing that doessomething Python Java Ruby PHP C
阅读全文
posted @ 2017-03-10 14:49
多核CPU上python多线程并行的一个假象
摘要：GIL 与 Python 线程的纠葛 GIL 是什么东西？它对我们的 python 程序会产生什么样的影响？我们先来看一个问题。运行下面这段 python 程序，CPU 占用率是多少？ # 请勿在工作中模仿，危险:) def dead_loop(): while True: pass dead_lo
阅读全文
posted @ 2017-03-09 18:57
今日头条算法
摘要：Reference: http://blog.csdn.net/u014114990/article/details/48165781 日头条涉及到算法：（1）今日头条服务器1000台左右，通过代码实现的爬虫功能，在其他传媒的网站和门户上抓取各种信息。如果在网站上抓取到纸媒的内容，优先从纸媒门户上抓
阅读全文
posted @ 2017-03-09 18:17
