02 2019 档案
摘要：一.简介与安装 1.简介 安装 注意：openssl 一定选它 安装完成后，右击菜单栏，有如下菜单，表示安装完成 二.初始配置 1.用户名和邮件(使用者是谁) > git config --global user.name "tjp40922"> git config --global user.e
阅读全文
摘要：一.phantomjs的简单使用 二.谷歌无头浏览器的简单使用 三.通过selenium和phtantosJs配合抓取到更多数据(ajax) selenium+phantomjs 就是爬虫终极解决方案:有些网站上的内容信息是通过动态加载js形成的，所以使用普通爬虫程序无法回去动态加载的js内容。 例
阅读全文
摘要：一.seleniu的简单使用 1.简单使用 Selenium支持非常多的浏览器，如Chrome、Firefox、Edge等，还有Android、BlackBerry等手机端的浏览器。另外，也支持无界面浏览器PhantomJS。 2.元素定位 webdriver 提供了一系列的元素定位方法，常用的有以
阅读全文
摘要：一.re 这个去匹配比较麻烦,以后也比较少用,简单看一个案例就行 二.使用re的注意点 1.Windows转义符 2.避免出错 在正则表达式中尽量使用原始字符串，在待匹配字符中看到什么就在正则表达式中写什么，不容易出问题 原始字符串的查看，可以借助ipython去查看，不要使用print 3.
阅读全文
摘要：一.什么是爬虫 爬虫的概念: 通过编写程序,模拟浏览器上网,让其去互联网上爬取数据的过程. 爬虫的工作流程: 模拟浏览器发送请求->下载网页代码->只提取有用的数据->存放于数据库或文件中 爬虫的分类: 通用爬虫:爬取全部的页面数据. 聚焦爬虫: 抓取页面中局部的页面数据 增量式爬虫:爬取网站中更新
阅读全文
摘要：一.xpath简介 XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。 XPath 使用路径表达式在 XML 文档中进行导航 XPath 包含一个标准函数库 XPath 是 XSLT 中的主要元素 XPath 是一个 W3C 标准 `节点
阅读全文
摘要：一.使用流程 二.基本语法 三.重点语法find和find_all 不带过滤器: print(soup.find_all()) #没有过滤,查找所有标签 字符串过滤器: print (soup.find_all()) #字符串过滤器,即标签名 列表: print(soup.find_(['a','b
阅读全文
摘要：一.redis介绍: 1.Redis是什么： REmote DIctionary Server（远程字典服务器） 是完全开源免费的，用C语言编写的，遵守BSD协议，是一个高性能的（Key-Value）分布式内存数据库。 基于内存运行并支持持久化的NoSQL数据库，是当前最热门的NoSQL数据库之一，
阅读全文
摘要：直接参考官网:https://www.joinquant.com/ 官网的比较详细,看一下就ok了 补一张图:
阅读全文
摘要：一、安装redis 第一步：下载redis安装包 wget http://download.redis.io/releases/redis-4.0.6.tar.gz [root@iZwz991stxdwj560bfmadtZ local]# wget http://download.redis.io
阅读全文
摘要：一.TuShare简介和环境安装 二.Tushare的应用 我们主要还是应该掌握如何用tushare获取股票行情数据，使用的是ts.get_hist_data()函数或者ts.get_k_data（）函数。输入参数为： code：股票代码，即6位数字代码，或者指数代码（sh=上证指数 sz=深圳成指
阅读全文
摘要：fiddler安装完要配置才可以抓取HTTP 但有时候没有弹窗安装证书或根本就没有提示，这种情况一般在Win7中较多出现，Win7的系统https方面 在.net Framework4.0上有bug 网上搜罗一番之后解决方案是 1.cmd 命令行 找到fiddler的安装目录 如: cd C:\Us
阅读全文
摘要：饼图可参考:https://www.cnblogs.com/biyoulin/p/9565350.html 中文显示问题： 方法一： 方法二：
阅读全文
摘要：
阅读全文
摘要：一.pandas数据结构介绍 二.pandas数据结构之Series 1.series Series是一种类似与一维数组的对象,由下面两部分组成 values:一组数据(ndarray) index:相关的数据索引标签 1)Series的创建 两种创建方式: (1)由列表或numpy数组创建 默认索
阅读全文
摘要：1. python数据分析基础 2. numpy 3. Scikit-Learn 4. Bokeh 5. Scipy 6. Pandas 1. python数据分析基础 2. numpy 3. Scikit-Learn 4. Bokeh 5. Scipy 6. Pandas 1. python数据分
阅读全文
摘要：一.数据分析的概念 二.创建ndarray 如果一维数组不是一个规律的有序元素，而是人为的输入，就需要array()函数创建了。 In [8]: arr1 = np.array((1,20,13,28,22)) In [9]: arr1 Out[9]: array([ 1, 20, 13, 28,
阅读全文
摘要：Jupyter Notebook（此前被称为 IPython notebook）是一个交互式笔记本，支持运行 40 多种编程语言。在本文中，我们将介绍 Jupyter notebook 的主要特性，以及为什么对于希望编写漂亮的交互式文档的人来说是一个强大工具。 在开始使用 notebook 之前，我
阅读全文
摘要：一、Jupyter介绍 二、Jupyter组成部分 三、Jupyter特点 四、安装Jupyter Notebook 五、运行Jupyter Notebook 注意：之后在Jupyter Notebook的所有操作，都请保持终端不要关闭，因为一旦关闭终端，就会断开与本地服务器的链接，你将无法在Jup
阅读全文
摘要：Anaconda概述 Conda是一个开源的包、环境管理器，可以用于在同一个机器上安装不同版本的软件包及其依赖，并能够在不同的环境之间切换 Anaconda包括Conda、Python以及一大堆安装好的工具包，比如：numpy、pandas等 Miniconda包括Conda、Python Anac
阅读全文
