摘要:
思路和上一篇差不多,先获取网站html文件,使用BeautifulSoup进行解析,将对应属性取出,逐一处理,最后把整理出的记录保存到oracle中,持久化储存。 '''Created on 2017年2月20日 @author: Administrator'''from urllib import parse, requestfrom bs4 import BeautifulSoupfrom s... 阅读全文
摘要:
前言: 苦逼的我从某某城市换到另一个稍微大点的某某城市,面临的第一个问题就是买房,奋斗10多年,又回到起点,废话就不多说了,看看如何设计程序把某同城上的房价数据抓取过来。 方案:方案思路很简单,先把网页内容获取下来,通过一定规则对内容解析,保存成想要的格式 难点是对网页的解析,是一个比较细致的活,必须边输出,边调试。 具体实现: 获取网页内容: def get_page(url): hea... 阅读全文
摘要:
2013年12月5日 admin 发表评论 阅读评论 以下是centos环境下,以yum安装apache及其相关软件。svn使用源码包编译,使用官网最新的1.8.5版本。 一、安装apache openldap及其相关模块yum -y install httpd httpd-devel openldap openldap-devel mod_authz_ldap openssl openss... 阅读全文
摘要:
新的版本:1.9.5 必须使用Apache Portable Runtime Utility 1.5.4 Released没有安装的话需要先安装 需要安装apr、apr-util sqlite zlib,python 2.7以上版本。。。装的东西好多然后 make make install Linux很多地方编译的时候都会用到apr如果找不到apr就会报错 configure: WARNING... 阅读全文
摘要:
作者:zhoulf出处:http://www.cnblogs.com/zhoulf/ 安装说明 安装环境:Red Hat Enterprise Linux安装方式:源码安装软件:apr-1.5.0.tar.gz、apr-iconv-1.2.1.tar.gz、apr-util-1.5.3.tar.gz、sqlite-amalgamation-201311181848.zip、subversion-1... 阅读全文
摘要:
http://blog.csdn.net/ckwer2008/article/details/47972601 Linux很多地方编译的时候都会用到apr 如果找不到apr就会报错 configure: WARNING: APR not found The Apache Portable Runtime (APR) library cannot be found. Please in... 阅读全文
摘要:
TuShare是个获取股票数据的模块包,我们进行分析,需要将股票数据保存到本地,避免每次都从网上获取,由于本机装有ORCALE,以ORACLE为例介绍如何保存股票数据到本地。 一、大致思路:我们先获取沪深的所有股票信息,保存到数据库中,主要使用的是dataframe的to_sql函数。 to_sql 阅读全文
摘要:
《深入浅出数据分析》以类似“章回小说”的活泼形式,生动地向读者展现优秀的数据分析人员应知应会的技术:数据分析基本步骤、实验方法、最优化方法、假设检验方法、贝叶斯统计方法、主观概率法、启发法、直方图法、回归法、误差处理、相关数据库、数据整理技巧;正文以后,意犹未尽地以三篇附录介绍数据分析十大要务、R工具及ToolPak工具,在充分展现《深入浅出数据分析》目标知识以外,为读者搭建了走向下一步深入研究的... 阅读全文
摘要:
1、首先需要安装好oracle数据库,本机适用plsql连接数据库正常,记录下数据库名称 2、安装cx_oracle模块 pip install cx_Oracle 3、python中引入模块 import cx_Oracle as cx 4、测试 conn = cx.connect('sys/password@localhost/orcl') cursor = conn.cursor (... 阅读全文
摘要:
这部分是直接搬运过来的,官方网站http://tushare.waditu.com/ TuShare是一个免费、开源的python财经数据接口包。主要实现对股票等金融数据从数据采集、清洗加工 到 数据存储的过程,能够为金融分析人员提供快速、整洁、和多样的便于分析的数据,为他们在数据获取方面极大地减轻工作量,使他们更加专注于策略和模型的研究与实现上。考虑到Python pandas包在金融量化分析中... 阅读全文