摘要：
1 import requests 2 import os 3 import shutil 4 import time 5 6 7 class PostBarSpider(object): 8 def __init__(self, post_bar, page_number, file_dir): 9 # 爬取某个贴吧前多少页内容 10 ... 阅读全文
摘要：
前面在讲git的基本使用时提到过HEAD指向当前版本,但具体的情况是HEAD指向当前分支,当前分支指向最新的提交也就是当前版本 1.分支的创建与切换 查看当前分支 git branch,可以看到是默认的master分支 创建一个新的分支然后切换到新分支 git branch new_branch g 阅读全文
摘要：
1.下载 windows :用淘宝的镜像 https://npm.taobao.org/mirrors/git-for-windows/ linux : yum install git可以参考:https://git-scm.com/download/linux 2.简单介绍 git中有两个概念比较 阅读全文
摘要：
用的本地模式,pom.xml中添加了mysql驱动包,mysql已经开启,写入的时候发现用format("jdbc").save()的方式发现会有does not allow create table as select的异常,于是去官方文档上发现了使用jdbc()的方式,测试 正常,说明下Prop 阅读全文
摘要：
根据官方文档的说法,要把hive-site.xml,core-site.xml,hdfs-site.xml拷贝到spark的conf目录下,保证mysql已经启动 java scala 阅读全文
摘要：
网上找的大部分资料都很旧,最后翻了下文档只找到了说明 大概意思是1.6之后如果想要使用分区推断就要设置数据源的basePath,因此代码如下 java (注意basePath与实际的parquet文件的路径,basePath是分区推断列之前的路径) scala scala的版本用的本地路径,测试发现 阅读全文