会员
周边
捐助
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
大数据开发程序猿
做有态度的码农,欢迎各位朋友光临,本博客长期更新,需要学习讨论找工作面试的同学可以加qq群:694117549,交个朋友相互交流。
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
14
15
16
17
18
19
20
21
22
···
28
下一页
2018年11月1日
maven 打包Scala代码到jar包
摘要: idea的pom.xml文件配置
阅读全文
posted @ 2018-11-01 13:35 stone1234567890
阅读(6491)
评论(0)
推荐(0)
编辑
spark复习笔记(3)
摘要: 在windows上实现wordcount单词统计 一、编写scala程序,引入spark类库,完成wordcount 1.sparkcontextAPI sparkcontext是spark功能的主要入口点,代表着到spark集群的连接,可用于在这些集群上创建RDD(弹性分布式数据集),累加器和广播
阅读全文
posted @ 2018-11-01 10:38 stone1234567890
阅读(250)
评论(0)
推荐(0)
编辑
2018年10月28日
mongoDB学习笔记(2)
摘要: 一、删数据库 1.语法 MongoDB 删除数据库的语法格式如下: 删除当前数据库,默认为 test,你可以使用 db 命令查看当前数据库名。 2.实例 以下实例我们删除了数据库 runoob。 首先,查看所有数据库: 接下来我们切换到数据库 runoob: 执行删除命令: 最后,我们再通过 sho
阅读全文
posted @ 2018-10-28 19:37 stone1234567890
阅读(129)
评论(0)
推荐(0)
编辑
sparkStreaming复习笔记(1)
摘要: 一、SparkStreaming 1.sparkcore模块的扩展,具有可扩展,高吞吐量,容错机制,针对实时数据流处理,数据可以来自于kafka,flume以及tcp套接字,可以使用更加复杂的函数来进行处理 如map reduce 和filter。数据可以推送到hdfs,mysql,针对数据流可以应
阅读全文
posted @ 2018-10-28 19:36 stone1234567890
阅读(213)
评论(0)
推荐(0)
编辑
mongoDB关系型数据库的对比
摘要: 一、基本操作 1.mongoDB和关系型数据库对比 对比项 mongoDB mysql oracle 表 集合list 二维表 表的一行数据 文档document 一条记录 表字段 键key 字段field 字段值 值value 值value 主外键 无 PK,FK 灵活度扩展性 极高 差 (1)关
阅读全文
posted @ 2018-10-28 16:45 stone1234567890
阅读(3671)
评论(0)
推荐(0)
编辑
2018年10月27日
分布式爬虫(5):微博数据爬取
摘要: 一、使用Selenium+Phantoms来抓取数据 1.登录:最重要的是设置User-Agent,否则无法转跳链接 2.输入用户名和密码: (1)为了与微博内容交互,需要用到javascript 相关的javascript代码: document.getElementById('loginname
阅读全文
posted @ 2018-10-27 15:51 stone1234567890
阅读(793)
评论(0)
推荐(0)
编辑
2018年10月26日
分布式爬虫(3)
摘要: 一、CSS定位器 1.什么是CSS (1)CSS=Cascading Style Sheets (2)样式定义如何显示HTML元素 (3)想想为什么不直接使用属性设置元素 (4)CSS与JS 2.CSS基础语法 (1)CSS规则:选择器,以及一条或者多条的声明 selector {declarati
阅读全文
posted @ 2018-10-26 23:23 stone1234567890
阅读(272)
评论(0)
推荐(0)
编辑
分布式爬虫(4)
摘要: 一、CSS定位器 1.什么是CSS (1)CSS=Cascading Style Sheets (2)样式定义如何显示HTML元素 (3)想想为什么不直接使用属性设置元素 (4)CSS与JS 2.CSS基础语法 (1)CSS规则:选择器,以及一条或者多条的声明 selector {declarati
阅读全文
posted @ 2018-10-26 23:23 stone1234567890
阅读(332)
评论(0)
推荐(0)
编辑
2018年10月25日
分布式爬虫(2)
摘要: 一、什么是爬虫 1、HTTP简介 (1)HTTP=Hyper text Transfer Protocol (2)URI=Uniform Resource Identifier (3)URL=Uniform Resource Locator (4)URI和URL的区别:URI强调的是资源,而URL强
阅读全文
posted @ 2018-10-25 20:08 stone1234567890
阅读(172)
评论(0)
推荐(0)
编辑
CentOS安装Python3.x
摘要: 安装python3.6可能使用的依赖# yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel 下载python3.6编译安装到python官网下载https://www.pyt
阅读全文
posted @ 2018-10-25 15:20 stone1234567890
阅读(134)
评论(0)
推荐(0)
编辑
上一页
1
···
14
15
16
17
18
19
20
21
22
···
28
下一页
公告