会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
天生自然
Powered by
博客园
博客园
|
首页
|
新随笔
|
联系
|
订阅
|
管理
上一页
1
···
130
131
132
133
134
135
136
137
138
···
276
下一页
2020年1月13日
吴裕雄--天生自然PYTHON爬虫:用API爬出天气预报信息
摘要: 天气预报网址:https://id.heweather.com/,这个网站是需要注册获取一个个人认证后台密钥key的,并且每个人都有访问次数的限制,这个key就是访问API的钥匙。 这个key现在是要自己创建的,名称自己写,key值可以不写,创建的时候会自动生成。 接下来就是要阅读这个API文档。
阅读全文
posted @ 2020-01-13 11:34 吴裕雄
阅读(460)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然PYTHON爬虫:爬虫攻防战
摘要: 我们在开发者模式下不仅可以找到URL、Form Data,还可以在Request headers 中构造浏览器的请求头,封装自己。服务器识别浏览器访问的方法就是判断keywor是否为Request headers下的User-Agent,因此我们只需要构造这个请求头的参数。创建请求头部信息即可。 h
阅读全文
posted @ 2020-01-13 11:04 吴裕雄
阅读(199)
评论(0)
推荐(0)
编辑
2020年1月12日
吴裕雄--天生自然PYTHON爬虫:使用BeautifulSoup解析中国旅游网页数据
摘要: import requests from bs4 import BeautifulSoup url = "http://www.cntour.cn/" strhtml = requests.get(url) soup = BeautifulSoup(strhtml.text,"lxml") #下面的
阅读全文
posted @ 2020-01-12 22:53 吴裕雄
阅读(404)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然python爬虫:使用requests模块的get和post方式抓取中国旅游网站和有道翻译网站翻译内容数据
摘要: import requests url = 'http://www.cntour.cn/' strhtml = requests.get(url) print(strhtml.text) URL='http://fanyi.youdao.com/translate?smartresult=dict&
阅读全文
posted @ 2020-01-12 22:32 吴裕雄
阅读(291)
评论(0)
推荐(0)
编辑
2020年1月9日
吴裕雄--天生自然HADOOP操作实验学习笔记:协同过滤算法
摘要: 实验目的 初步认识推荐系统 学会用mapreduce实现复杂的算法 学会系统过滤算法的基本步骤 实验原理 前面我们说过了qq的好友推荐,其实推荐算法是所有机器学习算法中最重要、最基础、最复杂的算法,一个推荐系统的架构,需要综合考虑离线计算、实时计算。需要用到的技术可能还有Flume、Kafka、Re
阅读全文
posted @ 2020-01-09 10:39 吴裕雄
阅读(494)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然HADOOP操作实验学习笔记:pagerank算法
摘要: 实验目的 了解PageRank算法 学会用mapreduce解决实际的复杂计算问题 实验原理 1.pagerank算法简介 PageRank,即网页排名,又称网页级别、Google左侧排名或佩奇排名。 pagerank是Google排名运算法则(排名公式)的一部分,pagerank是Google用于
阅读全文
posted @ 2020-01-09 01:09 吴裕雄
阅读(370)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然HADOOP操作实验学习笔记:qq好友推荐算法
摘要: 实验目的 初步认识图计算的知识点 复习mapreduce的知识点,复习自定义排序分组的方法 学会设计mapreduce程序解决实际问题 实验原理 QQ好友推荐算法是所有推荐算法中思路最简单的,我们利用的思想就是好友的好友很有可能是自己的好友,而共同好友越多,说明两个人认识的可能性越大。其实这个想法属
阅读全文
posted @ 2020-01-09 00:53 吴裕雄
阅读(838)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然HADOOP操作实验学习笔记:Wor的Count程序的编写
摘要: 实验目的 理解mapreduce的工作原理 理解Partitioner的书写方法 理解GroupingComparator的书写方法 实验原理 我们已经学习了hadoop的大部分基础知识,剩下的就是利用hadoop解决实际的业务问题。首先我们回顾一下mapreduce的工作过程: 数据通过Input
阅读全文
posted @ 2020-01-09 00:43 吴裕雄
阅读(214)
评论(0)
推荐(0)
编辑
2020年1月8日
吴裕雄--天生自然HADOOP操作实验学习笔记:hbase微博案例
摘要: 实验目的 熟悉hbase表格设计的方法 熟悉hbase的javaAPI 通过API理解掌握hbase的数据的逻辑视图 了解MVC的服务端设计方式 实验原理 上次我们已经初步设计了学生选课案例的,具体功能还不完善,但是实现方式都是在已经设计好的表格之上,调用hbase已有的API,本次我们将会实现一个
阅读全文
posted @ 2020-01-08 23:31 吴裕雄
阅读(341)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然HADOOP操作实验学习笔记:hbase学生选课案例
摘要: 实验目的 复习hbase的shell操作和javaAPI操作 了解javaWeb项目的MVC设计 学会dao(数据库访问对象)和service层的代码编写规范 学会设计hbase表格 实验原理 前面我们已经了解hbase的shell操作、javaAPI操作,并且能够使用hive操作hbase表格(实
阅读全文
posted @ 2020-01-08 22:48 吴裕雄
阅读(771)
评论(0)
推荐(0)
编辑
上一页
1
···
130
131
132
133
134
135
136
137
138
···
276
下一页