摘要:
转载请注明出处: https://www.cnblogs.com/Xi Chen00/p/12619072.html 最近在复习mybatis知识的时候,遇到这个异常: 检查运行类配置文件名,确定没错: 检查mybatis的配置文件,注册的xml的路径确定没写错(路径用/,有.xml后缀): 检查了 阅读全文
摘要:
转载请注明出处: https://www.cnblogs.com/Xi Chen00/p/11943617.html 在运行ajax代码的时候发现这个问题,无论是重启浏览器还是IDE依旧不能解决。 原因: 浏览器调试的缓存 措施: 浏览器启用开发者模式,以Chrome、IDEA为例 1、浏览器设置d 阅读全文
摘要:
作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC 16SE2/homework/3339 本案例主要分析在豆瓣爬取的《三体》短评数据,数据字段包括地址、评论时间、评论内容、评价程度、用户名和投票数6个属性值,将数据上传到hdfs的hive数据仓库中进行简 阅读全文
摘要:
作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC 16SE2/homework/3319 1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 HDFS:进行分布式计算平台,将多台节点的内容进行汇总分析。 MapR 阅读全文
摘要:
作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC 16SE2/homework/3292 1.目录操作: (1)、在HDFS中为hadoop用户创建一个用户目录(hadoop用户): (2)、在用户目录下创建一个input目录: (3)、在HDFS的根目录下 阅读全文
摘要:
作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC 16SE2/homework/3161 1.简述Hadoop平台的起源、发展历史与应用现状。 1、介绍: Hadoop不是指具体一个框架或者组件,它是Apache软件基金会下用Java语言开发的一个开源分 阅读全文
摘要:
作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC 16SE2/homework/3075 一、要求 选择一个热点或者你感兴趣的主题、爬取的对象与范围,爬取相应的内容并做数据分析与文本分析,形成一篇有说明、技术要点、有数据、有数据分析图形化展示与说明、文本 阅读全文
摘要:
作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC 16SE2/homework/2941 要求: 1、从新闻url获取新闻详情 2、从列表页的url获取新闻url 3、生成所页列表页的url并获取全部新闻 4、设置合理的爬取间隔 5、用pandas做简单 阅读全文
摘要:
作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC 16SE2/homework/2894 要求: 给定一篇新闻的链接newsUrl,获取该新闻的全部信息:标题、作者、发布单位、审核、来源,将发布时间转换成datetime类型,整个过程包装成一个简单清晰的 阅读全文
摘要:
一、简单说明爬虫原理 通俗来讲,网络爬虫是指通过程序模拟浏览器站点的行为,向网站发起请求,把站点返回的HTML代码、JSON数据、二进制数据(图片、视频等)抓取到本地,再通过程序提取分析数据,用以代替繁琐、低效和通过复制粘贴等手段来获取数据的技术。 二、理解爬虫开发过程 1、简要说明浏览器工作原理 阅读全文