简单的使用java操作hdfs
摘要：一：创建maven项目 导入maven <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.7.6</version> </d
阅读全文
posted @
2022-04-24 19:56
搁浅的小鲸鱼
阅读(401)
推荐(0) 编辑
python_numpy数组入门
摘要：一、什么是numpy? NumPy（Numerical Python）是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵，比Python自身的嵌套列表（nested list structure)结构要高效的多（该结构也可以用来表示矩阵（matrix）），支持大量的维度数组与矩
阅读全文
posted @
2022-04-24 17:19
搁浅的小鲸鱼
阅读(194)
推荐(0) 编辑
mysql查询优化
摘要：1.count优化 #a语句： SELECT COUNT(*) FROM users WHERE id>5; #b语句： SELECT (SELECT COUNT(*)FROM users ) - COUNT(*) FROM users WHERE id<=5； a语句当行数超过11行的时候需要扫描
阅读全文
posted @
2022-04-24 17:07
搁浅的小鲸鱼
阅读(790)
推荐(0) 编辑
Hadoop伪分布式的搭建
摘要：1.准备Linux环境 1.1 开启网络,ifconfig指令查看ip 1.2 修改主机名为自己名字(hadoop) vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop 1.3修改主机名和IP的映射关系 vim /etc/hosts 1
阅读全文
posted @
2022-04-10 21:07
搁浅的小鲸鱼
阅读(326)
推荐(0) 编辑
python爬虫---xpath基础教程
摘要：XPath: XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。XPath基于XML的树状结构，提供在数据结构树中找寻节点的能力。 一、节点关系 1.父（Parent） 每个元素以及属性都有一个父。 在下面的例子中，book 元素是 t
阅读全文
posted @
2022-04-10 20:48
搁浅的小鲸鱼
阅读(730)
推荐(0) 编辑
mysql范式
摘要：mysql范式： mysql建表的规范格式 第一范式：保证每列的原子性（字段不能再分解） 第一范式是最基本的范式。如果数据库表中的所有字段值都是不可分解的原子值，就说明该数据库满足了第一范式。 第二范式：属性必须完全依赖于主键 在第一范式的基础上，属性必须完全依赖于主键。 如图：在下图中，分数依赖于
阅读全文
posted @
2022-04-10 20:31
搁浅的小鲸鱼
阅读(180)
推荐(0) 编辑
文件传输工具：FileZilla的使用
摘要：FileZilla FileZilla 是一款高效的 FTP 客户端工具。FileZilla 可以帮助您将本地计算机上的文件上传到虚拟主机实例中。 FileZilla 界面介绍 如图所示，FileZilla 界面分为以下部份： 上部：显示消息日志，用户可以通过此栏查看 FTP 连接状态。 左边：本地
阅读全文
posted @
2022-04-03 21:09
搁浅的小鲸鱼
阅读(2455)
推荐(0) 编辑
Linux远程终端连接工具：SecureCRT
摘要：SecureCRT SecureCRT是一款支持 SSH2、SSH1、Telnet、Telnet/SSH、Relogin、Serial、TAPI、RAW 等协议的终端仿真程序 SecureCRT是一款用于连接运行包括Windows、UNIX、VMS的理想工具。通过使用内含的VCP命令行程序可以进行加
阅读全文
posted @
2022-04-03 20:57
搁浅的小鲸鱼
阅读(1018)
推荐(0) 编辑
scrapy框架爬虫
摘要：一、什么是scrapy？ Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试. 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 后台也应用在获取API所返回的
阅读全文
posted @
2022-04-03 20:32
搁浅的小鲸鱼
阅读(171)
推荐(1) 编辑
mysql事务、触发器、存储过程
摘要：一、mysql事务 数据库中的事务是指对数据库执行一批操作，在同一个事务当中，这些操作最终要么全部执行成功，要么全部失败，不会存在部分成功的情况。MySQL 事务主要用于处理操作量大，复杂度高的数据。 事物的几个特征：原子性、一致性、隔离性、持久性。 （1）.原子性：一个事务（transaction
阅读全文
posted @
2022-04-03 16:57
搁浅的小鲸鱼
阅读(376)
推荐(0) 编辑
