08 2020 档案
摘要：八月第四周总结： 本周完成情况：公文流转系统分析完毕，制作完成，花费三天下午时间（主要是对象之间的关系以及功能需要理清楚），代码以及功能的实现还是较为简单的。 机器学习学习的是：pandas库文件，一些基本的pandas数据结构以及以及操作，还有文件的读取与存储等。 本周未做算法，快开学了，需要复习
阅读全文
摘要：B乐团派对 题目：https://ac.nowcoder.com/acm/contest/6874/B 题解：贪心的思路，将能力值从小到大排序，先判断能否组成一个乐队，从后开始遍历往前，如果可以得到一个乐队，那么标记此时的位置。否则，输出-1 标记位置后，开始从头遍历到标记的位置，看最多能组成多少队
阅读全文
摘要：本周为八月第三周总结： 本周学习的是mapreduce，学习了分区，排序，规约，并做了相应的实战 坚持刷cf与牛客上的题，cf目前div2的程度还是止步于3道，牛客小百乐赛可试试。 学习了一些机器学习必备的工具函数的使用，例如：Matplotlib&Numpy matplotlib主要是用来进行绘制
阅读全文
摘要：A. Distance and Axis 题目：http://codeforces.com/contest/1401/problem/A 题解：对于n来说分两种情况，一是奇数，二则是偶数 ①奇数：对于k来说如果是奇数且小于等于他，ans=0；若k是奇数并且大于n，则ans=k-n；若k是偶数并且k<
阅读全文
摘要：Matplotlib 是专门用于开发2D图表(包括3D图表) 以渐进、交互式方式实现数据可视化 实现一个简单的Matplotlib画图 ①导入：matplotlib.pytplot包含了一系列类似于matlab的画图函数。 ②图形绘制流程： 创建画布 -- plt.figure() 绘制图像 --
阅读全文
摘要：MapReduce 排序和序列化 简单介绍 ①序列化 (Serialization) 是指把结构化对象转化为字节流②反序列化 (Deserialization) 是序列化的逆过程. 把字节流转为结构化对象. 当要在进程间传递对象或持久化对象的时候, 就需要序列化对象成字节流, 反之当要将接收到或从磁
阅读全文
摘要：Mepreduce分区 分区概述 在 MapReduce 中, 通过我们指定分区, 会将同一个分区的数据发送到同一个 Reduce 当中进行处理例如: 为了数据的统计, 可以把一批类似的数据发送到同一个 Reduce 当中, 在同一个 Reduce 当中统计相同类型的数据, 就可以实现类似的数据分区
阅读全文
摘要：MapReduce 介绍 简单介绍： MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。 Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的 前提是这些
阅读全文
摘要：A. Omkar and Password 题目：http://codeforces.com/contest/1392/problem/A 题解：看似觉得有些难手，但是仔细思考下就会发现，只要整个数组中有1个与其它不一样，那么最终都会合成为1个数字，只有全部一样的数字才不能合成。 代码： #incl
阅读全文
摘要：本周为八月第二周的总结： 先说一下本周的完成项目：学习Hadoop框架里的zookeeper和hdfs 算法上蓝桥杯上刷了几道散题，有二分也有贪心，牛客网上刷了一个团队赛，2道思维题，1道差分题，之后刷了两次cf，第一次的cf里收获了关于与或运算的最小值问题，第二次的cf李学到了“在线处理”思维，和
阅读全文
摘要：HDFS 的 API 操作 使用url方式访问数据（了解） @Test public void urlHdfs() throws IOException { //1.注册url URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory(
阅读全文
摘要：A. Bad Triangle 题目：https://codeforces.com/contest/1398/problem/A 题解：一道计算几何题，只要观察数组的第1，2，n个，判断他们能否构成三角形即可。 必须注意：从反方向判断时要注意：两边之和大于第三边的反向是：a[1]+a[2]<=a[n
阅读全文
摘要：一、HDFS文件限额配置 在多人共用HDFS的环境下，配置设置非常重要。特别是在Hadoop处理大量资料的环境，如果没有配额管理，很容易把所有的空间用完造成别人无法存取。Hdfs的配额设定是针对目录而不是针对账号，可以 让每个账号仅操作某一个目录，然后对目录设置配置。 hdfs文件的限额配置允许我们
阅读全文
摘要：牛客团队赛50 A.Rental Service 题目：https://ac.nowcoder.com/acm/contest/6306/A 题解：牛有两种卖法：一个是卖奶，一个是租赁，比较二者哪个获利最多。 一道典型的贪心问题。 1.留下产奶量多的奶牛; 2.卖牛奶先卖给出价高的商铺; 3.把奶牛
阅读全文
摘要：一、hdfs概述 介绍： 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统 。HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数
阅读全文
摘要：1.油漆面积 题目：http://lx.lanqiao.cn/problem.page?gpid=T442 题解：正解是用线段树+扫描线。而这里我使用的方法比较简单，但是比较耗费时间。 我采用打表，总计一个格子内的数据标记上，最后遍历整个范围，找出ans。 其中有一个坑点，数据1的答案有问题 代码：
阅读全文
摘要：1.分巧克力 题目链接：http://lx.lanqiao.cn/problem.page?gpid=T441 题解：一看就知道只是一道二分题，因此思路就很好办了，二分区间【1，100000】， 然后进行判断是否分出的巧克力数大于等于K，若大于等于K就将L=mid 否则R=mid-1，最终的答案就是
阅读全文
摘要：一、Znode节点属性 dataVersion 数据版本, 每次当 Znode 中的数据发生变化的时候, dataVersion都会自增一下cversion 节点版本, 每次当 Znode 的节点发生变化的时候, cversion 都会自增aclVersion ACL(Access Control
阅读全文
摘要：一、Zookeeper理解与选举机制 ①Zookeeper理解 概念：Zookeeper 是一个开源的分布式协调服务框架 ，主要用来解决分布式集群中应用系统的一致性问题和数据管理问题 特点：Zookeeper 本质上是一个分布式文件系统, 适合存放小文件，也可以理解为一个数据库。 Zookeeper
阅读全文
摘要：本周为八月第一周的总结： 先说一下本周的完成项目：将之前python爬虫熟练地掌握后进行了一些项目的实战，做了一些心得的总结，在实战中也学到了一些新的知识。将7月份学习的Mybaties进行了回顾与总结，知识量确实挺大，一个新的东西吧！！！ 算法上回顾了二分与背包，做了对应的几道练习题，本周的重中之
阅读全文
摘要：一、Linux回顾 因为要学习Hadoop大数据，会用到Linux服务器集群来做，因此有必要回顾一下当年大一所学习的Linux知识 ①Linux系统有7个运行级别(runlevel)： 运行级别0：系统停机状态，系统默认运行级别不能设为0，否则不能正常启动 运行级别1：单用户工作状态，root权限，
阅读全文
摘要：一、注解开发CRUD（比较简单，实用） 创建一个接口：IUserDao，负责用注解开发来实现获取数据 FindAll();查找所有用户： //查询所有用户 @Select("select * from user") List<User> findAll(); 构建测试类，来输出一下对应的数据 /*
阅读全文
摘要：一、糗事百科视频爬取 先找到对应的页面，分析视频的来源，通过正则匹配到链接，然后再通过“美味的汤”来获取对应的视频的标题，进行下载 import requests import re from bs4 import BeautifulSoup url="https://www.qiushibaike
阅读全文
