摘要：
项目当中，需要将SQL server中的部分数据导入mongo中，由于SQL是关系型数据库的原因，需要联合多表进行查询，因此，了解了下SQL中内外连接的相关概念，以作备注： 1、内联接（典型的联接运算，使用像 = 或 <> 之类的比较运算符）。包括相等联接和自然联接。 内联接使用比较运算符根据每个表 阅读全文
摘要：
近期项目中需要针对多种不同来源指定的相同类型内容进行合并，实现过程中需要根据指定的相关维度，对资源内容进行分组，如识别是否可以为同一人员信息，是否为同一个歌曲或影视信息，因此针对实现的具体细节做如下备份，以供后期查看和使用，如果有错误问题，敬请指正！ 相关的工具类，封装如下： 阅读全文
摘要：
工作期间，每次将文件上传至ftp服务器时，均需要手工输入ip、用户名、密码等，因此，考虑编写脚本完成文件的上传任务。具体的脚本sync.sh如下： 然后将该脚本sync.sh加入环境变量，每次只需执行 sync.sh filename即可，具体的执行过程如下： 阅读全文
摘要：
1. HDFS的数据完整性 HDFS会对写入的所有数据计算校验和，并在读取数据时验证校验和。datanode负责在验证收到的数据后存储数据及其校验和。正在写数据的客户端将数据及其校验和发送到由一系列datanode组成的管线，管线中的最后一个datanode负责验证校验和。如果datanode检测到 阅读全文
摘要：
1 查询文件系统 (1) 文件元数据：FileStatus，该类封装了文件系统中文件和目录的元数据，包括文件长度、块大小、备份、修改时间、所有者以及版权信息。FileSystem的getFileStatus()方法用于获取文件或目录的FileStatus对象。 例：展示文件状态信息 (2) 列出文件 阅读全文
摘要：
1. 分布式文件系统，即为管理网络中跨多台计算机存储的文件系统。HDFS以流式数据访问模式来存储超大文件，运行于商用硬件集群上。HDFS的构建思路为：一次写入、多次读取是最高效的访问模式。数据集通常由数据源生成或从数据源赋值而来，接着长时间在此数据集上进行各类分析。每次分析都涉及该数据集的大部分数据 阅读全文
摘要：
项目工作中，需要检验ftp服务器中指定文件是否存在，在网上查阅了相关资料，可以通过ftpClient类进行实现。 阅读全文
摘要：
在工作的项目当中，经运营人员的反馈，发现提供服务的指定属性字段的值为空，导致搜索引擎无法正常搜索到正确的结果。 原始的字符串提取程序为： 因此对于"(*)*"之类的字符串，则会提取为相应的空值，所以做了如下优化，提取成对括号中的内容及括号外的内容： 阅读全文
摘要：
基于项目需求，想要实现Post消息推送，故采用HttpClient组件进行实现，相关代码如下(注：程序采用的httpclient和httpcore依赖包的版本为4.2.5)： Ps: 在使用Hadoop集群进行发送POST请求时，遇到"java.lang.NoSuchFieldError: INST 阅读全文
摘要：
项目中涉及到对大批量的数据进行打乱式排序，大概原理如下： 输入源数据：1,1,2,3,3,3,4,4 输出结果： 1,2,3,4,1,3,4,3 实现代码如下，采用递归的思想： 阅读全文