TaoHF

摘要： 学习博客：https://blog.csdn.net/kezhong_wxl/article/details/76573901 官方文档：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.h 阅读全文

摘要： MapReduce入门程序：WordCount hadoop的share目录下 创建一个HDFS数据目录，用于保存mapreduce的输入文件 创建一个目录，用于保存mapreduce的任务输出文件 创建一个单词文件，并上传到HDFS上面 上传该文件到HDFS上在文件所在目录下， 运行wordcou 阅读全文

摘要： 项目需要和tmall实现长连接，接收tmall推送的Order消息，然后对消息进行逻辑处理。 目前写了一个servlet，实现了permit的验证，然后对tmall进行长连接操作，启动后，只要tomcat一直运行着，长连接就不会断掉。现在的需求是tomcat启动后我这个servlet自己就运行起来， 阅读全文

摘要： 项目中遇到的需求： 处理tmall推送来的order信息时，要实时更新table里面的信息，这种情况下会涉及到： 若是订单生成的消息，那么推送来的id在table里面是没有的，就应该执行insert操作 若不是订单生成的消息，则执行更新 如果记录存在就更新，不存在就插入。sql如下： 资料参考： h 阅读全文

摘要： 项目中从tmall推来的时间是一串数字，如下 需要进行转换然后存入数据库 时间格式转换类如下：SimpleDateUtil 调用方法 Fighting！ thf 阅读全文

摘要： 项目需要用到从tb下载的的sdk，在加入到tomcat项目里头的时候，需要在pom文件里面配置依赖 第一步：下载好sdk 第二步：moven生成本地仓库文件 cmd命令窗口中，进入到Jar存放的目录下 运行命令： 第三步：导入依赖 进入到上面提示的pom文件目录下面 打开文件将相应内容写到项目的po 阅读全文

摘要： 下载好hadoop和jdk软件包，传到虚拟机上 第一步：安装jdk并配置环境变量 解压 tar -xvf 配置环境变量 vim /etc/profile 加载配置文件 source /ect/profile 测试 java -version javac -version 第二步：安装hadoop 解 阅读全文

摘要： 一、查看centos上安装了多少个软件 二、查看安装了的软件包 acl-2.2.51-12.el7.x86_64 aic94xx-firmware-30-6.el7.noarch alsa-firmware-1.0.28-2.el7.noarch alsa-lib-1.1.3-3.el7.x86_6 阅读全文

摘要： 测试tmall接口的时候，，刚开始只是写的方法，所以之前直接是将下载好的sdk导入本地的jdk/lib下的，然后在Idea里加入进去 ctrl+shift+alt+s 单独写一个class在main方法里面是可以走通的，请求如下： response的结果如下： 但是放在tomcat下，通过servl 阅读全文

摘要： 整理之前的学习笔记，看的某视频的记录 爬虫：自己取抓取互联网上的信息的程序。 爬虫价值：爬取数据 爬虫的架构 爬虫调度段：启动爬虫，监视爬虫 URL管理器： 网页下载器（urllib） 网页解析器（BeautifulSoup） 运行的流程 URL管理器：管理待抓取URL集合和已经抓取URL集合 防止 阅读全文