摘要:
有一天晚上用完Hbase后直接就关闭了电脑,第二天再打开的时候出现了 这样的错误,最终查阅很多资料后成功解决,如果显示的offline, 只需要关闭maser的进程然后删除logs中的maseter的log日志再重新启动就可以完美解决了。 阅读全文
摘要:
当有两个虚拟机,其中一个已经下载好了一个文件后,如何将文件传递到另一个虚拟机中呢,这里面有两种方法可以使用, 第一种方法是在已经下载好的虚拟机里面,进入到你下载内容的文件夹里,然后输入scp -r jdk1.8.0_171/ shuaichao@hadoop103:/opt/module/ 一个这种 阅读全文
摘要:
首先下载一个Xshell,有了之后再vmware上吧已经创建好的虚拟机打开,然后再Xshell上新建一个链接,输入名称, 之后再输入用户名和密码,注意IP地址是不能一样的,并且要在同一局域网下,这样就可以很轻易的链接上了。 阅读全文
摘要:
yarn在hadoop第一版中是没有的,在第二版中才出现,yarn是有一个resoucemanager管理着下面集群很多的cpu和存储器, yarn负责整个集群资管的管理。nodemaster是每个节点服务器的资源管理,Applicationmaster是每个任务的老大, conteiner是容器, 阅读全文
摘要:
hdfs是一个结构分明的存储结构,由三个部分组成,首先是存储数据的dataname,这个是存储大量数据的地方, 其次是namenode,这个类似于每本书开篇的索引目录,所有的内容都被罗列在内,这样便于查询, 第三个部分是用来备份部分内容的,在数据丢失的时候会起到一定的作用。 阅读全文
摘要:
hadoop是一种和大数据有关的技术,经过一定的了解后知道hadoop有三个版本,其中第二个版本是我感兴趣的一个, 他分为四个部分,首先hdfs是存储数据的,其次yarn是分配数据的,最后mapreduce是用来计算的 阅读全文
摘要:
大数据生态体系分为数据来源层,数据传输层,数据存储层,资源管理层,数据计算层和任务调度层,其中结构化数据库为我们熟悉的 数据库,文件日志这种半结构化的文本也囊括在内,甚至视频和ppt这种非结构化数据也是在处理范围的,kafka在所有存储工具中最为 强大,三种数据都可以处理并且拥有储存功能 阅读全文
摘要:
首先是本学期所学所有知识的总结,首先是这学期算上寒假,我按照先后顺序学习了SSM框架,mybatis,css运用,jquery,python,爬虫,python框架flask, json的运用,其中我所学的除了ssm相关的全部都运用到了实际项目之中,在我们的新闻文本分类开发时,我写了大量前端后端的代 阅读全文
摘要:
sql注入就是将一段sql代码输入到程序员自己写的sql语句中,导致sql语句能够通常的运行 sql注入的防护有五种,其中一种是通过正则表达式判断输入的代码: 比如说控制电话号的正则表达式 re.match("^(13\d|14[5|7]|15\d|166|17[3|6|7]|18\d)\d{8}$ 阅读全文
摘要:
所谓SQL注入,就是通过把SQL命令插入到Web表单递交或输入域名或页面请求的查询字符串,最终达到欺骗服务器执行恶意的SQL命令。 我们永远不要信任用户的输入,我们必须认定用户输入的数据都是不安全的,我们都需要对用户输入的数据进行过滤处理。 以下实例中,输入的用户名必须为字母、数字及下划线的组合,且 阅读全文