摘要：
1.架构的定义 （1）根据要解决的问题，对目标系统的边界进行界定。 （2）并对目标系统按某个原则的进行切分。切分的原则，要便于不同的角色，对切分出来的部分，并行或串行开展工作，一般并行才能减少时间。 （3）并对这些切分出来的部分，设立沟通机制。 （4）根据（3），使得这些部分之间能够进行有机的联系， 阅读全文
摘要：
启动zookeeper 使用命令查看zookeeper是否启动成功： 启动kafka Brokerr 使用命令查看kafka Broker是否启动更成功 在kafka中创建topic 'test' bin/kafka-topics.sh --create --zookeeper localhost: 阅读全文
摘要：
1. 创建文件 放入一个txt文件 然后查看hdfs上的文件夹 不知道为什么并没有出现本地的文件 也不报错 后来发现，没有在logs文件夹下面，在newlogs文件夹下面 阅读全文
摘要：
参考：https://blog.csdn.net/lfq1532632051/article/details/42042255 阅读全文
摘要：
教程：http://www.bubuko.com/infodetail-2523113.html 安装好mysql，然后进入mysql: 创建hive用户： 给hive用户赋权： 创建hive数据库，再将该数据库的全部权限赋值给hive用户 启动hive 解决方法：两个log4j冲突了，使用hado 阅读全文
摘要：
问题： 然后再另一个文件中引用该变量 报错：Cannot find reference 'User_Agent' in '__init__.py' less... (Ctrl+F1) 正确写法： 但是运行的时候又报错了。再继续改成： 可以正确运行。 但是代码这报错，应该是pycharm的bug 阅读全文
摘要：
原来打开淘宝网页发现不登陆也可以查看商品信息，以为不用登录也可以爬取数据，但是后来发现需要登录才能爬取信息。并且淘宝的登录名和密码都是经过算法加密的。所以需要得到加密后的登录名和密码。刚开始用谷歌浏览器和IE浏览器都不能找到有用的信息。安装上火狐浏览器后才按照教程得到了相关信息。 https://c 阅读全文