摘要:
准备工作 准备3个节点,要求配置好主机名称,服务器之间系统时间保持一致 注意配置主机名及hosts vi /etc/hostname vi /etc/hosts 192.168.147.102 bigdata01 192.168.147.103 bigdata02 192.168.147.104 b 阅读全文
摘要:
SpringBoot整合Swagger2 引入Swagger2依赖 <!-- swagger2 配置 --> <dependency> <groupId>io.springfox</groupId> <artifactId>springfox-swagger2</artifactId> <versi 阅读全文
摘要:
下载安装包 [root@java_tools MariaDB-10.4.8.stable-CentOS7.x]# ls -ll total 50912 -rw-r--r--. 1 root root 9837920 Nov 19 2019 galera-4-26.4.2-1.rhel7.el7.ce 阅读全文
摘要:
同源情况(源表与目标表在同一个DB下) commitSize(1000) transMeta方式 不同源情况 图形化界面(4c8g) 优化连接MySQL参数 读场景 useServerPrepStmts=true cachePrepStmts=true 写场景 useServerPrepStmts= 阅读全文
摘要:
HDFS(Hadoop Distribute File Ststem) HDFS全程是Hadoop Distribute File System,Hadoop分布式文件系统。它是一种允许文件通过在多台主机上分享的文件系统,可以让多台机器上的多个用户分享文件和存储空间。类似的分布式文件管理系统还有很多 阅读全文
摘要:
1.准备工作: chromedriver 的安装请自行百度。我们直奔主题。 起飞前请确保准备工作以就绪... 2.分析网页: 目标网址:https://www.jd.com/ 所有item均保存在class="gl-item"里面 需求: 使用selenium 驱动浏览器自动侦测到input输入框, 阅读全文
摘要:
1.准备工作: 网址:https://lishi.tianqi.com/xian/index.html 爬虫类库:PyQuery,requests 2.网页分析: 红线部分可更改为需要爬取的城市名,如:beijing 红框选中部分即为我们所需要爬取的每个月份的信息. 目测应该是ui li,使用Chr 阅读全文