09 2024 档案

ERROR manager.SqlManager: Error executing statement: com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server. Attempted reconnect 3 times.

摘要：今天在使用sqoop将hive数据库到如MySQL时遇到了这个问题并解决。解决办法：使用了8.x版本的MySQL连接驱动。之后遇到了内存不足问题，更改内存后，顺利完成。阅读全文

posted @ 2024-09-05 23:59 a_true 阅读(198) 评论(0) 推荐(0)

数据分析步骤思考

摘要：1、爬虫爬取相应的数据。 2、爬取后进行数据清洗，可使用MapReduce，也可使用csv文件。 3、在虚拟机创建好数据库，表，使用hive或beeline创建。 4、导出到本地MySQL数据库，进行数据分析。阅读全文

posted @ 2024-09-03 21:36 a_true 阅读(31) 评论(0) 推荐(0)