摘要：
总结思路: 1.循环遍历得到所有的URL 2.使用线程池发送所有的请求，获取响应。 3.在2的响应字符串中使用json.loads()方法转换为字典后提取需要的数据信息。 4.将信息数据保存到MongoDB中 注释：mongoDB需要开通外网访问。默认只有本地访问。 #!/usr/bin/env p 阅读全文
摘要：
Redis 是完全开源的，遵守 BSD 协议，是一个高性能的 key-value 数据库。 Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的 阅读全文
摘要：
安装： sudo -apt install mysql-server 启动服务： sudo service mysql start 重启服务: sudo service mysqld restart service mysql restart 查看服务进程： ps -axu|grep mysqld 阅读全文
摘要：
线程： #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2021/9/5 21:41 # @Author : Lhtester # @Site : # @File : 豆瓣电影.py # @Software: PyCharm """使用 阅读全文
摘要：
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2021/9/5 22:59 # @Author : Lhtester # @Site : # @File : pool_实例.py # @Software: PyCharm import 阅读全文
摘要：
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2021/9/5 21:41 # @Author : Lhtester # @Site : # @File : 豆瓣电影.py # @Software: PyCharm """使用串行爬虫 阅读全文
摘要：
思路： 1.获取第一张内容 2.判断请求方式 3.对URL存在回车进行处理 4.正则匹配 5.写入文件中 #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2021/8/27 20:34 # @Author : Lhtester # @S 阅读全文
摘要：
爬虫思路如下： 1.向起始url发起get请求得到响应 2.从（1）的响应中使用正则表达式提取每个贴吧标题和对应的URL，发送请求，获取响应 3.在（2）的响应中使用正则表达式提取每个img的URL，发送请求，获取响应。 4.将（3）的响应内容保存为图片 5.从（1）的响应中使用正则表达式提取下一页 阅读全文
摘要：
flask介绍：Flask是一个使用 Python 编写的轻量级 Web 应用框架，基于Werkzeug WSGI工具箱和jinja2模板引擎，Flask也被称为微框架(microframework)，因为它使用简单的核心，用extension增加其他功能。Flask没有默认使用数据库、窗体验证工具 阅读全文
摘要：
打开这个文件 vim /root/.bashrc 加上一句： if [ -f /etc/bashrc ]; then . /etc/bashrc fi 结果： 阅读全文