Day3

 

今日学习:

1.aiomysql+sqlalchemy实现ORM框架【实现仿优酷系统添加用户】

2.使用request爬取同学的博客

 

 今日总结:

其实今天也没什么好总结的,主要还是在《今日学习》的1里,学习写ORM;

课上主要是学习基本的SQL语句看,对表的增删改查,以前在学校里学的是对多表操作,触发器,游标;

 

技术分享:

  1.sqlalchemy绑定数据的两种方式:声明映射,和,经典映射

    先说说经典映射,经典映射的方式是利用mapper()绑定创建的类和对应的数据库表,有点类似Spring MVC的映射方式

    声明映射是官方推荐的,不用创建mapper,也不会MeteData对象

  2.利用sqlalchemy的Session向数据库添加数据:

    自我感觉sqlalchemy的session比较好用,假如我创建了ygy=User(id=1,name='杨归元',is_vip=0)

    那么我可以直接使用session.add(ygy)就能向数据库添加数据(但我并没有这么做,而是使用了aiomysql向数据填进数据,啃硬骨头)

  3.异步asyn库的使用:

    3.1以下的语句:

      loop = asyncio.get_event_loop()

      loop.run_until_complete(go())

     可以写成:

      asyncio.get_event_loop().run_until_complete(go())

    3.2 await:在线程等待的地方使用,我今天学习的时候都是在获得返回值的时候使用(会不会因为await == yield from ?)

    3.3   做爬虫不是越快越好,虽然能利用asyn提高速度,但是爬虫最重要的还是访问频率;而且也要看网络阻塞情况

  

 职业规划

  学习路线:


    1.掌握xpath/beautifulsoup/re

    2.掌握并发编程库:asyncio,aiohttp

    3.掌握前端js和bootstao,好像有vuejs

    4.学会scrapy框架 5.学会用selenium

    6.掌握反爬

    7.linux+django

      8.分布式爬虫+浏览引擎
posted @ 2019-10-29 16:55  杨归元  阅读(118)  评论(0编辑  收藏  举报