go网站爬虫
摘要：
公司有需求爬取全国所有城市的楼盘，解析出经纬度，这种大范围的爬取一般用scrapy框架比较合适，但是刚好最近学完了go语言，go语言的http库用起来也很方便，因此尝试用go语言完成 一，程序支持根据用户输入城市进行爬取，使用flag方法可以解析用户数据，定义好要爬取的城市、爬取翻页时等待时长（慢速 阅读全文
posted @ 2021-01-20 16:18 Tarantino 阅读(155) 评论(0) 推荐(0) 编辑
不同坐标系经纬度相互转换
摘要：
公司需要解析出任意采集到的地址在百度坐标系下的经纬度，原来调用百度地图地理编码API服务即可，但是一些国外的地址在百度地图下得到的经纬度误差很大，因此，我使用到了google地图api，但是随之产生的问题是google地图api得到的坐标基于wgs84坐标系，所以剩下的问题就是如何将基于wgs84坐 阅读全文
posted @ 2021-01-20 15:34 Tarantino 阅读(2529) 评论(0) 推荐(0) 编辑
python协程爬取某网站的老赖数据
摘要：
import re import json import aiohttp import asyncio import time import pymysql from asyncio.locks import Semaphore from functools import partial heade 阅读全文
posted @ 2021-01-20 14:19 Tarantino 阅读(217) 评论(0) 推荐(1) 编辑
