晨星_star

摘要： scrapy 爬取股票 stock.py # -*- coding: utf-8 -*- import scrapy from items import StockstarItem, StockstarItemLoader class StockSpider(scrapy.Spider): name 阅读全文

摘要： 爬虫优化--多进程 多进程： from qunar import get_all_data from qunar import dep_list from multiprocessing import Pool # 多进程 if __name__ == "__main__": pool=Pool() 阅读全文

摘要： 数据监控： import requests import urllib import time import pymongo # 必须写在外面，否则无法导入 client=pymongo.MongoClient('localhost',27017) book_qunar=client['qunar' 阅读全文

摘要： selenium 爬取去哪儿 import requests import urllib.request import time import random from selenium import webdriver from selenium.webdriver.common.by import 阅读全文

摘要： 有道翻译 import requests import json def get_translate_date(word=None): url='http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule' Form_dat 阅读全文

摘要： 索引： 索引是存储引擎用于快速找到记录的一种数据结构。 索引的存在作用就是加快了我们查找内容的速度，在数据库中索引(像字典的目录) 索引类型： 两大类索引类型：B+ Tree索引 和 Hash 索引。 在MySQL中索引是在存储引擎层而不是在服务器层实现。一般来说谈到MySQL索引大部分情况下是B- 阅读全文

摘要： 架构模型： 一个典型的互联网产品架构包含接入层、逻辑处理层以及存储层，其中存储层承载着数据落地和持久化的任务，同时给逻辑处理层提供数据查询功能支持。说到存储层就要说到数据库，数据库知识掌握程度也是面试考察的知识点。 分类： 数据库分为关系型数据库和非关系型数据库，也就是我们常说的 SQL 和 NoS 阅读全文