07 2018 档案
摘要:1.为什么使用代理池 许多⽹网站有专⻔门的反爬⾍虫措施,可能遇到封IP等问题。 互联⽹网上公开了了⼤大量量免费代理理,利利⽤用好资源。 通过定时的检测维护同样可以得到多个可⽤用代理理。 2.代理池的要求 多站抓取, 异步检测 定时筛选, 持续更新 提供接口, 易于提取 3.代理池架构 4.githu
阅读全文
摘要:phantomJS爬数据比较慢,下面的测试结果,大概经过5分多钟才返回结果,正在搜索和超时提示返回比较慢 phantojs的其他配置方法: 完整代码 参考博文: Selenium分手PhantomJS 盘点selenium phantomJS使用的坑
阅读全文
摘要:INSERT INTO `lc_c_user_path`(`id`, `user_id`, `username`, `store_id`, `user_id_path`, `username_path`, `store_id_path`, `complete_path`) VALUES (1, 'u
阅读全文
摘要:错误原因:Selenium 已经弃用 PhantomJS ,请使用火狐或者谷歌无界面浏览器。 解决方法:selenium的版本问题,使用 pip show selenium 显示默认安装的是3.13.1版本 卸载当前版本 pip uninstall selenium 卸载之后重新安装selenium
阅读全文
摘要:1 BASE_DATA.galleryInfo = { 2 title: '路人街拍,个子不高,穿得却很有范,而且时尚潮流', 3 isOriginal: false, 4 mediaInfo: BASE_DATA.mediaInfo, 5 gallery: JSON.parse( 6 "{\"co
阅读全文
摘要:cd /usr/local/src wget --no-check-certificate https://pypi.python.org/packages/source/p/pymongo/pymongo-2.6.3.tar.gz#md5=da4a7d6ee47fe30b3978b8805d266167 tar zxvf pymongo-2.6.3.tar.gz cd pymongo-2...
阅读全文
摘要:提示:很抱歉,您的访问被禁止 解决方法:需要伪装浏览器,在headers中添加’User-Agent’字典内容 ssh://root@192.168.33.12:22/root/anaconda3/bin/python -u /www/python3/maoyantop100/spilder.py
阅读全文
摘要:1.爬虫的基本原理讲解 2.Urllib库的基本使用 3.Requests库的基本使用 4.正则的基本使用 5.BeautifulSoup库的使用 6.PyQuery库的使用 √ 7.Selenium库的使用 8.实例爬取上海高级人民法院网开庭公告数据 9.关于深度优先和广度优先 10.Scrapy
阅读全文
摘要:解决方法:
阅读全文
摘要:(1)Hello, World! (2)脚本参数 – Script Arguments (3)页面加载 – Page Loading 加载一个特殊的URL (不要忘了http协议) 并且计量加载该页面的时间 (4)代码运算 (5)DOM操作 读取id 为myagent的元素的 textContent
阅读全文
摘要:若安装以上软件不重启就执行startx命令,可能启动图形界面会失败! 默认语言设置,可能你还要修改 /etc/sysconfig/i18n > LANG="zh_CN.UTF-8" CentOS在登录时候显示cannot change locale (zh_CN.UTF-8): No such fi
阅读全文
摘要:(1)添加站点 (2)配置apache配置文件 在/usr/local/apache/conf/vhost文件夹下,修改webApp站点配置文件app.zouke.com.conf,并配置域名app.zouke.com (3)配置nginx配置文件 在/usr/local/nginx/conf文件夹
阅读全文
摘要:1.打开SRSniffer软件 2.按照1-->2-->3依次点击 3.点击左侧的启动监听按钮 4.打开要记录api的软件,查看效果
阅读全文
摘要:1.打开夜神模拟器 2.打开设置 3.点击WLAN 4.鼠标长按wifi 进入修改界面(不要点击。鼠标左键点击按住 停留几秒),点击修改网络 5.选择显示高级选项,并填写你本机的ip地址,端口号写8888 6.点击红点开始记录 7.打开蜂雷app 8.查看记录的api返回值
阅读全文
摘要:1.下载破解补丁 链接:https://pan.baidu.com/s/1S4JVKiaFnCZG01MpDPaAAA 密码:c6x6 放到phpstorm安装目录下的lib文件夹下: C:\software\JetBrains\PhpStorm 10.0.1\lib\JetbrainsCrack.
阅读全文
摘要:vim /etc/rc.d/rc.local 配置redis外网访问: vim /etc/redis/6379.conf bind 0.0.0.0 配置redis认证访问: vim /etc/redis/6379.conf 重启服务器:reboot
阅读全文
摘要:php7.2安装swoole-4.0.1.tgz php5.6安装swoole-1.10.4.tgz
阅读全文
摘要:/** * @title 发布装修的店铺 * @example FlagShipShopDecorate.fabu? 调试参数:{"username":"17721355485","check_code":"123456","method":"FlagShipShopDecorate.fabu"} * @return {"status":"0","error...
阅读全文
摘要:/** * @title 选中蜂店装修模板样式 * @param plate_id 是 int 商品(平台或特色)装修样式ID * @param type_id 是 int 要装修商品的类型(1-平台、2-特色) * @example FlagShipShopDecorate.selectShopDecorate? 调试参数:{"username"...
阅读全文
摘要:type_id=0的情况 type_id=1的情况 type_id=2的情况 返回结果
阅读全文
摘要:/** * @title 装修店铺 * @param plate_id 是 int 店铺装修样式ID * @param type 是 int 模板样式子板块类型(4-海景、6-二宫格、8-三宫格、9-四宫格) * @param sort 是 int 模块排序位置 * @param sku_id 是 string 商品sku_id ...
阅读全文
摘要:field('id,img,is_default,goods_nums,name')->where($where)->select(); $user_shop_decorate=M('user_shop_decorate'); $usd_where['create_id']=$user_id; $usd_where['flagship_shop'...
阅读全文
摘要:一.原型分析 1、店铺未装修的情况下,使用默认样式,哪个是默认样式由后台告知; 2、所有的样式由后台进行维护(但后台始终有一个默认样式,不可删除不可编辑),所有样式,只要用户未编辑过,则默认按照商品的销量从高到低进行依次填充; 3、点击空的区域,即可选择商品,选择后,直接回到此页面,并将商品信息带回
阅读全文
摘要:解决方法: 参考博文: 一键安装包lnmp1.5 lnmp1.5一键安装包 安装php 7.1.18 后的几个大坑问题 VM虚拟机安装LAMP,mysql装不上
阅读全文
摘要:[gitlab-ce] name=Gitlab CE Repository baseurl=https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el$releasever/ gpgcheck=0 enabled=1 4.自动安装最新版本 yum in
阅读全文
摘要:1、登录后若用户未设置支付密码,且该用户零钱余额大于0,则进入app首页时进行设置支付密码提醒; 2、支付密码的设置与错误提醒同之前支付密码设置流程; 3、点击下方不在提醒,则不在弹出此弹窗; 4、点击取消,则在点击取消按钮第二天00:00开始计算,7天后的第一次登录则重新在用户进入app首页时出现
阅读全文
摘要:一、安装mongodb 二、安装mongob扩展 问题解决:(1)解决libc.so.6: version `GLIBC_2.14' not found问题 (2)解决/var/VMdisks/glibc-2.14/build/elf/ldconfig: Can't open configurati
阅读全文