LoaderMan - 博客园

NoSQL和MongoDb 数据库介绍

摘要：数据库和文件的主要区别数据库有数据库表、行和列的概念，让我们存储操作数据更方便数据库提供了非常方便的接口，可以让 nodejs、php java .net 很方便的实现增加修改删除功能。 NoSql 介绍由于互联网的迅速发展，云计算与 Web2.0。这样大量的交互给数据库提出了更高的性能要求阅读全文

posted @ 2019-12-30 20:30 LoaderMan 阅读(295) 评论(0) 推荐(0) 编辑

Nodejs 的非阻塞 I/O、异步、事件驱动

摘要： Nodejs 的单线程非阻塞 I/O 事件驱动在 Java、 PHP 或者.net 等服务器端语言中，会为每一个客户端连接创建一个新的线程。而每个线程需要耗费大约 2MB 内存。也就是说，理论上，一个 8GB 内存的服务器可以同时连接的最大用户数为 4000 个左右。要让 Web 应用程序支持更多阅读全文

posted @ 2019-12-28 16:33 LoaderMan 阅读(364) 评论(0) 推荐(0) 编辑

nodeJS简单静态WEB服务器实现

摘要：利用HTTP模块 URl模块 Path模块 Fs模块创建在项目文件夹下，创建文件夹static,下面创建index.html 改进，加入path模块，动态获取文件类型加入url模块 getmine.js 继续优化，使其文件类型的获取更加全面 mine.json getmimefromfile.j 阅读全文

posted @ 2019-12-28 16:31 LoaderMan 阅读(947) 评论(0) 推荐(0) 编辑

Android FileProvider配置使用

摘要： FileProvider是Android 7.0出现的新特性，它是ContentProvider的子类，可以通过创建一个Content URI并赋予临时的文件访问权限来代替File URI实现文件共享。 FileProvider注册配置 1）Manifest中声明FileProvider对象在 M 阅读全文

posted @ 2019-12-27 20:03 LoaderMan 阅读(16285) 评论(0) 推荐(1) 编辑

Android AndroidX迁移库

摘要： Google 2018 IO 大会推出了 Android新的扩展库 AndroidX，用于替换原来的 Android扩展库，将原来的android.*替换成androidx.*；只有包名和Maven工件名受到影响，原来的类名，方法名和字段名不会更改。接下来我们来看看使用 AndroidX的扩展库需要阅读全文

posted @ 2019-12-27 20:03 LoaderMan 阅读(1184) 评论(0) 推荐(0) 编辑

Adnroid Lifecycle管理组件生命周期 && LiveData && ViewModel

摘要： Lifecycle 组件指的是 android.arch.lifecycle 包下提供的各种类与接口，可以让开发者构建能感知其他组件（主要指Activity 、Fragment）生命周期（lifecycle-aware）的类。其中 Lifecycle 使用两个主要的枚举类来表示其所关联组件的生命周阅读全文

posted @ 2019-12-26 21:20 LoaderMan 阅读(751) 评论(0) 推荐(0) 编辑

Error: Default interface methods are only supported starting with Android N (--min-api 24)类似问题解决

摘要：在app的build.gradle文件中android{添加以下代码阅读全文

posted @ 2019-12-26 20:24 LoaderMan 阅读(247) 评论(0) 推荐(0) 编辑

Android ViewPager2 可垂直左右滑动使用【java】

摘要： ViewPager2位于androidx包下，也就是它不像ViewPager一样被内置在系统源码中。因此，使用ViewPager2需要额外的添加依赖库。另外，android support中不包含ViewPager，也就是要使用ViewPager2必须迁移到androidx才可以。添加依赖布局：阅读全文

posted @ 2019-12-25 20:44 LoaderMan 阅读(5119) 评论(0) 推荐(0) 编辑

Android常用优秀开源框架

摘要： Android优秀开源框架汇总。包含：网络请求okhttp，图片下载glide，数据库greenDAO，链式框架RxJava，组件路由ARouter，消息传递通信EventBus，热更新Tinker，插件化框架Replugin，文件下载FileDownloaer，图片选择PhotoPicker，图片阅读全文

posted @ 2019-12-25 20:43 LoaderMan 阅读(752) 评论(0) 推荐(0) 编辑

Content-Type类型大全

摘要： { ".323":"text/h323" , ".3gp":"video/3gpp" , ".aab":"application/x-authoware-bin" , ".aam":"application/x-authoware-map" , ".aas":"application/x-authoware-seg" , ".acx":"application/int 阅读全文

posted @ 2019-12-24 22:21 LoaderMan 阅读(2298) 评论(0) 推荐(0) 编辑

Google官方Android的Room持久化库示例Demo

摘要：是时候该放弃 GreenDao的使用了，该使用Room持久化库喽~~~ 理由：GreenDao库已经很少维护更新了，greenDao现在在较新的开发环境使用中会警告：百度的解决方法：文档地址：https://developer.android.com/topic/libraries/archit 阅读全文

posted @ 2019-12-23 21:39 LoaderMan 阅读(2847) 评论(0) 推荐(0) 编辑

NodeJs FS 文件系统模块

摘要： 1. fs.stat 检测是文件还是目录 fs.stat('html',function(err,stats){ if(err){ console.log(err); return false; } console.log('文件：'+stats.isFile()); console.log('目录阅读全文

posted @ 2019-12-22 21:48 LoaderMan 阅读(442) 评论(0) 推荐(0) 编辑

Nodejs 包与 npm第三方模块安装和 package.json 以及 cnpm

摘要：包与 NPM 1. 包 Nodejs 中除了它自己提供的核心模块外，可以自定义模块，也可以使用第三方的模块。Nodejs 中第三方模块由包组成，可以通过包来对一组具有相互依赖关系的模块进行统一管理。完全符合 CommonJs 规范的包目录一般包含如下这些文件。 package.json :包描述阅读全文

posted @ 2019-12-21 22:35 LoaderMan 阅读(512) 评论(0) 推荐(0) 编辑

Flutter Plugin开发简单示例

摘要：新建Plugin项目： lib/hello.dart: 插件包的Dart API. android/src/main/java/com/yourcompany/hello/HelloPlugin.java: 插件包API的Android实现. ios/Classes/HelloPlugin.m: 阅读全文

posted @ 2019-12-20 14:44 LoaderMan 阅读(2405) 评论(0) 推荐(0) 编辑

Mysql创建数据库以及用户分配权限

摘要：一、创建mysql数据库 1.创建数据库语法二、创建用户 1.新建用户注意：此处的"localhost"，是指该用户只能在本地登录，不能在另外一台机器上远程登录。如果想远程登录的话，将"localhost"改为"%"，表示在任何一台电脑上都可以登录。也可以指定某台机器可以远程登录。 2.查询用阅读全文

posted @ 2019-12-17 20:49 LoaderMan 阅读(3418) 评论(0) 推荐(0) 编辑

Android仿微信QQ等实现锁屏消息提醒

摘要： demo代码如下：页面布局： activity_details.xml activity_main.xml activity_message.xml AndroidManifest.xml 适用应用场景适用应用场景：应用没有完全退出的情况下在后台运行时，如果用户已经关闭了手机屏幕，如果我们的AP 阅读全文

posted @ 2019-12-17 20:21 LoaderMan 阅读(2496) 评论(0) 推荐(0) 编辑

android 桌面图标添加数字角标

摘要：是否支持角标并不与手机厂商有关，而是你当前使用的launcher开发厂商有关。方法实现：测试：亲测华为手机可行！阅读全文

posted @ 2019-12-16 21:12 LoaderMan 阅读(5379) 评论(0) 推荐(1) 编辑

android7/8新特性画中画、shortcut和分屏模式

摘要：多窗口在android7.0中原生提供了多窗口模式和画中画模式，多窗口模式将屏幕分为上下或左右两块区域分别显示两个应用，画中画模式主要应用在android TV中，类似于windows中的多窗口。分屏实现分屏功能只需要在AndroidManifest.xml中为application或特定的a 阅读全文

posted @ 2019-12-16 21:11 LoaderMan 阅读(1626) 评论(0) 推荐(0) 编辑

scrapy爬虫案例：用MongoDB保存数据

摘要：用Pymongo保存数据爬取豆瓣电影top250movie.douban.com/top250的电影数据，并保存在MongoDB中。 items.py spiders/douban.py pipelines.py 效果：阅读全文

posted @ 2019-12-14 13:14 LoaderMan 阅读(657) 评论(0) 推荐(0) 编辑

通过Fiddler进行手机抓包

摘要：通过Fiddler进行手机抓包通过Fiddler抓包工具，可以抓取手机的网络通信，但前提是手机和电脑处于同一局域网内（WI-FI或热点），然后进行以下设置：用Fiddler对Android应用进行抓包打开Fiddler设置在Connections里设置允许连接远程计算机，确认后重新启动Fid 阅读全文

posted @ 2019-12-13 20:21 LoaderMan 阅读(713) 评论(0) 推荐(0) 编辑

爬虫案例：图片下载器

摘要： items.py spiders/coser.py pipelines.py settings.py 在项目根目录下新建main.py文件,用于调试执行程序阅读全文

posted @ 2019-12-13 20:20 LoaderMan 阅读(322) 评论(0) 推荐(0) 编辑

爬虫：模拟登陆

摘要：注意：模拟登陆时，必须保证settings.py里的 COOKIES_ENABLED (Cookies中间件) 处于开启状态 COOKIES_ENABLED = True 或 # COOKIES_ENABLED = False 策略一：直接POST数据（比如需要登陆的账户信息) 只要是需要提供pos 阅读全文

posted @ 2019-12-12 20:14 LoaderMan 阅读(231) 评论(0) 推荐(0) 编辑

scrapy爬虫案例：问政平台

摘要：问政平台 http://wz.sun0769.com/index.php/question/questionType?type=4 爬取投诉帖子的编号、帖子的url、帖子的标题，和帖子里的内容。 items.py import scrapy class DongguanItem(scrapy.Ite 阅读全文

posted @ 2019-12-12 20:11 LoaderMan 阅读(276) 评论(0) 推荐(0) 编辑

Scrapy爬虫Demo 爬取资讯分类

摘要：爬取新浪网导航页所有下所有大类、小类、小类里的子链接，以及子链接页面的新闻内容。效果演示图： items.py import scrapy import sys reload(sys) sys.setdefaultencoding("utf-8") class SinaItem(scrapy.It 阅读全文

posted @ 2019-12-11 20:31 LoaderMan 阅读(432) 评论(0) 推荐(0) 编辑

Vue ElementUI主页面搭建和导航栏使用，并在刷新页面的时候选中状态消失的问题解决

摘要： <template> <div style="height:100%;width: 100%; padding:0 auto; margin: 0 auto;"> <el-container style="height:100%; width: 100%; "> <el-header class="header"> <el-row type="flex" justify="end"> <el-co 阅读全文

posted @ 2019-12-10 17:30 LoaderMan 阅读(1425) 评论(0) 推荐(0) 编辑

vue 动态路由跳转在新窗口打开

摘要： let routeUrl =this.$router.resolve({path: '/home'}) window.open(routeUrl.href, '_blank'); 阅读全文

posted @ 2019-12-10 17:28 LoaderMan 阅读(2015) 评论(0) 推荐(0) 编辑

Scrapy中的Settings

摘要： Settings Scrapy设置(settings)提供了定制Scrapy组件的方法。可以控制包括核心(core)，插件(extension)，pipeline及spider组件。比如设置Json Pipeliine、LOG_LEVEL等。参考文档：http://scrapy-chs.read 阅读全文

posted @ 2019-12-09 21:18 LoaderMan 阅读(144) 评论(0) 推荐(0) 编辑

scrapy中的middleware

摘要：反反爬虫相关机制 (有些些网站使用特定的不同程度的复杂性规则防止爬虫访问，绕过这些规则是困难和复杂的，有时可能需要特殊的基础设施，如果有疑问，请联系商业支持。) 来自于Scrapy官方文档描述：http://doc.scrapy.org/en/master/topics/practices.html 阅读全文

posted @ 2019-12-09 21:17 LoaderMan 阅读(395) 评论(0) 推荐(0) 编辑

Scrapy中的Request和Response

摘要： Request Request 部分源码：其中，比较常用的参数： Response 大部分参数和上面的差不多：发送POST请求可以使用 yield scrapy.FormRequest(url, formdata, callback)方法发送POST请求。如果希望程序执行一开始就发送POST 阅读全文

posted @ 2019-12-09 21:16 LoaderMan 阅读(524) 评论(0) 推荐(0) 编辑

scrapy之CrawlSpiders

摘要： CrawlSpiders 通过下面的命令可以快速创建 CrawlSpider模板的代码： scrapy genspider -t crawl loaderan cnblogs.com class scrapy.spiders.CrawlSpider 它是Spider的派生类，Spider类的设计原阅读全文

posted @ 2019-12-08 13:51 LoaderMan 阅读(282) 评论(0) 推荐(0) 编辑

Scrapy之Spider

摘要： Spider Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。 class scrapy.Spider是最基本的类，所有编写阅读全文

posted @ 2019-12-08 13:50 LoaderMan 阅读(583) 评论(0) 推荐(0) 编辑

flutter 高德地图选择位置信息返回

摘要：添加依赖：（注意，作者一直更新维护，请以最新的版本添加）代码实现： misc.dart pageloading.dart 效果：阅读全文

posted @ 2019-12-07 19:01 LoaderMan 阅读(3572) 评论(2) 推荐(0) 编辑

scrapy中的Pipeline

摘要：当Item在Spider中被收集之后，它将会被传递到Item Pipeline，这些Item Pipeline组件按定义的顺序处理Item。每个Item Pipeline都是实现了简单方法的Python类，比如决定此Item是丢弃而存储。以下是item pipeline的一些典型应用：验证爬取的阅读全文

posted @ 2019-12-07 13:46 LoaderMan 阅读(407) 评论(0) 推荐(0) 编辑

Scrapy的 Shell终端

摘要： crapy Shell Scrapy终端是一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看他们的工作方式，方便我们爬取的网页中提取的数据。如果安装了 IPython ，Scrapy终端将使用 IPython (替代标准Python终端) 阅读全文

posted @ 2019-12-06 20:01 LoaderMan 阅读(283) 评论(0) 推荐(0) 编辑

scrapy入门案例

摘要：一. 新建项目(scrapy startproject) 在开始爬取之前，必须创建一个新的Scrapy项目。进入自定义的项目目录中，运行下列命令：其中， mySpider 为项目名称，可以看到将会创建一个 scrapyDemo 文件夹，目录结构大致如下：各个主要文件的作用： scrapy.cfg 阅读全文

posted @ 2019-12-06 19:59 LoaderMan 阅读(220) 评论(0) 推荐(0) 编辑

爬虫框架Scrapy的安装

摘要： Scrapy框架官方网址：http://doc.scrapy.org/en/latest Scrapy中文维护站点：http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html Windows 安装方式 Python 2 / 3 升级pip版本：p 阅读全文

posted @ 2019-12-05 22:40 LoaderMan 阅读(287) 评论(0) 推荐(0) 编辑

解决pytesseract.pytesseract.TesseractNotFoundError: tesseract is not installed or it's not in your path问题

摘要：解决方案: 注意:有的地方需要转义 ,重新进入项目，运行即可阅读全文

posted @ 2019-12-04 20:11 LoaderMan 阅读(5599) 评论(0) 推荐(0) 编辑

Tesserac初探

摘要：安装Tesseract Windows 系统下载可执行安装文件https://code.google.com/p/tesseract-ocr/downloads/list安装。或者https://digi.bib.uni-mannheim.de/tesseract/ Mac OS X系统用 Ho 阅读全文

posted @ 2019-12-04 20:10 LoaderMan 阅读(869) 评论(0) 推荐(0) 编辑

案例：动态页面模拟点击

摘要：效果：阅读全文

posted @ 2019-12-03 20:17 LoaderMan 阅读(574) 评论(0) 推荐(0) 编辑

使用PhantomJS报warnings.warn('Selenium support for PhantomJS has been deprecated, please use headless '解决方法

摘要： selenium已经放弃PhantomJS了，建议使用火狐或者谷歌无界面浏览器。使用无界面浏览器Selenium+Headless FirefoxSelenium+Headless Firefox和Selenium+Firefox，区别就是实例option的时候设置-headless参数。前提条件：阅读全文

posted @ 2019-12-02 20:52 LoaderMan 阅读(2791) 评论(0) 推荐(0) 编辑