布隆过滤器(bloom filter)介绍以及php和redis实现布隆过滤器实现方法

引言

在介绍布隆过滤器之前我们首先引入几个场景。

场景一

在一个高并发的计数系统中，如果一个key没有计数，此时我们应该返回0，但是访问的key不存在，相当于每次访问缓存都不起作用了。那么如何避免频繁访问数量为0的key而导致的缓存被击穿？

有人说， 将这个key的值置为0存入缓存不就行了吗？确实，这是一个好的方案。大部分情况我们都是这样做的，当访问一个不存在的key的时候，设置一个带有过期时间的标志，然后放入缓存。不过这样做的缺点也很明显，浪费内存和无法抵御随机key攻击。

场景二

在一个黑名单系统中，我们需要设置很多黑名单内容。比如一个邮件系统，我们需要设置黑名单用户，当判断垃圾邮件的时候，要怎么去做。比如爬虫系统，我们要记录下来已经访问过的链接避免下次访问重复的链接。

在邮件很少或者用户很少的情况下，我们用普通数据库自带的查询就能完成。在数据量太多的时候，为了保证速度，通常情况下我们会将结果缓存到内存中，数据结构用hash表。这种查找的速度是O(1)，但是内存消耗也是惊人的。打个比方，假如我们要存10亿条数据，每条数据平均占据32个字节，那么需要的内存是64G，这已经是一个惊人的大小了。

一种解决思路

能不能有一种思路，查询的速度是O(1)，消耗内存特别小呢？前辈门早就想出了一个很好的解决方案。由于上面说的场景判断的结果只有两种状态（是或者不是，存在或者不存在），那么对于所存的数据完全可以用位来表示！数据本身则可以通过一个hash函数计算出一个key，这个key是一个位置，而这个key所对的值就是0或者1（因为只有两种状态），如下图：

（更多…）

centos7系统初初始化工作以及网站环境搭建(php7+nginx+mysql)

拿到一台做网站的主机, 我们先要做一些环境初始化的工作, 由于这些工作会有些繁琐,因此记录一下. 后面将这些流程写成一个shell脚本,一次性完成.此次工作流程如下:

  1. 安全性设置
  2. 额外的目录创建
  3. 网站环境搭建

安全性设置

一般从某云上买的主机, 默认账户是root, 为了不被暴力破解, 我们首先需要设置一个强一点的密码,不过更好的方法是禁用root, 另外创建一个用户来作为日常管理的账户.

（更多…）

python学习(一): 变量、数据类型、 控制语句、 字符串处理

这是我学习python的第一篇笔记，记录初学python的情况。按照我学习一门语言的顺序，首先需要知道这门语言的性质, 语句的写法, 然后学习学习变量以及变量的作用域、变量类型，紧接着就是控制语句，分支，循环，然后就是一些函数的使用。这样基本就可以使用一门语言。

python

简介

与 Scheme、Ruby、Perl、Tcl 等动态类型编程语言一样，Python 拥有动态类型系统和垃圾回收功能，能够自动管理内存使用，并且支持多种编程范式，包括面向对象、命令式、函数式和过程式编程。

（更多…）

wordpress支撑百万文章解决方案

无论是从功能方面还是开发方面，wordpress用起来都很便利，但便利的背后是以牺牲明能为代价的。最近想着优化一下wordpress，看看有没有什么方案能够将wordpress支撑起百万的数据呢。

支撑百万数据并不是存入一百万文章就可以了，实际上百万文章对mysql来说毫无压力，别说百万了，上亿也没什么关系，有关系的是查询。很不幸，如果主题写的不好，百万文章的wordpress查询就是个灾难。

从首页开始看

一般来说，达到百万文章级别的站点，首页应该是一个展示很多分类文章的页面。但是由于wp在初始化的时候就会根据url中的查询去数据库查询一些文章，首页是根据时间倒序查询，因此当不需要最新文章的时候，可以利用钩子去掉这部分查询。当需要最新文章的时候，也需要优化这个查询，默认的查询是带有SQL_CALC_FOUND_ROWS，这个简直是性能杀手！
当需要从分类取出一些数据的时候，使用WP_Query构造出的查询也会用到filesort，因此可以选择构建一张表，作为中间查询。

（更多…）

Execl宏教程：从hello world开始入门

Excel宏使用的是vba，基本上就是运行在Excel里面的vb。所以学习vba和学习一门编程语言没有什么区别。所以我们最开始需要学的的就是一些基础语句。为了不让学习显得太枯燥，我们从一个hello world开始。

首先需要打开Microsoft Excel，找到开发工具->宏，输入一个宏名称，点击创建

创建了新的宏之后，就会出现一个编辑器界面

Sub test()
End Sub

使用一个弹窗弹出hello world

Sub test()
MsgBox("hello world")
End Sub

到这里，一个简单的宏就创建完成了，虽然它现在什么也不能做，但是别着急，后面宏会为你做很多很多的事情，能让你的工作效率提升非常多倍！

docker 制作自己的 php-fpm镜像

php-fpm的镜像官方已经有了，但是直接拿过来用或许不行，不同的项目所需要的扩展不一定一样。所以这里我们以官方的php-fpm 5.6版本为基础镜像，在这个镜像上制作我们自己的镜像。开发环境安装尽可能多的扩展，线上环境则安装所需要的扩展。

为了构建我们的镜像，首先需要一个名为Dockerfile的文件，docker会根据这个Dockerfile来构建镜像。

首先使用FROM指令，表示当前构建的镜像的基础镜像

FROM php:5.6-fpm

docker会从他自己的镜像库中拉取php-fpm5.6的镜像。 （更多…）

后端开发需要安装的chrome插件

每一次更换环境都要重新安装一遍chrome的各种插件，这次就记录下来，供下次需要，也供正在阅读本文的你作为参考，说不定能够找到一些比较好的插件呢。

json handle

在处理接口的时候，json-handle格式化输出的json字符串。

AdBlock

比较厌烦广告，adblock是一个比较好的屏蔽广告的插件

HostSwitch

使用代理的方式来达到切换host目的，HostSwitch是一个不错的选择，不直接修改hosts文件。在调试网站或者接口是一个非常棒的选择

Proxy SwitchyOmega

一个非常棒的代理插件，能够根据规则选择是否使用代理

Eye Dropper

一个网页取色器的插件，本来想搜索color picker，然而不知道为什么搜索到的不好用。

未完…

使用 ssh config给你的远程主机创建别名

与windows不一样，通常在linux下（mac也一样）一般使用终端来连接远程主机而不是使用一些比如putty或者是xshell。

ssh -p port name@host

这样未免有些麻烦，实际上通过配置ssh的config文件能够使用别名，简化连接，用户的配置文件在~/.ssh/config, 没有的话就创建一个。配置示例如下

Host 别名
    HostName 主机域名或者ip
    User 用户名
    Port 指定端口号

（更多…）

使用apidoc为你的项目编写api文档

在使用apidoc之前，我一直使用wiki来写文档，后来发现这种方式更新起来比较痛苦，时间一长甚至就忘记了更新了。一直在寻找能够使用注释直接生成文档的程序。某一天同事推荐了apidoc，发现这正是我想要的工具。

apidoc原理

apidoc的原理是扫描你的代码文件，提取出注释部分，根据一些规则生成相应的文档。默认的模板久很美观，十分适合作为api文档的生成器。目前apidoc支持的注释基本涵盖了大部分语言的风格了，c，java，php，js，python，perl，lua, Erlang…

安装

需要使用npm安装，如果没有安装npm，请先去https://www.npmjs.com/下载npm并且安装。安装之后使用如下命令安装apidoc

npm install apidoc -g

开始API文档

通常我们的api的是通过一个方法的调用，在mvc架构的c层。如果一个api是 /foo/bar ,那么可以在相关的方法调用中这样写注释

 

/**
 * @api {GET} /foo/bar 一个测试的接口
 * @apiName  foobar
 * @apiVersion 0.1.0
 * @apiGroup foo
 * @apiDescription 这是一个测试的接口，会输出一个hello world
 */

（更多…）