xshell 部分版本存在后门 登录凭证或将被泄露

刚收到邮件，说Xshell官方提供的多个版本存在后门，会向 nylalobghyhirgh.com 发送登录凭证信息。

已知受影响的版本为：

Xshell Build 5.0.1322

Xshell Build 5.0.1325

Xmanager Enterprise 5.0 Build 1232

Xmanager 5.0 Build 1045

Xftp 5.0 Build 1218

Xftp 5.0 Build 1221

Xlpd 5.0 Build 1220

 

已知不受影响的版本为：

Xmanager Enterprise Build 1236

Xmanager Build 1049

Xshell Build 1326

Xftp Build 1222

Xlpd Build 1224

Xshell是一款强大、著名的终端模拟软件，被广泛的用于服务器运维和管理,Xshell支持SSH，SFTP，TELNET，RLOGIN和SERIAL功能。它提供业界领先的性能和强大功能，在免费终端模拟软件中有着不可替代的地位。企业版中拥有更专业的功能其中包括:标签式的环境、动态端口转发、自定义键映射、用户定义按钮、VB脚本和用于显示2 byte字符和支持国际语言的UNICODE终端。

Xshell提供许多用户友好的，在其他终端终端模拟软件没有的功能。这些功能包括:通过拖放文件进行Zmodem文件上传，简单模式，全屏模式，透明度选项和自定义布局模式下载Zmodem文件。使用Xshell执行终端任务节省时间和精力。

近日，安全公司发现官方发布的软件版本中，nssock2.dll模块源码被植入后门。目前xshell最高版本为 Xshell 5 Build 1326 该版本更新于2017年8月5日。

如需继续使用请升级到官方的最新版本 1326， 相关下载链接：https://www.netsarang.com/download/down_xsh.html

你可能还喜欢下面这些文章

varnish安装：varnish如何安装

ubuntu中varnish的安装varnish在Ubuntu package 仓库版本可能比较低，,我们一般建议使用varnish-cache.org提供的包。请注意，我们只为Ubuntu的LTS版本（ Long Term Support，长时间支持版本，一般三年）提供安装包,其他中间版本并不提供。但这些版本也许会在较新的ubuntu版本中工作。varnish支持的架构是amd64。使用root执行下面的代码安装varnish提供的最新版本 apt-get install apt-transport-https curl https://repo.varnish-cache.org/GPG-

安装datastax php-driver for cassandra 的悲惨经历

由于业务可能要使用cassandra，需要安装一个php的扩展，安装过程可谓是曲折首先直接pecl安装然而告诉我checking for supported DataStax C/C++ driver version... gawk: cmd. line:1: fatal: cannot open file `/include/cassandra.h' for reading (No such file or directory)呵呵呵呵呵呵呵，还得首先安装cpp的driver。行吧，先安装cpp-driver，按照官网给出的步骤结果就是缺少libuv啊，缺少cmake啊，其中的过程就比较曲折

C++中zlib的crc32和python zlib.crc32结果不一致的解决方案

背景python和c++的代码中均有使用crc32分流的操作，需要保证分流得到的结果一致，那么两个crc32的方法得到的结果需要一致才行。然而实际测试中发现python2中zlib.crc32和c++的zlib中crc32得到的结果却不一致。问题复现python版crc32结果为 -102031187。如下：C++ 版zlib crc32运行结果为：4192936109python版得出的结果是-102031187，而C++版本得出的结果是4192936109。资料查找首先从百度上查看有没有人和我遇到同样的问题，结果发现有。但是回答的结果乱七八糟，没什么参考价值。于是找了找python的文档，

imajax-single，一款全站ajax的博客主题

近半年来，慢慢的制作一款能够适合博客使用的，能够方便阅读的，速度要快主题。灵感来自于wordpress的官方默认主题。制作缘由很喜欢wordpress的默认主题twenty-fifteen，但是不是全站ajax，曾经为twenty-fifteen增加过诸多功能，但是使用起来还是特别的不方便，因此就自己制作了一份主题了。制作过程断断续续的几个月，有时间就写一点代码，没时间就放着。由于博主现在主要搞后端接口了，所以在前端方面花的功夫就太少了，主题外观感觉看起来中规中矩，不过使用起来应该还是很贴心的。主题外观典型的双栏主题，侧栏在左，内容在右。如果你只是想要一个博客，并且喜欢整理你日常的生活内容，那

shell中map的使用

bash 4.1.2 版本增加了map数据结构。map是一种常用的数据结构，通过map可以将key映射到一个value。使用方法map在使用之前需要先声明，声明的方式如下map需要先声明再使用。参数-A表示声明的变量是一个map。需要注意的是这里的A是大写的字母A。赋值操作map的赋值有两种方式，一种是直接给map赋值，如下：另一种是使用下标给map添加key-value对输出所有的key在文中最开始提到map的使用需要先声明，在没有声明的情况下此处会输出一个0，如下图：输出所有value输出map长度遍历，根据key找到对应的value遍历所有的key遍历所有的value问题FAQQ：为什么

解决Mac ReportCrash进程占用大量CPU的问题

今天电脑风扇一直呼呼转，发烫利害。于是看看到底哪个进程占用了大量cpu，top查看发现ReportCrash占用了大量CPU，直接kill之后还是会拉起。于是从网上查看如何关闭这个进程，方法如下：打开终端，执行下面命令launchctl unload -w /System/Library/LaunchAgents/com.apple.ReportCrash.plistsudo launchctl unload -w /System/Library/LaunchDaemons/com.apple.ReportCrash.Root.plist如果后续要打开，可以在终端执行如下命令：launchct

下载sublime

好了，现在可以去官网下载sublime了。官网地址：http://www.sublimetext.com/请不要下载破解版本的！sublime虽说是收费的，而且还是那种死贵死贵的，但是，它是可以免费试用的，并且不受时间的限制，也没有任何功能的阉割。除了会在使用中弹出让你去购买的弹窗，其他的和收费版是一样的。至于到底是下载sublime test2还是sublime text3呢？当然是2啦，没看到官网上面的下载链接都是2吗，ok，别犹豫啦，进入官网地址，首页就有下载按钮啦！现在建议下载sublime3啦！好了，当你下载sublime并且安装之后呢，那么，请开始体验神器吧！

记录一次编译安装php7的过程，以后当做参考

之前安装过一次php7，不过配置参数听过，这次再安装，就记录一下，后面就当做参考了，主要是配置里面东西有点多。STEP 1去php官网下载最新版本的php，目前是7.0.10，地址：http://php.net/downloads.php#v7.0.10，可以使用下面的命令，直接下载解压$ wget http://am1.php.net/get/php-7.0.10.tar.gz/from/this/mirrortar -xvf mirrorSTEP 2进入刚才解压的文件，应该是 php-7.0.10。安装之前需要解决一下依赖问题。STEP 3为安装提供一系列的配置STEP 4进行编译，安装最

使用sublime+platuml高效画图

程序员难免要经常画流程图，状态图，时序图等。以前经常用 visio 画，经常为矩形画多大，摆放在哪等问题费脑筋。有时候修改文字后，为了较好的显示效果不得不再去修改图形。今天介绍的工具是如何使用 Sublime + PlantUML 的插件画流程图，状态图，时序图等。这是一种程序员看了就会爱上的画图方式：自然，高效。什么是 PlantUMLPlantUML 是一个画图脚本语言，用它可以快速地画出：时序图流程图用例图状态图组件图简单地讲，我们使用 visio 画图时需要一个一个图去画，但使用 PlantUML 只需要用文字表达出图的内容，然后就可以直接生成图片。看一个最简单的例子：软件安装这些软件

mac下git配置beyondcompare作为合并冲突工具

首先安装beyond compare，下载地址： http://www.scootersoftware.com/download.php设置为默认的merge工具git config --global merge.tool bc设置为默认的diff工具git config --global diff.tool bc在使用 来解决冲突后,会生成 备份文件 (*.orig),大多数情况下不是我们想要的,在终端中配置:git config --global mergetool.keepBackup false这样就不会每次在解决冲突后生成对应的 .orig文件了. 

锤子线：蜡烛图中锤子线的解释和应用

在一个下跌的趋势中，锤子线的出现一般是看涨的，看到锤子线，意味着该买入了。但是一定要记住，锤子线的出现只是表示未来几天内可能会有涨。

锤子线的特征

1.实体很短，下影线很长，超过实体的两倍以上，无上影线或者上影线很短

2.出现在连续的跌势之后

3.锤子线的颜色任意

（更多…）

你可能还喜欢下面这些文章

【锤子线】判断锤子线函数trader_cdlhammer的应用

在蜡烛图技术中，锤子线是一个有效的指标，能预测趋势的反转，详情见锤子线。通过肉眼去观察锤子线不仅费力而且容易出现主观因素导致的错误，php中的trader扩展中的trader_cdlhammer就能判断当前是否是锤子线。使用方法trader_cdlhammer ( array  , array  , array  , array  ) : array$open 指的是开盘价数组$high 指定是最高价数组$low 指的是最低价数组$close 指的是收盘价

2020年11月19日股市涨跌预测

上一篇预测股市涨跌的翻车了！毕竟概率在这儿，70%-80%的的概率毕竟不能保证一定是正确的。今天沪深300指数上午上涨，下午开始下跌，最终收跌-0.06%，感觉还好！今天晚上用之前训练好的模型去预测，结果看起来还比较乐观，如图：虽然模型也没能给出明确的涨还是跌，但看起来涨的概率还是比跌的概率稍微大一点点。此外，从我个人的主观感觉来看，明天沪深300上涨的概率也比较大，毕竟前值是下跌的趋势，而最近几天基本跌不下去了。模型说明简单说一下模型里面的数字都是什么意思吧。这些模型是根据过去2年的沪深300的波动特征训练得到的模型，上面的精准度代表预测正确的次数/总次数，比如model_6，精准度为0.7

股市涨跌的秘密

娱乐之作，大家见笑。^ - ^本文利用神经网络对股市的预测结果作为分析的对象，打开神经网络的黑箱，找到股市中涨跌的秘密。量价特征想要预测股市涨跌，就需要了解在股票上涨和下跌的时候，前一天发生了什么。就好像我们想要预测明天天气的时候，总会想尽办法找到过去几十年甚至几百年下雨的前一段时间都有哪些征兆。预测股票也一样，我们需要想尽一切办法找到某只股票过去几年里面价格上涨的前一天都有哪些特征，越全面越好。找特征不是一件简单的事情，有效的特征可以为我们增加预测的精准度，而无效的特征会对训练造成干扰。首先从最简单的量价特征开始，即今天的股票的价格变化和交易量变化。为什么是这两个特征？我的理论依据是市场所有

【十字星】判断十字星线函数trader_cdldojistar的应用

在蜡烛图中，十字形线是一个反转信号，用来判断当前的趋势是否终止。trader扩展中的函数trader_cdldojistar就是一个查找十字星线的函数。使用方法trader_cdldojistar ( array  , array  , array  , array  ) : array返回的结果是一个数组，值有-100，100和0。-100表示这是一个底部十字星，100表示这是一个顶部十字星。0表示这不是一个十字星线。以沪深300最近2年的数据来举例，使

Linux信号列表

我们运行如下命令，可看到Linux支持的信号列表：列表中，编号为1 ~ 31的信号为传统UNIX支持的信号，是不可靠信号(非实时的)，编号为32 ~ 63的信号是后来扩充的，称做可靠信号(实时信号)。不可靠信号和可靠信号的区别在于前者不支持排队，可能会造成信号丢失，而后者不会。下面我们对编号小于SIGRTMIN的信号进行讨论。1) SIGHUP本信号在用户终端连接(正常或非正常)结束时发出, 通常是在终端的控制进程结束时, 通知同一session内的各个作业, 这时它们与控制终端不再关联。登录linux时，系统会分配给登录用户一个终端(Session)。在这个终端运行的所有程序，包括前台进程组

查看varnish统计信息命令：varnishstat

varnishstat是一个查看当前varnish实例的实时运行状态信息。命令以及参数如下：

varnishstat [-1] [-f <glob>] [-h] [-j] [-l] [-n <dir>] [-N <filename>] [-t <seconds | off>] [-V ] [-X]

以下选项可用：

-1 不再显示不断更新的显示，而是将统计信息打印到stdout。
-f <glob> Field inclusion glob. Use backslash to escape characters. If the argument starts with '^' it is used as an exclusion glob. Multiple -f arguments may be given, and they will be applied in order.
-h 显示帮助信息
-j 统计信息为JSON格式输出到stdout。
-l 列出与-f选项一起使用的可用字段。
-n <dir> 指定varnishd工作目录（也称为实例名称）以获取日志。如果未指定-n，则使用主机名。
-N <filename> 指定一个陈旧的VSM实例的文件名。使用此选项时，放弃检查被禁用。
-t <seconds|off>
在初始VSM连接返回错误之前超时。如果设置VSM连接在0.5秒钟内重试这段时间。如果为零，则仅尝试连接一次，如果不成功，将立即失败。如果设置为“关闭”，连接将不会失败，允许该实用程序启动并等待不明确地显示该Varnish实例。默认为5秒。
-V 打印版本信息
-x 输出xml格式到stdout

在服务端使用varnishstat命令之后，会出现如下输出，并且每秒刷新一次。 （更多…）

你可能还喜欢下面这些文章

使用sublime+platuml高效画图

程序员难免要经常画流程图，状态图，时序图等。以前经常用 visio 画，经常为矩形画多大，摆放在哪等问题费脑筋。有时候修改文字后，为了较好的显示效果不得不再去修改图形。今天介绍的工具是如何使用 Sublime + PlantUML 的插件画流程图，状态图，时序图等。这是一种程序员看了就会爱上的画图方式：自然，高效。什么是 PlantUMLPlantUML 是一个画图脚本语言，用它可以快速地画出：时序图流程图用例图状态图组件图简单地讲，我们使用 visio 画图时需要一个一个图去画，但使用 PlantUML 只需要用文字表达出图的内容，然后就可以直接生成图片。看一个最简单的例子：软件安装这些软件

gcc/g++编译参数详解

编译步骤gcc 与 g++ 分别是 gnu 的 c & c++ 编译器。gcc/g++ 在执行编译工作的时候，总共需要4步：预处理,生成 .i 的文件将预处理后的文件转换成汇编语言, 生成文件 .s 有汇编变为目标代码(机器代码)生成 .o 的文件连接目标代码, 生成可执行程序 参数详解-x language filename参数含义为指定文件所使用的语言。根据约定，C语言的后缀名称为".c"，而 C++ 的后缀名为".cpp"或".cc"，但如果你的源代码后缀不约定的那几种，那么需要使用-x参数来指定文件所使用的语言。这个参数对他后面的文件名都起作用。 可以使用的参数吗有下面的这些：

C++动态内存管理

C++中，动态内存管理是通过一对运算符来完成：new 和 delete。new操作符在内存中为对象分配空间并返回一个指向该对象的指针，delete接收一个动态对象的指针，销毁该对象，并释放与之相关的内存。手动管理内存看起来只有这两个操作，似乎很轻松，但实际上这是一件非常繁琐的事情，分配了内存但没有释放内存的场景发生的概率太大了！回想一下，你有多少次打开抽屉却没关上，拿出来的护肤品擦完脸之后却忘了放回去，吃完饭却忘了洗碗。类似这种没有收尾的事情我做的太多了。（以上这些都是在实际生活中我爱人批评我的点）我连这种明面上的事情都能忘记收尾，何况分配内存！所以为了世界和平，我放弃了手动管理内存。好在C+

wordpress慢了，来用memcache和cdn加速一下吧

我用的vps，用了wordpress之后速度慢了不少，内存，cpu，涨的都厉害，很直观。于是，写插件吧，虽然wordpress的插件很多，缓存插件也不少，但满足我的需求的却是没有。我要的是这样的1.使用memcache缓存整个页面。（memcache可压缩缓存，并且我的页面并不多，因此占用并不大）2.在入口处就加载并且使用缓存（仅仅加载一个我预定义的缓存读取php文件，io极少，速度极快）需求很少，因为是特定的需求，十分简单，我要的就是整个页面都跑在内存中！写插件吧......几天之后，一个插件完成了。hccache缓存插件加速后台菜单是酱紫的hccache菜单点开之后是酱紫的能够定义缓存过期

wordpress支撑百万文章解决方案

作为一个博客系统，wordpress在易用性和可扩展性上都非常出色。后题用户体验是非友好，插件众多。然而由于定位的问题，wordpress无法支撑大量文章。当文章数量达到上万的时候，有些主题的前台可能会非常卡。当文章数量达到数十万的时候，wordpress后台可能会特别卡。更何况大部分插件并没有在性能上下功夫，插件越多，wordpress越卡。那么有没有什么方案能让wordpress支撑大量文章？十万，百万，甚至更多？支撑百万数据并不是存入一百万文章就可以了。实际上百万文章对mysql来说毫无压力。在mysql中，百万文章仅仅是百万条记录而已。导致缓慢的是mysql的查询。对于百万条记录的数据

ftp命令大全详解

来熟悉熟悉ftp命令，对于服务器之间的文件传输太有用啦，不会怎么能行呢！先来看看基础的命令，包括了连接，列出列表，下载，上传，断开这最基础的命令，会这些，在使用ftp命令行就毫无压力啦！1. 连接ftp服务器格式：ftp a)在linux命令行下输入：b)服务器询问你用户名和密码，分别输入用户名和相应密码，待认证通过即可。2.列出文件列表以及切换目录这部分其实和linux并无区别，分别是ls，和cd列出目录列表切换当前目录3. 下载文件下载文件通常用get和mget这两条命令。a) get格式：get 将文件从远端主机中传送至本地主机中。如要获取远程服务器上/usr/your/1.htm，则

布隆过滤器(bloom filter)介绍以及php和redis实现布隆过滤器实现方法

引言在介绍布隆过滤器之前我们首先引入几个场景。场景一在一个高并发的计数系统中，如果一个key没有计数，此时我们应该返回0。但是访问的key不存在，相当于每次访问缓存都不起作用了。那么如何避免频繁访问数量为0的key而导致的缓存被击穿？有人说， 将这个key的值置为0存入缓存不就行了吗？这是确实是一种解决方案。当访问一个不存在的key的时候，设置一个带有过期时间的标志，然后放入缓存。不过这样做的缺点也很明显：浪费内存和无法抵御随机key攻击。场景二在一个黑名单系统中，我们需要设置很多黑名单内容。比如一个邮件系统，我们需要设置黑名单用户，当判断垃圾邮件的时候，要怎么去做。比如爬虫系统，我们要记录下

varnish的基本工作原理

Varnish是一个HTPP反向代理缓存，它接受来自客户端的请求并试图从缓存中取出相应的数据来应答，如果缓存中并没有相应的数据，它将会把请求指向后端机器，获取并且储存响应的数据，之后再交付给用户。当varnish有缓存的时候响应通常只需要几微秒的时间，比直接访问后端机器通常要快两个数量级，所以要做的就是尽可能的将页面缓存到varnish中。varnish可以根据后端响应的内容来决定是否储存，在响应头中加入cache-control将会被varnish缓存。使用cookie可以让varnish不缓存。这些都是可以在一个vcl的配置文件（ Varnish Configuration Languag

linux命令：ls用法，列出文件及目录

原标题:每天一个linux命令(1)：ls命令ls 命令是linux下最常用的命令。ls命令就是list的缩写缺省下ls用来打印出当前目录的清单，如果ls指定其他目录那么就会显示指定目录里的文 件及文件夹清单。 通过ls 命令不仅可以查看linux文件夹包含的文件而且可以查看文件权限(包括目录、文件夹、文件权限)，查看目录信息等等。ls 命令在日常的linux操作中用的很多!ls命令格式ls  命令功能列出目标目录中所有的子目录和文件。常用参数-a, –all 列出目录下的所有文件，包括以 . 开头的隐含文件-A 同-a，但不列出“.”(表示当前目录)和“..”(表示当前目录的父目录)。

memcacheq的安装与使用

1、安装libevent官网：http://www.libevent.org/2、安装 BerkeleyDB官网：http://www.oracle.com/technetwork/products/berkeleydb/downloads/index.html（下载需要登录）安装：安装完成之后：或者：添加：并执行：3、安装 MemcacheQ官网：http://memcachedb.org/memcacheq/测试是否安装成功：4、启动服务建立相关目录：启动服务：参数说明：-d : 以后台服务方式运行-l : 设置监听地址及端口（默认是22201）-A : 数据页大小-H : 数据保存目录-

Redis持久化

在一个高并发，但是数据量不大的系统中，使用Redis做数据库再好不过，结合Swoole，只需要很少的机器就能抗住很大的量。

Redis大多数的应用可能都是当做缓存，当作为一个数据库用的时候，就必须要考虑持久化的问题了。持久化的意思就是将内存中的数据写到磁盘中，当再次重启之后，数据可以从磁盘中进行恢复，不会丢失。Redis持久化有两个策略，一个是RDB快照，一个AOF日志，不管是什么策略，最终的目的都是将数据保存在磁盘上，并不高深。只需要耐心的看看这两种策略，就能明白了。

RDB快照

从名字上我们就能知道这是RedisDB的缩写了，Redis快照是这样生成的，到了需要生成快照的时候，通过fork当前进程，子进程中会继承父进程中所有的数据，子进程再循环这些数据，写入到磁盘中。

Redis的RDB文件不会坏掉，因为其写操作是在一个新进程中进行的，当生成一个新的RDB文件时，Redis生成的子进程会先将数据写到一个临时文件中，然后通过原子性rename系统调用将临时文件重命名为RDB文件，这样在任何时候出现故障，Redis的RDB文件都总是可用的。 （更多…）

你可能还喜欢下面这些文章

MongoDB写入安全级别

写入安全（Write Concern）是一种由客户端设置的，用于控制写入安全级别的机制，通过使用写入安全机制可以提高数据的可靠性。MongoDB提供四种写入级别，分别是： （Unacknowledged）非确认式写入 （Acknowledged）确认式写入 （Journaled）日志写入 （Replica Acknowledged）复制集确认式写入1. 非确认式写入2. 确认式写入 3. journal日志写入64位机器上，MongoDB 2.0以上版本默认情况下是开启journaljournal文件位于journal目录中，只能以追加方式添加数据，文件名以j._开头数据库正

Go入门：六、常用标准库

这是我的Go学习的第六篇笔记，也是Go入门的最后一篇笔记。在大多数语言中，了解了变量和数据类型，流程控制，函数，面向对象，再加上标准库，就可以用这门语言去写一些项目了。首先让我想想，在工作中通常会用语言频繁处理什么问题或者处理什么数据？最常见的应该是各种字符串操作，日期和时间，读写文件、socket等IO相关的操作！字符串处理 — StringsString提供了一组处理字符串的操作，常用的有：判断一个字符串是否在另一个字符串中分割字符串为[]string和组合[]string为一个字符串字符串替换...太多了，就不一一列举了，这里列出一些常用的字符串操作。字符串判断字符串分割与合并字符串转换

gcc/g++编译参数详解

编译步骤gcc 与 g++ 分别是 gnu 的 c & c++ 编译器。gcc/g++ 在执行编译工作的时候，总共需要4步：预处理,生成 .i 的文件将预处理后的文件转换成汇编语言, 生成文件 .s 有汇编变为目标代码(机器代码)生成 .o 的文件连接目标代码, 生成可执行程序 参数详解-x language filename参数含义为指定文件所使用的语言。根据约定，C语言的后缀名称为".c"，而 C++ 的后缀名为".cpp"或".cc"，但如果你的源代码后缀不约定的那几种，那么需要使用-x参数来指定文件所使用的语言。这个参数对他后面的文件名都起作用。 可以使用的参数吗有下面的这些：

iterm2 使用 rz、sz 的方法

如果没有额外的设置，iterm2 使用 rzsz 的时候会卡在这个时候就需要使用iterm2提供的trigger来实现rzsz的功能。第一步：本机安装rzsz使用rzsz之前本地也需要安装如果没有安装brew，请先安装brew，mac必备的包管理器！第二步：创建发送和接收脚本发送文件的脚本如下，可以复制下面的内容，保存在 /usr/local/bin/iterm2-send-zmodem.sh中。接收文件的脚本如下，同样可以复制保存在/usr/local/bin/iterm2-recv-zmodem.sh第三步：设置Triggerteigger需要设置两个，一个实发送文件的trigger，一个

linux文件描述符介绍

文件描述符是什么文件描述符在形式上是一个非负整数。实际上，它是一个索引值，指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时，内核向进程返回一个文件描述符。在程序设计中，一些涉及底层的程序编写往往会围绕着文件描述符展开。但是文件描述符这一概念往往只适用于UNIX、Linux这样的操作系统。习惯上，标准输入（standard input）的文件描述符是 0，标准输出（standard output）是 1，标准错误（standard error）是 2。尽管这种习惯并非Unix内核的特性，但是因为一些 shell 和很多应用程序都使用这种习惯，因此，如

linux命令：ls用法，列出文件及目录

原标题:每天一个linux命令(1)：ls命令ls 命令是linux下最常用的命令。ls命令就是list的缩写缺省下ls用来打印出当前目录的清单，如果ls指定其他目录那么就会显示指定目录里的文 件及文件夹清单。 通过ls 命令不仅可以查看linux文件夹包含的文件而且可以查看文件权限(包括目录、文件夹、文件权限)，查看目录信息等等。ls 命令在日常的linux操作中用的很多!ls命令格式ls  命令功能列出目标目录中所有的子目录和文件。常用参数-a, –all 列出目录下的所有文件，包括以 . 开头的隐含文件-A 同-a，但不列出“.”(表示当前目录)和“..”(表示当前目录的父目录)。

ftp命令大全详解

来熟悉熟悉ftp命令，对于服务器之间的文件传输太有用啦，不会怎么能行呢！先来看看基础的命令，包括了连接，列出列表，下载，上传，断开这最基础的命令，会这些，在使用ftp命令行就毫无压力啦！1. 连接ftp服务器格式：ftp a)在linux命令行下输入：b)服务器询问你用户名和密码，分别输入用户名和相应密码，待认证通过即可。2.列出文件列表以及切换目录这部分其实和linux并无区别，分别是ls，和cd列出目录列表切换当前目录3. 下载文件下载文件通常用get和mget这两条命令。a) get格式：get 将文件从远端主机中传送至本地主机中。如要获取远程服务器上/usr/your/1.htm，则

布隆过滤器(bloom filter)介绍以及php和redis实现布隆过滤器实现方法

引言在介绍布隆过滤器之前我们首先引入几个场景。场景一在一个高并发的计数系统中，如果一个key没有计数，此时我们应该返回0。但是访问的key不存在，相当于每次访问缓存都不起作用了。那么如何避免频繁访问数量为0的key而导致的缓存被击穿？有人说， 将这个key的值置为0存入缓存不就行了吗？这是确实是一种解决方案。当访问一个不存在的key的时候，设置一个带有过期时间的标志，然后放入缓存。不过这样做的缺点也很明显：浪费内存和无法抵御随机key攻击。场景二在一个黑名单系统中，我们需要设置很多黑名单内容。比如一个邮件系统，我们需要设置黑名单用户，当判断垃圾邮件的时候，要怎么去做。比如爬虫系统，我们要记录下

mac下面查看端口占用进程情况

在linux下面有netstat可以查看指定端口被哪些进程占用，但是mac下面就不好用了，看不到进程号。mac下面可以使用lsof来查看端口被哪个进程占用，比如查看80端口被占用情况：lsof -i tcp:80lsof是列出打开的文件命令，更多的用法可以参考： https://linuxtools-rst.readthedocs.io/zh_CN/latest/tool/lsof.html原文如下：lsof（list open files）是一个查看当前系统文件的工具。在linux环境下，任何事物都以文件的形式存在，通过文件不仅仅可以访问常规数据，还可以访问网络连接和硬件。如传输控制协议 (

MySQL开启慢查询日志以及慢查询日志分析

mysql满查询有助于让我们发现系统中瓶颈所在。开启方法默认情况满查询应该关闭，如果需要分析则需要手动开启。mysql> show variables like '%slow_query_log%'; +---------------------+--------------------------------------+ | Variable_name | Value | +---------------------+--------------------------------------+ | slow_

Linux信号列表

我们运行如下命令，可看到Linux支持的信号列表：

$ kill -l
1) SIGHUP       2) SIGINT       3) SIGQUIT      4) SIGILL
 5) SIGTRAP      6) SIGABRT      7) SIGBUS       8) SIGFPE
 9) SIGKILL     10) SIGUSR1     11) SIGSEGV     12) SIGUSR2
13) SIGPIPE     14) SIGALRM     15) SIGTERM     17) SIGCHLD
18) SIGCONT     19) SIGSTOP     20) SIGTSTP     21) SIGTTIN
22) SIGTTOU     23) SIGURG      24) SIGXCPU     25) SIGXFSZ
26) SIGVTALRM   27) SIGPROF     28) SIGWINCH    29) SIGIO
30) SIGPWR      31) SIGSYS      34) SIGRTMIN    35) SIGRTMIN+1
36) SIGRTMIN+2  37) SIGRTMIN+3  38) SIGRTMIN+4  39) SIGRTMIN+5
40) SIGRTMIN+6  41) SIGRTMIN+7  42) SIGRTMIN+8  43) SIGRTMIN+9
44) SIGRTMIN+10 45) SIGRTMIN+11 46) SIGRTMIN+12 47) SIGRTMIN+13
48) SIGRTMIN+14 49) SIGRTMIN+15 50) SIGRTMAX-14 51) SIGRTMAX-13
52) SIGRTMAX-12 53) SIGRTMAX-11 54) SIGRTMAX-10 55) SIGRTMAX-9
56) SIGRTMAX-8  57) SIGRTMAX-7  58) SIGRTMAX-6  59) SIGRTMAX-5
60) SIGRTMAX-4  61) SIGRTMAX-3  62) SIGRTMAX-2  63) SIGRTMAX-1
64) SIGRTMAX

列表中，编号为1 ~ 31的信号为传统UNIX支持的信号，是不可靠信号(非实时的)，编号为32 ~ 63的信号是后来扩充的，称做可靠信号(实时信号)。不可靠信号和可靠信号的区别在于前者不支持排队，可能会造成信号丢失，而后者不会。

下面我们对编号小于SIGRTMIN的信号进行讨论。 （更多…）

你可能还喜欢下面这些文章

守护进程介绍

1．守护进程概述守护进程，也就是通常所说的daemon进程，是Linux中的后台服务进程。它是一个生存期较长的进程，通常独立于控制终端并且周期性地 执行某种任务或等待处理某些发生的事件。守护进程常常在系统引导载入时启动，在系统关闭时终止。Linux有很多系统服务，大多数服务都是通过守护进程实 现的。同时，守护进程还能完成许多系统任务，例如，作业规划进程crond、打印进程lqd等（这里的结尾字母d就是daemon的意思）。由于在Linux中，每一个系统与用户进行交流的界面称为终端，每一个从此终端开始运行的进程都会依附于这个终端，这个终端称为这些进程的 控制终端，当控制终端被关闭时，相应的进程都

php多进程编程：第一次fork

工作原因，要用到php多进程，于是粗略的了解一下，完成之后把过程记录下来，整理成教程，希望对学习php多进程编程的程序员有所帮助。前言使用php cli的时候，我们在终端会这样运行一个hello.php程序，这样linux会为我们创建一个进程。不考虑 nohup ，在一个终端，我们以cli方式运行的php程序也只能有这一个进程。一个进程处理的任务必定是有限的，在系统资源空闲那么多的情况下，为什么不使用多进程来提高效率呢？不过php多进程需要安装pcntl和posix扩展（windows不支持）fork，创建子进程创建子进程的方法就是fork，在php里面，这个函数是pcntl_fork()pc

用php编写守护进程

在此之前，需要知道守护进程这个概念，知道之后，才可以用php来编写守护进程。那么创建守护进程需要有下面这几个步骤。1.创建子进程，父进程退出父进程先与子进程退出，子进程则会被1号进程收养，这个子进程就会成为init的子进程php使用pcntl_fork()来创建子进程。pcntl_fork()返回一个整型值，在父进程里面返回的是子进程的id，子进程返回的是0，失败则返回-1。这样我们就可以根据这个来分别控制父进程和子进程执行任务。2.子进程创建会话这个是重要的一步，在这一步中该子进程会做这些事情：1.让进程摆脱原会话的控制；2.让进程摆脱员进程组的控制；3.让进程摆脱终端的控制。为什么要这样？

signal函数详解

signal作用是为信号注册一个处理器。这里的“信号”是软中断信号，这种信号来源主要有三种：程序错误：比如除0，非法内存访问。外部信号：终端Ctrl-C产生的SIGINT信号，定时器产生的SIGALERM。显示请求：kill函数发送的任意信号。当kill一个进程的时候，默认会发送SIGTERM信号，此时这个信号只有默认处理操作（SIG_DFL），直接中断进程执行。如果此时该进程正在执行一个任务，直接终止该进程会导致任务没有完成。这个时候为SIGTERM信号注册一个信号处理函数就十分有必要。介绍参数sig要设置信号处理函数的信号。它可以是实现定义值或下例值之一：SIGABRTSIGFPESIGI

php-fpm与fastcgi之间的关系

php-fpm与fastcgi名词解释php-fpm 全称为php fastcgi progress manager （php fastcgi 进程管理器）FastCGI全称为fast common gateway interface （Fast 通用网关接口）FastCGI是一种协议Fastcgi是CGI的升级版，一种语言无关的协议，用来沟通程序(如PHP, Python, Java)和Web服务器(Apache2, Nginx), 理论上任何语言编写的程序都可以通过Fastcgi来提供Web服务。Fastcgi的特点是会在一个进程中依次完成多个请求，以达到提高效率的目的，大多数Fastcg

解决Mac ReportCrash进程占用大量CPU的问题

今天电脑风扇一直呼呼转，发烫利害。于是看看到底哪个进程占用了大量cpu，top查看发现ReportCrash占用了大量CPU，直接kill之后还是会拉起。于是从网上查看如何关闭这个进程，方法如下：打开终端，执行下面命令launchctl unload -w /System/Library/LaunchAgents/com.apple.ReportCrash.plistsudo launchctl unload -w /System/Library/LaunchDaemons/com.apple.ReportCrash.Root.plist如果后续要打开，可以在终端执行如下命令：launchct

CGI与FastCGI是什么

当我们在谈到cgi的时候，我们在讨论什么最早的Web服务器简单地响应浏览器发来的HTTP请求，并将存储在服务器上的HTML文件返回给浏览器，也就是静态html。事物总是不 断发展，网站也越来越复杂，所以出现动态技术。但是服务器并不能直接运行 php，asp这样的文件，自己不能做，外包给别人吧，但是要与第三做个约定，我给你什么，然后你给我什么，就是握把请求参数发送给你，然后我接收你的处 理结果给客户端。那这个约定就是 common gateway interface，简称cgi。这个协议可以用vb，c，php，python 来实现。cgi只是接口协议，根本不是什么语言。下面图可以看到流程WEB服

GDB入门：使用bt查看程序出core的调用栈

当程序崩溃的时候，会产生一个core文件。我们可以称它为进程死亡现场。排查进程死亡就和破案一样，找到案发现场，仔细排查每个细节，抽丝剥茧，最终定位原因。很幸运我们有一个强大的工具调查现场信息。这个工具就是GDB。下面我们就来看看如何用GDB排查问题。首先以一个越界访问数组的程序为例，如下：#include #include void core() { std::vector<int> a; std::cout << a;}int main() { core(); return 0;}执行上面的代码将会产生一个core文件。假设我们的core文件为

mac下面查看端口占用进程情况

在linux下面有netstat可以查看指定端口被哪些进程占用，但是mac下面就不好用了，看不到进程号。mac下面可以使用lsof来查看端口被哪个进程占用，比如查看80端口被占用情况：lsof -i tcp:80lsof是列出打开的文件命令，更多的用法可以参考： https://linuxtools-rst.readthedocs.io/zh_CN/latest/tool/lsof.html原文如下：lsof（list open files）是一个查看当前系统文件的工具。在linux环境下，任何事物都以文件的形式存在，通过文件不仅仅可以访问常规数据，还可以访问网络连接和硬件。如传输控制协议 (

linux文件描述符介绍

文件描述符是什么文件描述符在形式上是一个非负整数。实际上，它是一个索引值，指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时，内核向进程返回一个文件描述符。在程序设计中，一些涉及底层的程序编写往往会围绕着文件描述符展开。但是文件描述符这一概念往往只适用于UNIX、Linux这样的操作系统。习惯上，标准输入（standard input）的文件描述符是 0，标准输出（standard output）是 1，标准错误（standard error）是 2。尽管这种习惯并非Unix内核的特性，但是因为一些 shell 和很多应用程序都使用这种习惯，因此，如

Sublime 自定义快捷键

sublime插件丰富，当我们安装了诸多插件之后，发现要使用其中的功能还得用鼠标去点，这岂不是太麻烦了，让我们来自定义快捷键吧！

写在前面

在写这篇文章之前，我也为自定义快捷键感到无从下手，而在网上搜索千篇一律的都是打开Preferences->key bindings user,添加一些东西进去，比如等等，这个command是什么玩意？

比如下面

{ "keys": ["ctrl+alt+down"], "command":"duplicate_line" },

等等，这个command是什么？我要去哪儿找？我安装了一个新的插件，能使用快捷键吗？等等一系列的疑问，从未有人解答过，可能一些文章都是抄袭拼凑吧。

如何查找Commands

比如我安装了一个php code sniffer，想要使用一个快捷键来对代码进行检测，然而这个command是什么？看来只能去查看官方文档。 （更多…）

你可能还喜欢下面这些文章

sublime text自定义快捷键的方法

sublime text如何定义快捷键呢？下面来给出方法sublime text2和sublime text3自定义快捷键的方法是一样的。打开Preferrences -> Key Bindings-User  这个就是用户自定义快捷键的配置文件了。可以参照  Preferrences -> Key Bindings-Default 这个系统默认的快捷键配置，里面就是一个大大的json啦。不懂json？那不行，必须得学！keys对应的就是快捷键啦，而command对应的就是sublime的命令。如果想要修改快捷键，直接修改对应的keys里面的快捷键就可以啦。如何查看command请

让sublime支持c/c++语言的编译

sublime只是一个编辑器，让sublime支持c或者c++则是通过设定sublime快捷键调用相关的命令，达到编辑和执行c代码的目的。首先需要下载一个c语言的编译器，对于 Windows 和 Linux 来说可以采用 gcc 。For Windows:下载安装MinGW，然后在系统环境变量中添加（假设你把 MinGW安装在 C 盘），你安装到哪个路径就写哪个路径，别傻乎乎的直接复制啦，不然没用哦。验证一下是否成功。win+r（win就是徽标），输入cmd，打开cmd窗口之后输入gcc -v看看，如果有gcc的信息说明成功了，如果显示gcc不是内部或外部命令，也不是可运行的程序那就是环境变量

sublime安装package control，让插件安装更简单

package control是什么东东？sublime要如何安装package control呢？且往下看。package control就是sublime的插件管理中心，你可以通过这个东西来安装，更新或者卸载插件。插件能够增强sublime的功能，这个就不废话了安装package control1.使用快捷键 Ctrl+` (这个就是键盘Esc下面的那个), 打开sublime的控制台（这个控制台可以输入并且执行python代码）sublime text3sublime text2手动安装可能由于各种原因，无法使用代码安装，那可以通过以下步骤手动安装Package Control： 点击

sublime安装插件的方法

sublime安装插件非常简单。主要方式有两种1.直接安装打开菜单栏里的“Preferences”--->"Browse Packages"，打开包的位置 2.通过Package Control来安装如果没有安装package control，那么可以查看这篇文章：sublime安装package control，让插件安装更简单已经安装package control的，点击菜单栏的“Preferences”-->"Package Control",或者可以使用快捷键ctrl+shift+p 打开（mac使用cmd+shift+p）。在打开的终端窗口，输入“install

php开发者的sublime插件和配置

作为一个php开发者，换工作环境的时候可能会重新配置编辑器，这里给出一个比较好的环境（也是我的常用环境）。配置篇每家公司都会有内部的规范，但是只要公司不是特别奇葩，那么规范一般是大同小异。根据规范来设定编辑器，那么写出来的代码则很容易符合规范了。此外，一个设置好的编辑器能够大大提高编码效率！下面是我的配置，可以根据注释自行调整{ // 粗体文本 "bold_folder_labels": true, // 显示所有的空白字符，这样可以看出空格和tab "draw_white_space": "all", // 设置字体 "font_size": 15,

sublime merge和diff的插件sublimemerge pro

一直使用的是beyond compare这个软件来作为比对和合并工具，不可否认，在用git的时候，配置这款工具比对确实很省事。现在我在用sublime写代码，在写的过程中可能涉及到和以前的代码版本做比对，这个时候还要打开这个软件那可不是我想要干的，插件众多的sublime我想这个比对插件肯定是有的吧，于是就找到了sublimemerge pro这款插件。直接 ctrl + alt + p 输入install package...，搜索sublimemerge，安装即可。如果对安装方法不清楚可以查看sublime安装插件的教程。安装之后会有一个readme，里面介绍了用法，如下  In file

让sublime支持less css，以及支持压缩css的less插件

要想让sublime支持less，不仅仅是装个sublime插件就完事了啊！事情的经过还是颇为曲折的。第一步：安装nodejs首先先配置一下环境，less需要nodejs支持，所以我们先要安装一下nodejs。到nodejs官网下载就可以了：https://nodejs.org/en/ 第二步：安装less插件由于我的是windows，所以打开cmd啦，用npm安装less，命令为：npm install -g less@latest等待一会儿，结果就如图啦：这里我们的less就安装完毕了。第三步：安装sublime的less2cssctrl+shift+p调出面板，输入install pac

sublime优秀插件推荐

最佳的Sublime Text 插件朋友们你们好！我尝试着收集了最佳的ST插件，这些插件真的会改善你的工作流程。我搜索了很多网站，下面是我的成果。WebInspector在 JavaScript调试方面，这是一个令人惊讶的工具，Sublime上的完整的代码检查工具。功能：使用绝对路径储存在用户设置中的项目断点，控制台，分步和断点调试器，栈追踪。这些都能够很棒的工作！而且Mozilla还提供了一个插件Fireplay让你连接到Firefox 开发工具和最简单的调试器JSHintEmmet编辑器中最流行的插件之一。Emmet，前身Zen Coding也是web开发者提高生产力最有效的方法之一。按下

使用sublime+platuml高效画图

程序员难免要经常画流程图，状态图，时序图等。以前经常用 visio 画，经常为矩形画多大，摆放在哪等问题费脑筋。有时候修改文字后，为了较好的显示效果不得不再去修改图形。今天介绍的工具是如何使用 Sublime + PlantUML 的插件画流程图，状态图，时序图等。这是一种程序员看了就会爱上的画图方式：自然，高效。什么是 PlantUMLPlantUML 是一个画图脚本语言，用它可以快速地画出：时序图流程图用例图状态图组件图简单地讲，我们使用 visio 画图时需要一个一个图去画，但使用 PlantUML 只需要用文字表达出图的内容，然后就可以直接生成图片。看一个最简单的例子：软件安装这些软件

iterm2 使用 rz、sz 的方法

如果没有额外的设置，iterm2 使用 rzsz 的时候会卡在这个时候就需要使用iterm2提供的trigger来实现rzsz的功能。第一步：本机安装rzsz使用rzsz之前本地也需要安装如果没有安装brew，请先安装brew，mac必备的包管理器！第二步：创建发送和接收脚本发送文件的脚本如下，可以复制下面的内容，保存在 /usr/local/bin/iterm2-send-zmodem.sh中。接收文件的脚本如下，同样可以复制保存在/usr/local/bin/iterm2-recv-zmodem.sh第三步：设置Triggerteigger需要设置两个，一个实发送文件的trigger，一个

股票获取接口

最近开始研究股票了，自己一个一个的去看，几千支股票完全看不过来啊，想着自己写一个程序，让程序来看股票吧！

股票接口

首先我们需要得到所有的股票代码，好在已经有网页帮我们列出了所有的股票名称和代码，地址是：

http://quote.eastmoney.com/stocklist.html

通过这个页面，就可以抓取了。抓取之后我们就可以存入mysql中，每一个股票可以存一张表，而每一张表中则可以存入股票的动态数据。

这里我们只能获取到一些最简单的数据，一些更加详细的数据还需要获取，这里需要使用一个腾讯财经的接口 （更多…）

你可能还喜欢下面这些文章

centos7系统初初始化工作以及网站环境搭建(php7+nginx+mysql)

拿到一台做网站的主机, 我们先要做一些环境初始化的工作, 由于这些工作会有些繁琐,因此记录一下. 后面将这些流程写成一个shell脚本,一次性完成.此次工作流程如下: 安全性设置 额外的目录创建 网站环境搭建安全性设置一般从某云上买的主机, 默认账户是root, 为了不被暴力破解, 我们首先需要设置一个强一点的密码,不过更好的方法是禁用root, 另外创建一个用户来作为日常管理的账户.第一步: 创建一个新的账户,并且能够切换到root权限比如我的用户名叫xiaobai, 添加用户名就是useradd xiaobai设置密码passwd xiaobai之后输入密码,一个新的账户就设定好了.

iterm2 使用 rz、sz 的方法

如果没有额外的设置，iterm2 使用 rzsz 的时候会卡在这个时候就需要使用iterm2提供的trigger来实现rzsz的功能。第一步：本机安装rzsz使用rzsz之前本地也需要安装如果没有安装brew，请先安装brew，mac必备的包管理器！第二步：创建发送和接收脚本发送文件的脚本如下，可以复制下面的内容，保存在 /usr/local/bin/iterm2-send-zmodem.sh中。接收文件的脚本如下，同样可以复制保存在/usr/local/bin/iterm2-recv-zmodem.sh第三步：设置Triggerteigger需要设置两个，一个实发送文件的trigger，一个

Redis持久化

在一个高并发，但是数据量不大的系统中，使用Redis做数据库再好不过，结合Swoole，只需要很少的机器就能抗住很大的量。Redis大多数的应用可能都是当做缓存，当作为一个数据库用的时候，就必须要考虑持久化的问题了。持久化的意思就是将内存中的数据写到磁盘中，当再次重启之后，数据可以从磁盘中进行恢复，不会丢失。Redis持久化有两个策略，一个是RDB快照，一个AOF日志，不管是什么策略，最终的目的都是将数据保存在磁盘上，并不高深。只需要耐心的看看这两种策略，就能明白了。RDB快照从名字上我们就能知道这是RedisDB的缩写了，Redis快照是这样生成的，到了需要生成快照的时候，通过fork当前进

并发任务分配问题

这是在工作中遇到的实际问题和解决过程。问题已经被抽象成并发任务的分配问题。问题如果有 n 组数据均分给 m 个处理器处理，那么每个处理器分到的数据是 。如果n组数据的类型有差异，其中有a组是一类数据，剩余 n-a 组是另一类数据。只有同类数据才能被一次性处理，那么该如何分配？这个问题在现实中是存在的。比如HTTP并发请求处理一些数据。数据被批量送来，但类型不一样。为了节省耗时，我们希望并发处理这些不同的数据。并发数是确定好的。现在需要计算每个请求处理的数量，以便我们能给每一个请求打包数据。求解n 组数据交给 m 个处理器处理，每个处理器最多分到 组数据，这是毫无疑问的。如果 n 组数据中有

布隆过滤器(bloom filter)介绍以及php和redis实现布隆过滤器实现方法

引言在介绍布隆过滤器之前我们首先引入几个场景。场景一在一个高并发的计数系统中，如果一个key没有计数，此时我们应该返回0。但是访问的key不存在，相当于每次访问缓存都不起作用了。那么如何避免频繁访问数量为0的key而导致的缓存被击穿？有人说， 将这个key的值置为0存入缓存不就行了吗？这是确实是一种解决方案。当访问一个不存在的key的时候，设置一个带有过期时间的标志，然后放入缓存。不过这样做的缺点也很明显：浪费内存和无法抵御随机key攻击。场景二在一个黑名单系统中，我们需要设置很多黑名单内容。比如一个邮件系统，我们需要设置黑名单用户，当判断垃圾邮件的时候，要怎么去做。比如爬虫系统，我们要记录下

从融资(融券)，融资买入（融券卖出）量，资融(融券)余额看多空博弈

股票市场，除了使用自有资金买卖之外，还可以使用融资和融券的方式去买卖股票。融资融资，表示用户看好这只股票，认为会上涨，不惜借钱买入股票，等待上涨之后卖出之后，偿还之前的借款。举个例子，比如股票10元1股，借10000元可以买入1000股，那么当股票按照期望上涨到11元之后，再卖出就能卖到11000，偿还10000之后盈利1000。融券融券，表示用户不看好这只股票，认为会下跌，不惜借股票卖出换钱，等股票下跌之后再买入相同的股票偿还。举个例子，比如股票10元1股，借1000股之后卖出，当股票按照预期下跌到9元的时候，再买入1000股，只需要花9000，偿还1000股之后，手中盈利1000元。多头和

股市涨跌的秘密

娱乐之作，大家见笑。^ - ^本文利用神经网络对股市的预测结果作为分析的对象，打开神经网络的黑箱，找到股市中涨跌的秘密。量价特征想要预测股市涨跌，就需要了解在股票上涨和下跌的时候，前一天发生了什么。就好像我们想要预测明天天气的时候，总会想尽办法找到过去几十年甚至几百年下雨的前一段时间都有哪些征兆。预测股票也一样，我们需要想尽一切办法找到某只股票过去几年里面价格上涨的前一天都有哪些特征，越全面越好。找特征不是一件简单的事情，有效的特征可以为我们增加预测的精准度，而无效的特征会对训练造成干扰。首先从最简单的量价特征开始，即今天的股票的价格变化和交易量变化。为什么是这两个特征？我的理论依据是市场所有

如何选择特征

特征工程是数据分析中最耗时间和精力的一部分工作，它不像算法和模型那样是确定的步骤，更多是工程上的经验和权衡。因此没有统一的方法。这里只是对一些常用的方法做一个总结。本文关注于特征选择部分。后面还有两篇会关注于特征表达和特征预处理。1. 特征的来源在做数据分析的时候，特征的来源一般有两块，一块是业务已经整理好各种特征数据，我们需要去找出适合我们问题需要的特征；另一块是我们从业务特征中自己去寻找高级数据特征。我们就针对这两部分来分别讨论。2.  选择合适的特征我们首先看当业务已经整理好各种特征数据时，我们如何去找出适合我们问题需要的特征，此时特征数可能成百上千，哪些才是我们需要的呢？第一

使用apidoc为你的项目编写api文档

在使用apidoc之前，我一直使用wiki来写文档，后来发现这种方式更新起来比较痛苦，时间一长甚至就忘记了更新了。一直在寻找能够使用注释直接生成文档的程序。某一天同事推荐了apidoc，发现这正是我想要的工具。apidoc原理apidoc的原理是扫描你的代码文件，提取出注释部分，根据一些规则生成相应的文档。默认的模板久很美观，十分适合作为api文档的生成器。目前apidoc支持的注释基本涵盖了大部分语言的风格了，c，java，php，js，python，perl，lua, Erlang...安装需要使用npm安装，如果没有安装npm，请先去https://www.npmjs.com/下载npm

基于信息熵原理分词的php实现

基于信息熵原理分词这个概念很早了，用php实现了个，一气呵成，代码自然是，反正我也没有二次检查，呵呵。不过耗费内存是真的，真的很消耗内存！写这个的好处就是我明白了很多东西...代码如下<?php/** * 基于信息熵的无词典分词*/class partword{        /**     * 词语最大长度    */    public $maxwordlen = 5;    /**     * 需要进行分词的文字    */    public $text;    /**     * 字符串长度    */    private $len;    /**     * 切分的单个文字

使用crontab+rsync备份你的站点

这是一篇记录站点备份的文章，通常站点需要每隔一周，甚至更短的时间进行备份，然而手工备份再下载下来这实在是麻烦，于是利用crontab和rsync进行站点备份，再利用我本地的树莓派定时拉取备份结果，想想还是挺完美的。

编写备份的shell

站点文件备份很简单，直接将站点打包压缩即可,但是想了想还是不把站点路径定义死，而是使用一个参数将站点路径传递进去，这样就能写一个通用的文件备份

#! /bin/bash
src='';
dest='';
while getopts 's:d:' OPT
do
 case $OPT in
 s) src=$OPTARG;;
 d) dest=$OPTARG;; 
 esac
done

if [ -z $src -o -z $dest ]; then

 echo "Usage: -s [source folder] -d [destination folder]";
 exit 1;
fi

if [ ! -d $src ]; then
 echo "backup directory $src not exists";
 exit 1;
fi

if [ ! -d $dest ]; then
 echo "destination directory $dest not exists";
 exit 1;
fi

cd $src
now=`date +%Y%m%d`
filename=${src#*/}
filename=${filename//\//-};
file=$dest'/'$filename'-'$now'.tar.gz';
tar -czf $file ./*

写完发现，这样写可能有些复杂了。还是写死了的好，多简单。这里备份一下我的git。

假设目录在/home/git下面，我需要被分到/home/backup/git下面，脚本如下。

#! /bin/bash
cd /home;
now=`date +%Y%m%d`;
tar -czf '/home/backup/git/git-'$now'.tar.gz' git

rsync同步文件

假设机器上面已经安装了rsync软件，没有安装的直接用包管理安装即可。

首先需要配置rsync的模块，rsync配置文件在/etc/rsyncd.conf,如果没有需要我们新建一个。配置文件如下

uid = root
gid = root
use chroot = no
max connection = 4
strict modes = yes
port = 873

[backup]
path = /home/backup
comment = back up files
ignore errors
read only = yes
list = no
auth users = huchao
secrets file = /etc/rsync.pass

建立密码文件 /etc/rsync.pass，密码文件的格式是 用户名:密码,比如下面的内容就是一个合法的密码文件格式

huchao:123456

为了安全，我们把权限改成600

chmod 600 /etc/rsync.pass

启动raync，加上daemon参数就可以了。

/usr/bin/rsync --daemon

另外，详细rsync参数配置参见：http://www.cnblogs.com/zhenhui/p/5715840.html

这里摘抄一段

全局参数

在文件中 [module] 之外的所有配置行都是全局参数。当然也可以在全局参数部分定义模块参数，这时该参数的值就是所有模块的默认值。

参数 说明 默认值
address 在独立运行时，用于指定的服务器运行的 IP 地址。由 xinetd 运行时将忽略此参数，使用命令行上的 –address 选项替代。 本地所有IP
port 指定 rsync 守护进程监听的端口号。 由 xinetd 运行时将忽略此参数，使用命令行上的–port 选项替代。 873
motd file 指定一个消息文件，当客户连接服务器时该文件的内容显示给客户。 无
pid file rsync 的守护进程将其 PID 写入指定的文件。 无
log file 指定 rsync 守护进程的日志文件，而不将日志发送给 syslog。 无
syslog facility 指定 rsync 发送日志消息给 syslog 时的消息级别。 daemon
socket options 指定自定义 TCP 选项。 无


模块参数

模块参数主要用于定义 rsync 服务器哪个目录要被同步。模块声明的格式必须为 [module] 形式，这个名字就是在 rsync 客户端看到的名字，类似于 Samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的。可以根据自己的需要，来指定多个模块，模块中可以定义以下参数：

a. 基本模块参数

参数 说明 默认值
path 指定当前模块在 rsync 服务器上的同步路径，该参数是必须指定的。 无
comment 给模块指定一个描述，该描述连同模块名在客户连接得到模块列表时显示给客户。 无

b. 模块控制参数

参数 说明 默认值
use chroot 若为 true，则 rsync 在传输文件之前首先 chroot 到 path 参数所指定的目录下。这样做的原因是实现额外的安全防护，但是缺点是需要 root 权限，并且不能备份指向 path 外部的符号连接所指向的目录文件。 true
uid 指定该模块以指定的 UID 传输文件。 nobody
gid 指定该模块以指定的 GID 传输文件。 nobody
max connections 指定该模块的最大并发连接数量以保护服务器，超过限制的连接请求将被告知随后再试。 0（没有限制）
lock file 指定支持 max connections 参数的锁文件。 /var/run/rsyncd.lock
list 指定当客户请求列出可以使用的模块列表时，该模块是否应该被列出。如果设置该选项为 false，可以创建隐藏的模块。 true
read only 指定是否允许客户上传文件。若为 true 则不允许上传；若为 false 并且服务器目录也具有读写权限则允许上传。 true
write only 指定是否允许客户下载文件。若为 true 则不允许下载；若为 false 并且服务器目录也具有读权限则允许下载。 false
ignore errors 指定在 rsync 服务器上运行 delete 操作时是否忽略 I/O 错误。一般来说 rsync 在出现 I/O 错误时将将跳过 –delete 操作，以防止因为暂时的资源不足或其它 I/O 错误导致的严重问题。 true
ignore nonreadable 指定 rysnc 服务器完全忽略那些用户没有访问权限的文件。这对于在需要备份的目录中有些不应该被备份者获得的文件时是有意义的。 false
timeout 该选项可以覆盖客户指定的 IP 超时时间。从而确保 rsync 服务器不会永远等待一个崩溃的客户端。对于匿名 rsync 服务器来说，理想的数字是 600（单位为秒）。 0 (未限制)
dont compress 用来指定那些在传输之前不进行压缩处理的文件。该选项可以定义一些不允许客户对该模块使用的命令选项列表。必须使用选项全名，而不能是简称。当发生拒绝某个选项的情况时，服务器将报告错误信息然后退出。例如，要防止使用压缩，应该是：”dont compress = *”。 *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz

c. 模块文件筛选参数

参数 说明 默认值
exclude 指定多个由空格隔开的多个文件或目录(相对路径)，并将其添加到 exclude 列表中。这等同于在客户端命令中使用 –exclude 来指定模式。 空
exclude from 指定一个包含 exclude 规则定义的文件名，服务器从该文件中读取 exclude 列表定义。 空
include 指定多个由空格隔开的多个文件或目录(相对路径)，并将其添加到 include 列表中。这等同于在客户端命令中使用 –include 来指定模式 。 空
include from 指定一个包含 include 规则定义的文件名，服务器从该文件中读取 include 列表定义。 空
  • 一个模块只能指定一个exclude 参数、一个include 参数。
  • 结合 include 和 exclude 可以定义复杂的exclude/include 规则 。
  • 这几个参数分别与相应的rsync 客户命令选项等价，唯一不同的是它们作用在服务器端。

d. 模块用户认证参数

参数 说明 默认值
auth users 指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块。这里的用户和系统用户没有任何关系。用户名和口令以明文方式存放在 secrets file 参数指定的文件中。 (匿名方式)
secrets file 指定一个 rsync 认证口令文件。只有在 auth users 被定义时，该文件才起作用。 空
strict modes 指定是否监测口令文件的权限。若为 true 则口令文件只能被 rsync 服务器运行身份的用户访问，其他任何用户不可以访问该文件。 true
  • rsync 认证口令文件的权限一定是 600，否则客户端将不能连接服务器。
  • rsync 认证口令文件中每一行指定一个 用户名:口令 对，格式为：

　　　　username:passwd

  • 一般来说口令最好不要超过8个字符。若您只配置匿名访问的 rsync 服务器，则无需设置上述参数。

e. 模块访问控制参数

参数 说明 默认值
hosts allow 用一个主机列表指定哪些主机客户允许连接该模块。不匹配主机列表的主机将被拒绝。 *
hosts deny 用一个主机列表指定哪些主机客户不允许连接该模块。 空

客户主机列表定义可以是以下形式：

  • 单个IP地址。例如：192.168.0.1
  • 整个网段。例如：192.168.0.0/24，192.168.0.0/255.255.255.0
  • 可解析的单个主机名。例如：centos，centos.bsmart.cn
  • 域内的所有主机。例如：*.bsmart.cn
  • “*”则表示所有。
  • 多个列表项要用空格间隔。

f. 模块日志参数

参数 说明 默认值
transfer logging 使 rsync 服务器将传输操作记录到传输日志文件。 false
log format 指定传输日志文件的字段。 ”%o %h [%a] %m (%u) %f %l”

设置了”log file”参数时，在日志每行的开始会添加”%t [%p]“。

可以使用的日志格式定义符如下所示：
  • %a - 远程IP地址
  • %h - 远程主机名
  • %l - 文件长度字符数
  • %p - 该次 rsync 会话的 PID
  • %o - 操作类型：”send” 或 “recv”
  • %f - 文件名
  • %P - 模块路径
  • %m - 模块名
  • %t - 当前时间
  • %u - 认证的用户名（匿名时是 null）
  • %b - 实际传输的字节数
  • %c - 当发送文件时，记录该文件的校验码

你可能还喜欢下面这些文章

vsftpd配置文件详解

vsftpd的配置文件/etc/vsftpd/vsftpd.conf主配置文件/usr/sbin/vsftpdVsftpd的主程序/etc/rc.d/init.d/vsftpd启动脚本/etc/pam.d/vsftpdPAM认证文件（此文件中file=/etc/vsftpd/ftpusers字段，指明阻止访问的用户来自/etc/vsftpd/ftpusers文件中的用户）/etc/vsftpd/ftpusers禁止使用vsftpd的用户列表文件。记录不允许访问FTP服务器的用户名单，管理员可以把一些对系统安全有威胁的用户账号记录在此文件中，以免用户从FTP登录后获得大于上传下载操作的权利，而对

gcc/g++编译参数详解

编译步骤gcc 与 g++ 分别是 gnu 的 c & c++ 编译器。gcc/g++ 在执行编译工作的时候，总共需要4步：预处理,生成 .i 的文件将预处理后的文件转换成汇编语言, 生成文件 .s 有汇编变为目标代码(机器代码)生成 .o 的文件连接目标代码, 生成可执行程序 参数详解-x language filename参数含义为指定文件所使用的语言。根据约定，C语言的后缀名称为".c"，而 C++ 的后缀名为".cpp"或".cc"，但如果你的源代码后缀不约定的那几种，那么需要使用-x参数来指定文件所使用的语言。这个参数对他后面的文件名都起作用。 可以使用的参数吗有下面的这些：

ftp命令大全详解

来熟悉熟悉ftp命令，对于服务器之间的文件传输太有用啦，不会怎么能行呢！先来看看基础的命令，包括了连接，列出列表，下载，上传，断开这最基础的命令，会这些，在使用ftp命令行就毫无压力啦！1. 连接ftp服务器格式：ftp a)在linux命令行下输入：b)服务器询问你用户名和密码，分别输入用户名和相应密码，待认证通过即可。2.列出文件列表以及切换目录这部分其实和linux并无区别，分别是ls，和cd列出目录列表切换当前目录3. 下载文件下载文件通常用get和mget这两条命令。a) get格式：get 将文件从远端主机中传送至本地主机中。如要获取远程服务器上/usr/your/1.htm，则

linux命令：ls用法，列出文件及目录

原标题:每天一个linux命令(1)：ls命令ls 命令是linux下最常用的命令。ls命令就是list的缩写缺省下ls用来打印出当前目录的清单，如果ls指定其他目录那么就会显示指定目录里的文 件及文件夹清单。 通过ls 命令不仅可以查看linux文件夹包含的文件而且可以查看文件权限(包括目录、文件夹、文件权限)，查看目录信息等等。ls 命令在日常的linux操作中用的很多!ls命令格式ls  命令功能列出目标目录中所有的子目录和文件。常用参数-a, –all 列出目录下的所有文件，包括以 . 开头的隐含文件-A 同-a，但不列出“.”(表示当前目录)和“..”(表示当前目录的父目录)。

iterm2 使用 rz、sz 的方法

如果没有额外的设置，iterm2 使用 rzsz 的时候会卡在这个时候就需要使用iterm2提供的trigger来实现rzsz的功能。第一步：本机安装rzsz使用rzsz之前本地也需要安装如果没有安装brew，请先安装brew，mac必备的包管理器！第二步：创建发送和接收脚本发送文件的脚本如下，可以复制下面的内容，保存在 /usr/local/bin/iterm2-send-zmodem.sh中。接收文件的脚本如下，同样可以复制保存在/usr/local/bin/iterm2-recv-zmodem.sh第三步：设置Triggerteigger需要设置两个，一个实发送文件的trigger，一个

使用sublime+platuml高效画图

程序员难免要经常画流程图，状态图，时序图等。以前经常用 visio 画，经常为矩形画多大，摆放在哪等问题费脑筋。有时候修改文字后，为了较好的显示效果不得不再去修改图形。今天介绍的工具是如何使用 Sublime + PlantUML 的插件画流程图，状态图，时序图等。这是一种程序员看了就会爱上的画图方式：自然，高效。什么是 PlantUMLPlantUML 是一个画图脚本语言，用它可以快速地画出：时序图流程图用例图状态图组件图简单地讲，我们使用 visio 画图时需要一个一个图去画，但使用 PlantUML 只需要用文字表达出图的内容，然后就可以直接生成图片。看一个最简单的例子：软件安装这些软件

查看varnish统计信息命令：varnishstat

varnishstat是一个查看当前varnish实例的实时运行状态信息。命令以及参数如下：varnishstat 以下选项可用： -1不再显示不断更新的显示，而是将统计信息打印到stdout。-f <glob>Field inclusion glob. Use backslash to escape characters. If the argument starts with '^' it is used as an exclusion glob. Multiple -f arguments may be given, and they will be ap

布隆过滤器(bloom filter)介绍以及php和redis实现布隆过滤器实现方法

引言在介绍布隆过滤器之前我们首先引入几个场景。场景一在一个高并发的计数系统中，如果一个key没有计数，此时我们应该返回0。但是访问的key不存在，相当于每次访问缓存都不起作用了。那么如何避免频繁访问数量为0的key而导致的缓存被击穿？有人说， 将这个key的值置为0存入缓存不就行了吗？这是确实是一种解决方案。当访问一个不存在的key的时候，设置一个带有过期时间的标志，然后放入缓存。不过这样做的缺点也很明显：浪费内存和无法抵御随机key攻击。场景二在一个黑名单系统中，我们需要设置很多黑名单内容。比如一个邮件系统，我们需要设置黑名单用户，当判断垃圾邮件的时候，要怎么去做。比如爬虫系统，我们要记录下

树莓派zero连接wifi

这是一篇记录树莓派连接wifi的文章。这里我们使用wpa_cli的交互环境来连接无线网，这比直接使用配置要方便得多。注意，wpa_cli需要在root环境下执行终端下面执行： sudo wpa_cli -iwlan0-i参数表示使用哪个网卡，我们需要指定只用wlan0这个网卡。具体可以执行ifconfig看看都有哪些网卡可以使用，如果你的树莓派带有wifi模块，那么一般是wlan0进入交互模式之后，首先需要执行scan命令，该命令能扫描附近的热点。然后输入scan_result列出扫描出来的热点上面扫描出了我的一个手机热点。我们知道了热点的ssid之后就可以连接了，首先增加一个网络连接，执行a

linux shell 入门

从程序员的角度来看， Shell本身是一种用C语言编写的程序，从用户的角度来看，Shell是用户与Linux操作系统沟通的桥梁。用户既可以输入命令执行，又可以利用 Shell脚本编程，完成更加复杂的操作。在Linux GUI日益完善的今天，在系统管理等领域，Shell编程仍然起着不可忽视的作用。深入地了解和熟练地掌握Shell编程，是每一个Linux用户的必修 功课之一。Linux的Shell种类众多，常见的有：Bourne Shell（/usr/bin/sh或/bin/sh）、Bourne Again Shell（/bin/bash）、C Shell（/usr/bin/csh）、K Shel

mongo读写分离的一些坑

在使用mongo副本集的时候就在想，这些副本不用来读太浪费了，再翻阅php的mongodb驱动，发现一个美好的readPreference，可以设定读取的优先级，其中就有优先读取副本，甚至还可以设定读取最小网络延迟的节点，具体可以参考：http://php.net/manual/zh/mongodb-driver-readpreference.construct.php

愿望是美好的，然而使用的过程中当我优先读取secondary时候，经常发现有的读取时间在几秒甚至几十秒的情况，也是醉了。于是经过一番搜索，发现有一个博客提到了这个问题，在官方文档中有说明，原文如下:

How does concurrency affect secondaries?

In replication, MongoDB does not apply writes serially to secondaries. Secondaries collect oplog entries in batches and then apply those batches in parallel. Secondaries do not allow reads while applying the write operations, and apply write operations in the order that they appear in the oplog.

地址是：https://docs.mongodb.com/manual/faq/concurrency/#how-does-concurrency-affect-secondaries

说的是在副本集中，mongodb在同步oplog的时候，副本是不能被读取的。我也是...呵呵哒....

对于频繁写入的mongo，直接读primary吧！

你可能还喜欢下面这些文章

php的file_get_contents()的高级用法

读取文件，读取网页，file_get_contents总是首选。既简单，又高效。读取网页： $content = file_get_contents("http://imhuchao.com")这里要说的是file_get_contents的一些"高级"的用法,平时大概用不上。file_get_contents可以用来发送post请求，设定超时时间等等，不弱于curl。函数说明是这样子的string file_get_contents ( string $filename ]]] )其中第三个参数$context能够让file_get_content发送post请求，控制超时等功能先看一个简单

MongoDB写入安全级别

写入安全（Write Concern）是一种由客户端设置的，用于控制写入安全级别的机制，通过使用写入安全机制可以提高数据的可靠性。MongoDB提供四种写入级别，分别是： （Unacknowledged）非确认式写入 （Acknowledged）确认式写入 （Journaled）日志写入 （Replica Acknowledged）复制集确认式写入1. 非确认式写入2. 确认式写入 3. journal日志写入64位机器上，MongoDB 2.0以上版本默认情况下是开启journaljournal文件位于journal目录中，只能以追加方式添加数据，文件名以j._开头数据库正

使用apidoc为你的项目编写api文档

在使用apidoc之前，我一直使用wiki来写文档，后来发现这种方式更新起来比较痛苦，时间一长甚至就忘记了更新了。一直在寻找能够使用注释直接生成文档的程序。某一天同事推荐了apidoc，发现这正是我想要的工具。apidoc原理apidoc的原理是扫描你的代码文件，提取出注释部分，根据一些规则生成相应的文档。默认的模板久很美观，十分适合作为api文档的生成器。目前apidoc支持的注释基本涵盖了大部分语言的风格了，c，java，php，js，python，perl，lua, Erlang...安装需要使用npm安装，如果没有安装npm，请先去https://www.npmjs.com/下载npm

数据结构学习笔记：树

树树是一种层次关系，在日常生活非常常见，比如社会关系，亲缘关系，文件管理。一棵树是一些节点的集合，这个集合可以是空集，若非空，则一棵树由称作为根的节点r以及0个或者多个非空的（子）树组成，这些子树中的每一棵都是被来自根r的一条有向的边所连接。一种数据结构需要包含一些操作，树这种数据结构有增加，删除，查找，修改。节点节点的度：节点子树的个数。叶子节点：没有儿子的节点，也就是度为0的节点。节点的层次：规定跟节点在1层，其他节点的层次为父节点的层次加1。节点的高：节点的高为从这个节点到叶子的最长路径，所有树叶的高都是0。节点的深度：从跟节点到该节点的唯一路径长，根的深度为0。节点定义typedef

2015年9月，我的博客重新开始

从2011年开始，我便写博客了。今年，一个非常不幸的事情，我的博客被屏蔽了，那一刻的心情我无法形容，但又无可奈何。于是我又注册了一个域名imhuchao.com，继续我的博客生活。程序员没有博客，那便如同剑客没有酒，那是何等的寂寥！经历了这些之后，我觉得我应该把博客记录下来。那么起点就设定在今天吧，原来的数据封存起来，不做开放，或许多年之后，我翻开来，轻叹一声，哦，那是2011年我写的东西，真快啊。好久了，应该快一年没有关注wordpress了，下载安装，再到访问后台，不到一分钟的时间。打开前台一看，哇，竟是如此的清新脱俗！从未想到她默认的主题变得如此的好看。四年时间，任何人也都能够成长，无论

Redis持久化

在一个高并发，但是数据量不大的系统中，使用Redis做数据库再好不过，结合Swoole，只需要很少的机器就能抗住很大的量。Redis大多数的应用可能都是当做缓存，当作为一个数据库用的时候，就必须要考虑持久化的问题了。持久化的意思就是将内存中的数据写到磁盘中，当再次重启之后，数据可以从磁盘中进行恢复，不会丢失。Redis持久化有两个策略，一个是RDB快照，一个AOF日志，不管是什么策略，最终的目的都是将数据保存在磁盘上，并不高深。只需要耐心的看看这两种策略，就能明白了。RDB快照从名字上我们就能知道这是RedisDB的缩写了，Redis快照是这样生成的，到了需要生成快照的时候，通过fork当前进

MongoDB写入安全级别

写入安全（Write Concern）是一种由客户端设置的，用于控制写入安全级别的机制，通过使用写入安全机制可以提高数据的可靠性。

MongoDB提供四种写入级别，分别是：

  • （Unacknowledged）非确认式写入
  • （Acknowledged）确认式写入
  • （Journaled）日志写入
  • （Replica Acknowledged）复制集确认式写入

（更多…）

你可能还喜欢下面这些文章

Redis持久化

在一个高并发，但是数据量不大的系统中，使用Redis做数据库再好不过，结合Swoole，只需要很少的机器就能抗住很大的量。Redis大多数的应用可能都是当做缓存，当作为一个数据库用的时候，就必须要考虑持久化的问题了。持久化的意思就是将内存中的数据写到磁盘中，当再次重启之后，数据可以从磁盘中进行恢复，不会丢失。Redis持久化有两个策略，一个是RDB快照，一个AOF日志，不管是什么策略，最终的目的都是将数据保存在磁盘上，并不高深。只需要耐心的看看这两种策略，就能明白了。RDB快照从名字上我们就能知道这是RedisDB的缩写了，Redis快照是这样生成的，到了需要生成快照的时候，通过fork当前进

std::endl为什么导致程序变慢

最近在写hadoop的streaming任务，在输出的时候用了std::endl，就像下面这样：运行后发现程序跑的比python还慢，令人费解。我入门C++的时候，输出hello world也是这样写的，有什么问题？于是查了一下std::endl，发现问题挺大。std::endl解释如下：也就是说每次执行到std::endl的时候都会将缓冲区的内容写入到输出的对象中，这样一来速度慢也就不足为奇。性能测试不加std::endl性能高出20倍。如果程序的逻辑十分简单，那么输出字符串的时候最好用"\n"代替加std::endl

MySQL开启慢查询日志以及慢查询日志分析

mysql满查询有助于让我们发现系统中瓶颈所在。开启方法默认情况满查询应该关闭，如果需要分析则需要手动开启。mysql> show variables like '%slow_query_log%'; +---------------------+--------------------------------------+ | Variable_name | Value | +---------------------+--------------------------------------+ | slow_

命令行下的mongo初试

从连接mongo开始，熟悉一下命令行下面的mongo使用连接普通连接mongo mongodb://ip:port查看数据库show dbs选择或者创建数据库use mydb创建一个集合比如创建一个mycollection的集合db.createCollection('mycollection')显示数据库中所有的集合show collections向集合中写入数据假设我们创建了一个mycollection集合，实际上当我们没有创建mycollection集合的时候，执行下面的命令mongo会自动创建一个mycollection集合db.mycollection.insert({"foo",'

awk分析nginx日志中的网页响应时间

nginx日志可以十分方便的看到每一个请求的响应速度，通常我会用awk去分析这些请求耗时。通常nginx的log配置是这样的log_format access_comment '$remote_addr - $remote_user "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" $http_x_forwarded_for ' '$upstream_response_time $request_time';我们记录的日志类似于这样127.0.0.1 - - "POST /get" "M

mongo读写分离的一些坑

在使用mongo副本集的时候就在想，这些副本不用来读太浪费了，再翻阅php的mongodb驱动，发现一个美好的readPreference，可以设定读取的优先级，其中就有优先读取副本，甚至还可以设定读取最小网络延迟的节点，具体可以参考：http://php.net/manual/zh/mongodb-driver-readpreference.construct.php愿望是美好的，然而使用的过程中当我优先读取secondary时候，经常发现有的读取时间在几秒甚至几十秒的情况，也是醉了。于是经过一番搜索，发现有一个博客提到了这个问题，在官方文档中有说明，原文如下:How does concur

SQLAlchemy介绍

SQLAlchemy是python下十分流行的orm(对象关系映射)框架。官方的介绍是这样的：SQLAlchemy将数据库视为关系代数引擎，而不仅仅是表的集合。行不仅可以从表中选择，还可以选择连接其他的选择语句; 这些单元中的任一个可以组成更大的结构。SQLAlchemy的核心表达语言正是基于这个概念。SQLAlchemy以其对象关系映射器（ORM）而闻名，它提供一个数据映射器模式的可选组件，其中可以通过多种方式将类映射到数据库，实际上对象模型和数据库模式从一开始就可以完整分离。SQLAlchemy的对这些问题的总体思路来源于其它优秀的 SQL/ORM 工具，植根于所谓的完全不同complim

mongodb 常用命令

最近业务可能会用到mongodb，因此将mongodb的一些特性和常用命令整理一下。mongodb是一种非关系型数据库中最像关系数据库的，但我用mongodb仍然只把它当做KV存储，其他的关系一概不做，对于关系，还是让MySQL去做吧！关于mongo集群的搭建已经有运维帮我搭建好了，我就直接用了，但是在用之前，了解mongo集群的搭建十分有必要。关于Mongos，MongodMongos：起着路由的作用，根据分片key找到数据所存放的分片位置Mongod：数据存放的位置关于索引索引在任何数据库都起着至关重要的作用，没有索引的数据只能是一堆杂乱无章的集合，在mongo的集合中，可以创建索引，创建

redis的RDB文件存储结构分析

原文标题：15天玩转redis —— 第十一篇 让你彻底了解RDB存储结构这里我们来继续分析一下RDB文件存储结构，首先大家都知道RDB文件是在redis的“快照”的模式下才会产生，那么如果我们理解了RDB文件的结构，是不是让我们对“快照”模式能做到一个心中有数呢？一：RDB结构剖析首先呢，我们要对RDB文件有一个概念性的认识，比如下面画的图一样： 从图中，我们大概看到了RDB文件的一个简要的存储模式，但为了更好的方便对照，我准备save一个empty database，对比一下看看效果： 然后我们用winHex打开dump.rdb文件，看看它的16进制。好了，该打开的我都

memcacheq的安装与使用

1、安装libevent官网：http://www.libevent.org/2、安装 BerkeleyDB官网：http://www.oracle.com/technetwork/products/berkeleydb/downloads/index.html（下载需要登录）安装：安装完成之后：或者：添加：并执行：3、安装 MemcacheQ官网：http://memcachedb.org/memcacheq/测试是否安装成功：4、启动服务建立相关目录：启动服务：参数说明：-d : 以后台服务方式运行-l : 设置监听地址及端口（默认是22201）-A : 数据页大小-H : 数据保存目录-