胡超博客

抓取网页的时候有时候会需要下载里面的图片或者其他附件，但有的网页里面用的是相对路径，这时候就要转化为绝对路径。

 
/**
* url补全，相对url转化为绝对url
* 作用是补全url
*/
function url2abs($srcurl,$baseurl){

  $srcinfo = parse_url($srcurl); 
  //print_r($srcinfo); 
  if(isset($srcinfo['scheme'])) {  
    return $srcurl;  
  }

  $baseinfo = parse_url($baseurl);  
  $url = $baseinfo['scheme'].'://'.$baseinfo['host'];  
  if(substr($srcinfo['path'], 0, 1) == '/') {  
    $path = $srcinfo['path'];  
  }else{  
    $path = dirname($baseinfo['path']).'/'.$srcinfo['path'];  
  }  
  $rst = array();  
  $path_array = explode('/', $path);  
  if(!$path_array[0]) {  
    $rst[] = '';  
  }
  foreach ($path_array AS $key => $dir) {  
    if ($dir == '..') {  
      if (end($rst) == '..') {  
        $rst[] = '..';  
      }elseif(!array_pop($rst)) {  
        $rst[] = '..';  
      }  
    }elseif($dir && $dir != '.') {  
      $rst[] = $dir;  
    }  
   }  
  if(!end($path_array)) {  
    $rst[] = '';  
  }  
  $url .= implode('/', $rst);
  if( !empty($srcinfo['query']) ) $url .= '?'.$srcinfo['query'];
  return str_replace('\\', '/', $url);
}

就这样吧，上代码，完事。代码不是我写的，看起来有点乱，哈哈，不关我事啦

你可能还喜欢下面这些文章

还能这样？把 Python 自动翻译成 C++

一、问题背景随着深度学习的广泛应用，在搜索引擎/推荐系统/机器视觉等业务系统中，越来越多的深度学习模型部署到线上服务。机器学习模型在离线训练时，一般要将输入的数据做特征工程预处理，再输入模型在 TensorFlow PyTorch 等框架上做训练。1.常见的特征工程逻辑常见的特征工程逻辑有： 分箱/分桶 离散化 log/exp 对数/幂等 math numpy 常见数学运算 特征缩放/归一化/截断 交叉特征生成 分词匹配程度计算 字符串分隔匹配判断 tong 缺省值填充等 数据平滑 onehot 编码，hash 编码等这些特征工程代码，当然一般使用深度学习最主要的语言 pyt

sublime优秀插件推荐

最佳的Sublime Text 插件朋友们你们好！我尝试着收集了最佳的ST插件，这些插件真的会改善你的工作流程。我搜索了很多网站，下面是我的成果。WebInspector在 JavaScript调试方面，这是一个令人惊讶的工具，Sublime上的完整的代码检查工具。功能：使用绝对路径储存在用户设置中的项目断点，控制台，分步和断点调试器，栈追踪。这些都能够很棒的工作！而且Mozilla还提供了一个插件Fireplay让你连接到Firefox 开发工具和最简单的调试器JSHintEmmet编辑器中最流行的插件之一。Emmet，前身Zen Coding也是web开发者提高生产力最有效的方法之一。按下

中文分词词性对照表

汉语词性对照表词性编码词性名称注 解Ag形语素形容词性语素。形容词代码为 a，语素代码ｇ前面置以A。a形容词取英语形容词 adjective的第1个字母。ad副形词直接作状语的形容词。形容词代码 a和副词代码d并在一起。an名形词具有名词功能的形容词。形容词代码 a和名词代码n并在一起。b区别词取汉字“别”的声母。c连词取英语连词 conjunction的第1个字母。dg副语素副词性语素。副词代码为 d，语素代码ｇ前面置以D。d副词取 adverb的第2个字母，因其第1个字母已用于形容词。e叹词取英语叹词 exclamation的第1个字母。f方位词取汉字“方”g语素绝大多数语素都能作为合成词

php的empty,isset，is_null与！

来说说php的empty，isset，is_null 与!，这几个都是if语句中比较常见的判断逻辑。但是有时候用的很纠结，甚至看别人写的程序里面也很纠结。特地梳理梳理，避免踩坑先来定义一些东西<?php$a;$b=0;$c=array();$d='';$e=null;empty，用了会上瘾这是一个用了会上瘾的语言结构！多好，empty可接受的参数是一个变量，任意类型，哪怕是变量不存在，只要变量被boolean转换之后是false（参考：php的boolean都有哪些），那么empty返回的就是false，并且不会出现警告！等价于不过注意的是，empty里面不能使用表达式（在php<

创建自己的composer包之怎样制作composer包

项目做多了之后，可能会慢慢总结出自己的代码库出来，当在新的项目中使用的时候，总不能一直是复制粘贴。这个时候，composer就能派上用场了。一个项目开始，使用composer就能够加载所需要的依赖，非常方便。这个时候，来做一个自己的包吧！使用命名空间composer自动加载需要用到命名空间，因此所有的代码库都需要使用命名空间，如果没有，那就改吧！使用命名空间之后你可能会打开新世界的大门。创建composer.json我假设你已经安装了composer，并且已经会使用了。创建自己的包我们首先需要创建一个composer.json，示例文件如下上面的composer.json有一个比较重要的是au

代码语法高亮插件整理

语法高亮是文本编辑器用来显示文本的，特别是源代码，根据不同的类别来用不同的颜色和字体显示。这个功能有助于编写结构化的语言，比如编程语言，标记语言，这些语言的语法错误显示是有区别的。语法高亮并不会影响文本自身的意义，而且能很好的符合人们的阅读习惯。语法高亮同时也能帮助开发者很快的找到他们程序中的错误。例如，大部分编辑器会用不同的颜色突出字符串常量。所以，非常容易发现是否遗漏了分隔符，因为相对于其他文本颜色不同。现 在有各种各样的语法高亮工具，可以格式化语言，并且根据不同的编程语言进行高亮显示。无论是个 HTML 页面还是 PHP，Ruby，Python 或者是 ASP。这篇文章中，我们会介绍 1

不给以后的你找麻烦，编写单元测试吧

原本我想要写造福后人，请为你的程序编写单元测试吧。突然觉得这样写会不会太高尚了一些，想想还是不给以后的自己找麻烦，编写单元测试比较好。一直都在隐式的做着单元测试你可能没有听过单元测试，或者听过，但没有使用单元测试框架来做单元测试，又或者对单元测试框架不屑一顾等等...（等等，这不是在说我自己嘛）好了，在你没有使用单元测试框架之前，其实你一直在不知不觉中使用单元测试。比如，当你写完了一个方法的时候，你会在下面调用这个方法，然后看看运行的结果，哦，对了，要的就是这个结果。这就是一个单元测试啊！你对这个方法做了一个测试，传n个参数进入，输出一个结果，结果与预期一致，通过；结果与预期不一致，失败，de

c语言中的define用法

作为代码中，第一个看到的，极有可能就是define这个东西，称为宏！（define是可以出现在任何地方的，但是我们一般把这个写到最开始）然而，很多时候，初学者有时候可能看不懂她，因此，我的c语言学习的第一篇就写这个啦。define基本用法，简单定义最浅显的，define能用一个有含义的字符来替代一些数字，比如#define PI 3.141592654这样，假如以后要计算圆的周长或者面积，就可以用PI这个字符而不用写3.141592654啦。比如#define PI 3.141592654#include "stdio.h"int main(){    int r = 3;    float

php开发者的sublime插件和配置

作为一个php开发者，换工作环境的时候可能会重新配置编辑器，这里给出一个比较好的环境（也是我的常用环境）。配置篇每家公司都会有内部的规范，但是只要公司不是特别奇葩，那么规范一般是大同小异。根据规范来设定编辑器，那么写出来的代码则很容易符合规范了。此外，一个设置好的编辑器能够大大提高编码效率！下面是我的配置，可以根据注释自行调整{ // 粗体文本 "bold_folder_labels": true, // 显示所有的空白字符，这样可以看出空格和tab "draw_white_space": "all", // 设置字体 "font_size": 15,

让sublime支持php，python等脚本的执行

sublime有自己的Build系统，默认的快捷键是ctrl+b。只需要定制对应语言的执行命令，就可以支持各个语言的编译，执行了。这里对几种主流的脚本语言执行做一些教程。打开Tools->Build System -> New Build System  ...插入对应的json格式的配置即可php保存为php.sublime-build，这下执行php不用老是跑去刷网页了，也不用老是开cmd窗口了。python保存为python.sublime-build不过貌似里面自带了python的，不过如果你看到有build system里面有python的话，那么就可以不用加了。这些执行

读取文件，读取网页，file_get_contents总是首选。既简单，又高效。

读取网页：

 $content = file_get_contents("http://imhuchao.com")

这里要说的是file_get_contents的一些"高级"的用法,平时大概用不上。

file_get_contents可以用来发送post请求，设定超时时间等等，不弱于curl。

函数说明是这样子的

string file_get_contents ( string $filename [, bool $use_include_path = false [, resource $context [, int $offset = -1 [, int $maxlen ]]]] )

其中第三个参数$context能够让file_get_content发送post请求，控制超时等功能

先看一个简单地例子，下面是一个发送post数据的示例,并且设定超时时间为5s

 //发送的post数据
$data = array("hello"=>"1");
// 创建contentxt流
$opts = array(
 'http'=>array(
 'method'=>"POST",
 'content'=>http_build_query($data),
 'timeout'=>'5'
 )
);

$context = stream_context_create($opts);


$file = file_get_contents('http://www.example.com', false, $context);
?>

http context的参数项

http的context有这么一些参数，根据这些组合能让file_get_contents不弱于curl

method (string)
远程服务器支持的 GET，POST 或其它 HTTP 方法。

默认值是 GET。
header (string)
请求期间发送的额外 header 。在此选项的值将覆盖其他值 （诸如 User-agent:， Host: 和 Authentication:）。
user_agent string
要发送的 header User-Agent: 的值。如果在上面的 header context 选项中没有指定 user-agent，此值将被使用。

默认使用 php.ini 中设置的 user_agent。
content (string)
在 header 后面要发送的额外数据。通常使用POST或PUT请求。
proxy (string)
URI 指定的代理服务器的地址。(e.g. tcp://proxy.example.com:5100).
request_fulluri (boolean)
当设置为 TRUE 时，在构建请求时将使用整个 URI 。(i.e. GET http://www.example.com/path/to/file.html HTTP/1.0)。 虽然这是一个非标准的请求格式，但某些代理服务器需要它。

默认值是 FALSE.
follow_location (integer)
跟随 Location header 的重定向。设置为 0 以禁用。

默认值是 1。
max_redirects (integer)
跟随重定向的最大次数。值为 1 或更少则意味不跟随重定向。

默认值是 20。
protocol_version float
HTTP 协议版本。

默认值是 1.0。

Note:

PHP 5.3.0 以前的版本没有实现分块传输解码。 如果此值设置为 1.1 ，与 1.1 的兼容将是你的责任。
timeout (float)
读取超时时间，单位为秒（s），用 float 指定(e.g. 10.5)。

默认使用 php.ini 中设置的 default_socket_timeout。
ignore_errors (boolean)
即使是故障状态码依然获取内容。

默认值为 FALSE.

附录

file_get_contents的参数

filename
要读取的文件的名称。
use_include_path
Note:

As of PHP 5 the FILE_USE_INCLUDE_PATH can be used to trigger include path search.
context
A valid context resource created with stream_context_create(). 如果你不需要自定义 context，可以用 NULL 来忽略。
offset
The offset where the reading starts on the original stream.

Seeking (offset) is not supported with remote files. Attempting to seek on non-local files may work with small offsets, but this is unpredictable because it works on the buffered stream.
maxlen
Maximum length of data read. The default is to read until end of file is reached. Note that this parameter is applied to the stream processed by the filters.

你可能还喜欢下面这些文章

ajax的核心，好好认识一下XMLHttpRequest

相信包括在我的绝大多数人都用jQuery的$.get()，$.post()，$.ajax()方法用的很爽了，关于其原生的请求却很少去发掘，很多时候(比如用html5开发app的时候),我并不再需要jQuery，弄明白XMLHttpRequest用原生的就能很好的处理ajax了。首先，由于我的js是通过jQuery入门的，所以才会有这篇文章。从new一个对象开始var xmlhttp = new XMLHttpRequest();之后的请求，读取，出错等等各种处理都在xmlhttp这个对象里面啦第一个GET请求get请求简单，最适合入门操作啦。之前new了一个xmlhttp对象，这次我们就要对它

gcc/g++编译参数详解

编译步骤gcc 与 g++ 分别是 gnu 的 c & c++ 编译器。gcc/g++ 在执行编译工作的时候，总共需要4步：预处理,生成 .i 的文件将预处理后的文件转换成汇编语言, 生成文件 .s 有汇编变为目标代码(机器代码)生成 .o 的文件连接目标代码, 生成可执行程序 参数详解-x language filename参数含义为指定文件所使用的语言。根据约定，C语言的后缀名称为".c"，而 C++ 的后缀名为".cpp"或".cc"，但如果你的源代码后缀不约定的那几种，那么需要使用-x参数来指定文件所使用的语言。这个参数对他后面的文件名都起作用。 可以使用的参数吗有下面的这些：

使用sublime+platuml高效画图

程序员难免要经常画流程图，状态图，时序图等。以前经常用 visio 画，经常为矩形画多大，摆放在哪等问题费脑筋。有时候修改文字后，为了较好的显示效果不得不再去修改图形。今天介绍的工具是如何使用 Sublime + PlantUML 的插件画流程图，状态图，时序图等。这是一种程序员看了就会爱上的画图方式：自然，高效。什么是 PlantUMLPlantUML 是一个画图脚本语言，用它可以快速地画出：时序图流程图用例图状态图组件图简单地讲，我们使用 visio 画图时需要一个一个图去画，但使用 PlantUML 只需要用文字表达出图的内容，然后就可以直接生成图片。看一个最简单的例子：软件安装这些软件

iterm2 使用 rz、sz 的方法

如果没有额外的设置，iterm2 使用 rzsz 的时候会卡在这个时候就需要使用iterm2提供的trigger来实现rzsz的功能。第一步：本机安装rzsz使用rzsz之前本地也需要安装如果没有安装brew，请先安装brew，mac必备的包管理器！第二步：创建发送和接收脚本发送文件的脚本如下，可以复制下面的内容，保存在 /usr/local/bin/iterm2-send-zmodem.sh中。接收文件的脚本如下，同样可以复制保存在/usr/local/bin/iterm2-recv-zmodem.sh第三步：设置Triggerteigger需要设置两个，一个实发送文件的trigger，一个

查看varnish统计信息命令：varnishstat

varnishstat是一个查看当前varnish实例的实时运行状态信息。命令以及参数如下：varnishstat 以下选项可用： -1不再显示不断更新的显示，而是将统计信息打印到stdout。-f <glob>Field inclusion glob. Use backslash to escape characters. If the argument starts with '^' it is used as an exclusion glob. Multiple -f arguments may be given, and they will be ap

JS使用XMLHttpRequest实现ajax请求

是一个JavaScript对象，它最初由微软设计，随后被 Mozilla、Apple和Google采纳。如今，该对象已经被 W3C组织标准化。通过它，你可以很容易的取回一个URL上的资源数据。尽管名字里有XML， 但 可以取回所有类型的数据资源，并不局限于XML。而且除了HTTP ，它还支持 和 协议。创建一个 实例, 可以使用如下语句:方法概述非标准方法属性AttributeTypeDescription一个JavaScript函数对象，当readyState属性改变时会调用它。回调函数会在user interface线程中调用。警告: 不能在本地代码中使用. 也不应该在同步模式的请求中

mongo读写分离的一些坑

在使用mongo副本集的时候就在想，这些副本不用来读太浪费了，再翻阅php的mongodb驱动，发现一个美好的readPreference，可以设定读取的优先级，其中就有优先读取副本，甚至还可以设定读取最小网络延迟的节点，具体可以参考：http://php.net/manual/zh/mongodb-driver-readpreference.construct.php愿望是美好的，然而使用的过程中当我优先读取secondary时候，经常发现有的读取时间在几秒甚至几十秒的情况，也是醉了。于是经过一番搜索，发现有一个博客提到了这个问题，在官方文档中有说明，原文如下:How does concur

Go入门：六、常用标准库

这是我的Go学习的第六篇笔记，也是Go入门的最后一篇笔记。在大多数语言中，了解了变量和数据类型，流程控制，函数，面向对象，再加上标准库，就可以用这门语言去写一些项目了。首先让我想想，在工作中通常会用语言频繁处理什么问题或者处理什么数据？最常见的应该是各种字符串操作，日期和时间，读写文件、socket等IO相关的操作！字符串处理 — StringsString提供了一组处理字符串的操作，常用的有：判断一个字符串是否在另一个字符串中分割字符串为[]string和组合[]string为一个字符串字符串替换...太多了，就不一一列举了，这里列出一些常用的字符串操作。字符串判断字符串分割与合并字符串转换

使用crontab+rsync备份你的站点

这是一篇记录站点备份的文章，通常站点需要每隔一周，甚至更短的时间进行备份，然而手工备份再下载下来这实在是麻烦，于是利用crontab和rsync进行站点备份，再利用我本地的树莓派定时拉取备份结果，想想还是挺完美的。编写备份的shell站点文件备份很简单，直接将站点打包压缩即可,但是想了想还是不把站点路径定义死，而是使用一个参数将站点路径传递进去，这样就能写一个通用的文件备份#! /bin/bashsrc='';dest='';while getopts 's:d:' OPTdo case $OPT in s) src=$OPTARG;; d) dest=$OPTARG;; esacdonei

signal函数详解

signal作用是为信号注册一个处理器。这里的“信号”是软中断信号，这种信号来源主要有三种：程序错误：比如除0，非法内存访问。外部信号：终端Ctrl-C产生的SIGINT信号，定时器产生的SIGALERM。显示请求：kill函数发送的任意信号。当kill一个进程的时候，默认会发送SIGTERM信号，此时这个信号只有默认处理操作（SIG_DFL），直接中断进程执行。如果此时该进程正在执行一个任务，直接终止该进程会导致任务没有完成。这个时候为SIGTERM信号注册一个信号处理函数就十分有必要。介绍参数sig要设置信号处理函数的信号。它可以是实现定义值或下例值之一：SIGABRTSIGFPESIGI