啰嗦了，今天介绍一款 最新工具 24log.chacuo.net 在线dump http request raw工具。先说说使用场景把， chrome 自带的强大http 请求调试抓包，想必大家经常使用，但是作为移动端，接口开发，app开发，我们也经常会接触到 api 请求，以为接口进行编码，加密，对接时候经常出问题。有时候我们想知道，自己发送服务端接口原始数据是什么，因此我们需要dump出 自己request 请求，一番调试，修改代码，很是好烦时间，有没有一款工具，能够在线查看到我日志，以及 服务端返回的内容呢，24log.chacuo.net 就可以解决这个问题。该工具有2个功能，我们看看第一个常用功能。

24log.chacuo.net/my ，它是一个开放接口，所有用户都可以调用，我们访问一下试试看

直接打印出，我请求该地址 ， request 请求， 通过该地址，以下2个方面很方便：

1、测试 浏览器 发送 请求 header 头，只需要 通过该浏览器，访问 24log.chacuo.net/my 地址即可，看到请求参数， user-agent

2、公共地址 支持常见的’OPTIONS’, ‘GET’, ‘HEAD’, ‘POST’, ‘PUT’, ‘DELETE’, ‘TRACE’ 协议，我们看看给发一个 formdata 表单请求

curl ’24log.chacuo.net/my’  -F ‘test=测试一下’ -F ‘who=我是谁’

 

POST /my HTTP/1.1
Host: 24log.chacuo.net
Connection: Keep-Alive
Content-Length: 252
Accept-Encoding: gzip
User-Agent: curl/7.29.0
Accept: */*
Content-Type: multipart/form-data; boundary=—————————-7169b4ab667a

——————————7169b4ab667a
Content-Disposition: form-data; name=”test”

测试一下
——————————7169b4ab667a
Content-Disposition: form-data; name=”who”

我是谁
——————————7169b4ab667a–

将formdata  request  raw 完整格式打印出来了

接下来我们说说自定义24log 地址

自定义url地址，跟公共地址相比，可以设置 目标地址，如： 发送数据给24log 地址 =》日志镜像 =》 请求真是目标地址

1、生成地址  http://24log.chacuo.net/

2、设置转发地址

访问 http://24log.chacuo.net/dump/5f4d0fb87e74f => https://www.baidu.com 了，我们试试看

3、访问试试看

已经读取到 baidu 代码，我们接下来看看 镜像到访问日志了

4、查看 访问日志

点击进去查看

5、查看详细内容

可以查看到 完整请求头，返回内容，可以直接下载 源码以及，浏览

该工具演示完了，怎么样还是一头雾水？ 不妨亲自去试试看 24log.chacuo.net   使用后，估计很快就知道怎么用了.  这里只是演示get请求，其实的’OPTIONS’, ‘GET’, ‘HEAD’, ‘POST’, ‘PUT’, ‘DELETE’, ‘TRACE’ 都支持的，不妨试试！ 大家对工具有什么疑问，欢迎邮件建议！

作者：程默的博客  QQ:8292669
原文网址：http://blog.chacuo.net/1436.html
订阅保持关注：http://blog.chacuo.net/feed
本文版权归作者所有，欢迎转载，请务必添加原文链接。

做了多年的web开发，遇到过很多刚刚毕业的兄弟以及刚入行的朋友。 经常在做一些功能时候，从技术设计本身出现各种问题。 他们在程序语言方面非常熟悉，但是做出来经常出现重大安全隐患！主要是用代码实现需求时候，考虑不全面，因此存在各种设计缺陷，产生技术漏洞！一些书本只会教我们 怎么样去实现功能， 而不会说 怎么样完美、无bug实现。这也是我 想写 应用安全的原因！ 希望给所有做web开发朋友，一些借鉴，写出更完美的程序！

上一段简单代码吧，限制只有某个a.com 来源站点，可以访问一个页面，我们代码一般如下：

<?php
//读取reffer
$reffer = isset($_SERVER["HTTP_REFFER"])?$_SERVER["HTTP_REFFER"]:'';

if(strpos($reffer,"a.com")===false)
{
    exit('禁止访问!');
}

////继续执行

以上代码，大家应该在一些demo里面，还有书本上面都有看到过，并且也会这样写的。 据说，weixin分享地址时候，也通过这种方式来检查是不是它们的域名呢。

问题出在那里呢？

一个 url 地址格式是： 协议://user：pass@host/path?query#hash  ，可以看到 如果只是简单检测uri 里面是否有a.com ，是不是太容易被绕过了？ 只要自己地址是http://b.com#a.com  ，是不是一样可以访问我们资源了？

哈哈， 是不是回想起自己某时候也这么写过呢！  ，希望这个例子能够激发您的兴趣，我们除了能实现逻辑，好的程序员，应该要做到安全稳定、实现高性能程序！ 当然，我们接下来主要讲的是怎么安全实现常见web应用功能。

接下来章节，我就以做一个 简单网页 ‘留言薄’来说吧！  “啊？ 为什么是 做留言薄呢”， 其实一个留言板里面功能，也能涉及到我们方方面面了，麻雀虽小、五脏俱全啦！ 另外， 记忆最深刻的的，我第一次学习web程序时候，也是从留言薄开始的呢！

待续……，先跟朋友们说晚安了！

现在临时将空间通过香港转发，感谢fubinhoo 帮助。今天先做端口转发，然后再做反向代理。终于从香港vps 上面转发过来了。 目前新的备案还在申请中，转发可能会出现不稳定情况。望朋友们多多包涵，任何问题，欢迎Q我！

谢谢大家！

Xxencode编码原理

XXencode将输入文本以每三个字节为单位进行编码。如果最后剩下的资料少于三个字节，不够的部份用零补齐。这三个字节共有24个Bit，以6bit为单位分为4个组，每个组以十进制来表示所出现的数值只会落在0到63之间。以所对应值的位置字符代替。它所选择的可打印字符是：+-0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz，一共64个字符。跟base64打印字符相比，就是uuencode多一个“-” 字符，少一个”/” 字符。 但是，它里面字符顺序与Base64完全不一样。与UUencode比较，这里面所选择字符，都是常见字符，没有特殊字符。这也决定它当年流行使用原因！

每60个编码输出（相当于45个输入字节）将输出为独立的一行，每行的开头会加上长度字符，除了最后一行之外，长度字符都应该是“h”这个字符（45，刚好是64字符中，第45位’h’字符），最后一行的长度字符为剩下的字节数目 在64字符中位置所代表字符。

问题：uuencode编码转换为xxencode编码怎么样操作？

从2中编码原理来看，几乎一样。就是所用的64个字符不一样。一次，简单对uuencode转换后字符，逐位（处理’`’字符)减去32，然后得到一个值。这个值在xxencode 64字符中所对应位置字符替换即可。

XXencode编码转换过程

    
原始字符 
C 
a 
t 
原始ASCII码（十进制） 
67 
97 
116 
ASCII码（二进制） 
0 
1 
0 
0 
0 
0 
1 
1 
0 
1 
1 
0 
0 
0 
0 
1 
0 
1 
1 
1 
0 
1 
0 
0 
新的十进制数值 
16 
54 
5 
52 
编码后的XXencode字符 
E
q
3 
O

字符串：'Cat‘ 编码后是：Eq3O

XXencode编码PHP实现过程

/**
 *xxencode编码*
 *@author 程默
 *@copyright http://blog.chacuo.net/
 *@param string $src 待处理字符串
 *@return string encode编码完字符串
 */
function c_xx_encode($src)
{
	//64个可打印字符
	static $base="+-0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz";
    ///每次读取3个字节
    $lbyte = 3;
    ////将原始的3个字节转换为4个字节
    $slen=strlen($src);
    $smod = ($slen%$lbyte);
    $snum = floor($slen/$lbyte);
 
 
    $desc = array();
     
    //将剩下字节以0字节补齐
    $src = $smod===0?$src:$src.str_repeat("\0",$lbyte-$smod);
    $snum = $smod===0?$snum:$snum+1;
 
    for($i=0;$i<$snum;$i++)
    {
        ////读取3个字节
        $_arr = array_map('ord',str_split(substr($src,$i*$lbyte,$lbyte)));
 
        ///计算每一个6位值
        $_dec = array();
        $_dec[]=$_arr[0]>>2;
        $_dec[]=(($_arr[0]&3)<<4)|($_arr[1]>>4);
        $_dec[]=(($_arr[1]&0xF)<<2)|($_arr[2]>>6);
        $_dec[]=$_arr[2]&63;
         
        ///求每一位值，在64字符中所对应的字符
        foreach ($_dec as &$v)
        {
           $v=$base[$v];
        }
        $desc = array_merge($desc,$_dec);
    }
     

    //每60个编码输出（相当于45个输入字节）将输出为独立的一行，每行的开头会加上长度字符，除了最后一行之外，长度字符都应该是'h'这个ASCII字符（45），最后一行的长度字符为剩下的字节数目,在64字符中对应字符。
    $abyte = 60;
    $crlf = "\r\n";
    $alen = count($desc);
    $anum = floor($alen/$abyte);
    $amod = ($alen%$abyte);
     
    $adesc = array();
     
    for ($i=0;$i<$anum;$i++)
    {
        $adesc[]='h'.implode('',array_slice($desc,$i*$abyte,$abyte)).$crlf;
    }
     
    ///截取后面剩余数组长度
    if($amod!==0)
    {
        ///以下计算不满45字节编码情况
        $adesc[]=$base[$amod/4*$lbyte+($smod?$smod-$lbyte:$smod)].implode('',array_slice($desc,-$amod)).$crlf;
    }
     
    return implode('',$adesc);  
}

以上代码从uuencode编码做简单修改而来，基本上去掉+32一些地方。知道编码原理，其实我们很容易实现uuencode->xxencode转换的

以上转换后结果，与专业转换工具一致的。好了，通过学习这类用可打印字符表示二进制字节的编码方法。我们可以发现很多有趣东西！对应以后我们如果做自己的编码转换，可以给我们很多借鉴！欢迎朋友们给出自己的意见！

UUencode编码过程

Uuencode将输入资料以每三个字节为单位进行编码，如此重复进行。如果最后剩下的资料少于三个字节，不够的部份用零补齐。这三个字节共有24个Bit，以6-bit为单位分为4个群组，每个群组以十进制来表示所出现的数值只会落在0到63之间。将每个数加上32，所产生的结果刚好落在ASCII字符集中可打印字符（32-空白…95-底线）的范围之中。每60个编码输出（相当于45个输入字节）将输出为独立的一行，每行的开头会加上长度字符，除了最后一行之外，长度字符都应该是’M'这个ASCII字符（77=32+45），最后一行的长度字符为32+剩下的字节数目这个ASCII字符。如果是一个 0字节那它应该被转换为0×60而不是0×20，因为（前引用’`'）优于 0×20（空格’ ‘)。

特点一：看到特点了吧，也是64字符，也是一组6位。怎么,怎么,跟我们的base64这么相似呢？是的，从这个定义中，我们确实发现它跟base64比起来很相似了。

特点二：它定义64字符，不用写映射表，是通过加32转换到可打印字符范围中。比起base64，更为简单！

思考问题：它的字符范围都是可打印字符，我们会发现64字符集合中，有很多是特殊字符:”!”#￥%&‘（）*+=’” 等等。这些字符在不同应用中，可能都有些特殊用途。因此，在使用该编码时候，或许会出现一些问题。我想这也许是UUencode编码方法，逐渐被Base64所取代的原因吧。

UUencode 64字符集

可打印字符
十进制ASCII值
uuencode
二进制表示
uuencode
十进制表示
 
可打印字符
十进制ASCII值
uuencode
二进制表示
uuencode
十进制表示
(space)
32
000 000
0
 
@
64
100 000
32
!
33
000 001
1
 
A
65
100 001
33
"
34
000 010
2
 
B
66
100 010
34
#
35
000 011
3
 
C
67
100 011
35
$
36
000 100
4
 
D
68
100 100
36
%
37
000 101
5
 
E
69
100 101
37
&
38
000 110
6
 
F
70
100 110
38
'
39
000 111
7
 
G
71
100 111
39
(
40
001 000
8
 
H
72
101 000
40
)
41
001 001
9
 
I
73
101 001
41
*
42
001 010
10
 
J
74
101 010
42
+
43
001 011
11
 
K
75
101 011
43
,
44
001 100
12
 
L
76
101 100
44
-
45
001 101
13
 
M
77
101 101
45
.
46
001 110
14
 
N
78
101 110
46
/
47
001 111
15
 
O
79
101 111
47
0
48
010 000
16
 
P
80
110 000
48
1
49
010 001
17
 
Q
81
110 001
49
2
50
010 010
18
 
R
82
110 010
50
3
51
010 011
19
 
S
83
110 011
51
4
52
010 100
20
 
T
84
110 100
52
5
53
010 101
21
 
U
85
110 101
53
6
54
010 110
22
 
V
86
110 110
54
7
55
010 111
23
 
W
87
110 111
55
8
56
011 000
24
 
X
88
111 000
56
9
57
011 001
25
 
Y
89
111 001
57
:
58
011 010
26
 
Z
90
111 010
58
;
59
011 011
27
 
[
91
111 011
59
<
60
011 100
28
 
\
92
111 100
60
=
61
011 101
29
 
]
93
111 101
61
>
62
011 110
30
 
^
94
111 110
62
?
63
011 111
31
 
_
95
111 111
63
 
 
 
 
 
`
96
(1) 000 000
64

UUencode编码转换过程

原始字符
C
a
t
原始ASCII码（十进制）
67
97
116
ASCII码（二进制）
0
1
0
0
0
0
1
1
0
1
1
0
0
0
0
1
0
1
1
1
0
1
0
0
新的十进制数值
16
54
5
52
+32
48
86
37
84
编码后的Uuencode字符
0
V
%
T

字符串：'Cat‘ 编码后是：oV%T

UUencode PHP实现过程

编码转换过程，与Base64类似！下面代码是实现过程，我们可以看看转换方法！

/**
 *uuencode编码*
 *@author 程默
 *@copyright http://blog.chacuo.net/
 *@param string $src 待处理字符串
 *@return string encode编码完字符串
 */
function c_uu_encode($src)
{
	///每次读取3个字节
	$lbyte = 3;
	////将原始的3个字节转换为4个字节
	$slen=strlen($src);
	$smod = ($slen%$lbyte);
	$snum = floor($slen/$lbyte);


	$desc = array();
	
	//将剩下字节以0字节补齐
	$src = $smod===0?$src:$src.str_repeat("\0",$lbyte-$smod);
	$snum = $smod===0?$snum:$snum+1;

	for($i=0;$i<$snum;$i++)
	{
		////读取3个字节
		$_arr = array_map('ord',str_split(substr($src,$i*$lbyte,$lbyte)));

		///计算每一个6位值
		$_dec = array();
		$_dec[]=$_arr[0]>>2;
		$_dec[]=(($_arr[0]&3)<<4)|($_arr[1]>>4);
		$_dec[]=(($_arr[1]&0xF)<<2)|($_arr[2]>>6);
		$_dec[]=$_arr[2]&63;
		
		///对每个6位值加上32，读取ascii码 如果6位值是0，以字符"`"代替
		foreach ($_dec as &$v)
		{
			$v = $v===0?'`':chr($v+32);
		}
		$desc = array_merge($desc,$_dec);
	}
	//return implode('',$desc);
	
	///以上代码只是进行转换，没有进一步进行
	//每60个编码输出（相当于45个输入字节）将输出为独立的一行，每行的开头会加上长度字符，除了最后一行之外，长度字符都应该是'M'这个ASCII字符（77=32+45），最后一行的长度字符为32+剩下的字节数目这个ASCII字符。
	$abyte = 60;
	$crlf = "\r\n";
	$alen = count($desc);
	$anum = floor($alen/$abyte);
	$amod = ($alen%$abyte);
	
	$adesc = array();
	
	for ($i=0;$i<$anum;$i++)
	{
		$adesc[]='M'.implode('',array_slice($desc,$i*$abyte,$abyte)).$crlf;
	}
	
	///截取后面剩余数组长度
	if($amod!==0)
	{
		///以下计算不满45字节编码情况
		$adesc[]=chr($amod/4*3+32+($smod?$smod-$lbyte:$smod)).implode('',array_slice($desc,-$amod)).$crlf;
	}
	
	return implode('',$adesc);	
}

 

以上只是按照转换过程，通过PHP代码实现方法！目前PHP没有UUencode转换模块！

该代码转换结果，跟使用工具转换结果一致。我查看了线上一些转换方法，很多结果不一致！最好，大家使用在线工具转换前，做一下比较！没有做过验证的代码，可能会给你带来麻烦！欢迎分享你的方法！

Base64实现转换原理

它是用64个可打印字符表示二进制所有数据方法。由于2的6次方等于64，所以可以用每6个位元为一个单元，对应某个可打印字符。我们知道三个字节有24个位元，就可以刚好对应于4个Base64单元，即3个字节需要用4个Base64的可打印字符来表示。在Base64中的可打印字符包括字母A-Z、a-z、数字0-9 ，这样共有62个字符，此外两个可打印符号在不同的系统中一般有所不同。但是，我们经常所说的Base64另外2个字符是：“+/”。这64个字符，所对应表如下。

编号	字符		编号	字符		编号	字符		编号	字符
0	A		16	Q		32	g		48	w
1	B		17	R		33	h		49	x
2	C		18	S		34	i		50	y
3	D		19	T		35	j		51	z
4	E		20	U		36	k		52	0
5	F		21	V		37	l		53	1
6	G		22	W		38	m		54	2
7	H		23	X		39	n		55	3
8	I		24	Y		40	o		56	4
9	J		25	Z		41	p		57	5
10	K		26	a		42	q		58	6
11	L		27	b		43	r		59	7
12	M		28	c		44	s		60	8
13	N		29	d		45	t		61	9
14	O		30	e		46	u		62	+
15	P		31	f		47	v		63	/

Base64编码转换算法、转换原理

转换的时候，将三个byte的数据，先后放入一个24bit的缓冲区中，先来的byte占高位。数据不足3byte的话，于缓冲区中剩下的bit用0补足。然后，每次取出6个bit，按照其值选择
ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/中的字符作为编码后的输出。不断进行，直到全部输入数据转换完成。

如果最后剩下两个输入数据，在编码结果后加1个“=”；如果最后剩下一个输入数据，编码结果后加2个“=”；如果没有剩下任何数据，就什么都不要加，这样才可以保证资料还原的正确性。

编码后的数据比原始数据略长，为原来的4/3。无论什么样的字符都会全部被编码，因此不像Quoted-printable 编码，还保留部分可打印字符。所以，它的可读性不如Quoted-printable 编码！

文本	M								a								n
ASCII编码	77								97								110
二进制位	0	1	0	0	1	1	0	1	0	1	1	0	0	0	0	1	0	1	1	0	1	1	1	0
索引	19						22						5						46
Base64编码	T						W						F						u

M的Ascii码是77,前六位对应值为19，对应base64字符是T，如此类推。其它字符编码就可以自动转换得到！我们看看另外不是刚好是3个字节的情况！

 

文本（1 Byte）	A
二进制位	0	1	0	0	0	0	0	1
二进制位（补0）	0	1	0	0	0	0	0	1	0	0	0	0
Base64编码	Q						Q						=						=
文本（2 Byte）	B								C
二进制位	0	1	0	0	0	0	1	0	0	1	0	0	0	0	1	1			x	x	x	x	x	x
二进制位（补0）	0	1	0	0	0	0	1	0	0	1	0	0	0	0	1	1	0	0	x	x	x	x	x	x
Base64编码	Q						k						M						=

Base64转换代码实现

既然知道了方法，那么我们如果要自己写个简单转换，好像也是很容易的！下面，我写下我做转换php代码！

 

/**
 *base64编码方法、本方法只是做base64转换过程代码举例说明，通过该例子可以任意改造不同语言版
 *@author 程默
 *@copyright http://blog.chacuo.net
 *@param $src 原字符串
 *@return string base64字符串*
 */
function c_base64_encode($src)
{
	static $base="ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/";
	
	////将原始的3个字节转换为4个字节
	$slen=strlen($src);
	$smod = ($slen%3);
	$snum = floor($slen/3);
	
	
	$desc = array();
	
	for($i=0;$i<$snum;$i++)
	{
		////读取3个字节
		$_arr = array_map('ord',str_split(substr($src,$i*3,3)));
		
		///计算每一个base64值
		$_dec0= $_arr[0]>>2;
		$_dec1= (($_arr[0]&3)<<4)|($_arr[1]>>4);
		$_dec2= (($_arr[1]&0xF)<<2)|($_arr[2]>>6);	
		$_dec3= $_arr[2]&63;

		$desc = array_merge($desc,array($base[$_dec0],$base[$_dec1],$base[$_dec2],$base[$_dec3]));
	}
	
	if($smod==0) return implode('',$desc);
	
	///计算非3倍数字节
	$_arr = array_map('ord',str_split(substr($src,$snum*3,3)));
	$_dec0= $_arr[0]>>2;
	///只有一个字节
	if(!isset($_arr[1]))
	{
		$_dec1= (($_arr[0]&3)<<4);
		$_dec2=$_dec3="=";
	}
	else 
	{
		///2个字节
		$_dec1= (($_arr[0]&3)<<4)|($_arr[1]>>4);
		$_dec2= $base[($_arr[1]&7)<<2];
		$_dec3="=";
	}
	$desc = array_merge($desc,array($base[$_dec0],$base[$_dec1],$_dec2,$_dec3));
	return implode('',$desc);
}

好了，通过这个例子，我想base64编码转换原理、算法有些了解了吧！它转换过程很简单，只需要做个映射表，然后将原先做一些移位运算就可以完成！我们通过该例子，是不是可以做个自己的base32这类的编码呢！欢迎朋友们交流！

最多时候，我们在邮件头里面能够看到这样的编码！Content-Transfer-Encoding:quoted-printable

它是多用途互联网邮件扩展（MIME) 一种实现方式。其中MIME是一个互联网标准，它扩展了电子邮件标准，致力于使其能够支持非ASCII字符、二进制格式附件等多种格式的邮件消息。目前http协议中，很多采用MIME框架！quoted-printable 就是说用一些可打印常用字符，表示一个字节（8位）中所有非打印字符方法！

Quoted-printable编码方法

任何一个8位的字节值可编码为3个字符：一个等号”=”后跟随两个十六进制数字(0–9或A–F)表示该字节的数值.例如，ASCII码换页符（十进制值为12）可以表示为”=0C”, 等号”=”（十进制值为61）必须表示为”=3D”. 除了可打印ASCII字符与换行符以外，所有字符必须表示为这种格式.

所有可打印ASCII字符(十进制值的范围为33到126)可用ASCII字符编码来直接表示, 但是等号”=”(十进制值为61)不可以这样直接表示.ASCII的水平制表符(tab)与空格符, 十进制为9和32, 如果不出现在行尾则可以用其ASCII字符编码直接表示。如果这两个字符出现在行尾，必须QP编码表示为”=09″ (tab)或”=20″ (space).

如果数据中包含有意义的行结束标志，必须转换为ASCII回车(CR)换行(LF)序列，既不能用原来的ASCII字符也不能用QP编码的”=”转义字符序列。 相反，如果字节值13与10有其它的不是行结束的含义，它们必须QP编码为=0D与=0A.

quoted-printable编码的数据的每行长度不能超过76个字符. 为满足此要求又不改变被编码文本，在QP编码结果的每行末尾加上软换行(soft line break). 即在每行末尾加上一个”=”, 但并不会出现在解码得到的文本中.

例如：If you believe that truth=beauty, then surely mathematics is the most beautiful branch of philosophy. 编码后结果是

If you believe that truth=3Dbeauty, then surely=20=
mathematics is the most beautiful branch of philosophy.

编码里面，有几个特定限定，一些可打印字符不用编码，当然如果你按照规范编码后，也一样可以显示的！因此自己简单自己实现该编码:

function quoted_printable_encode($string) { 
    return preg_replace('/[^\r\n]{73}[^=\r\n]{2}/', "$0=\r\n", str_replace("%","=",
rawurlencode($string))); 
} 

一个函数就可以，将所有字符串urlencode转换后，%号替换为”=”号，然后对非\r\n超过73连续字符，后面加一个=\r\n。这个是简单实现方法！ 按照该编码详细说明里面，有些空格、换行，还有一些特殊字符可以不用转换。不过一起转换了，也不会有影响！

很多时候，我们用些常见字符表示所有8位其它非打印字符，这种通过，Quoted-printable编码，只是对该字节转为16进制后，做简单增加前缀！然后做些特殊字符处理即可！ 它的简单，及编码高效，也让该编码在邮件格式里面，得到了广泛使用！好了，就到这里，欢迎交流！

从这个图，我们可以看到这类编码应用很广泛，那么我们一起看看，iso-8859-1字符集，到底是什么样字符集，有那些字符！为什么，它应用可以这么广泛！

计算机上面流行第一个字符集，是ascii码，是0-127 一个128字符。每个字符在里面有个对应编号，分别是0-127。如果用二进制表示，刚好是7位。这个字符集，在前期表示英文字符已经足够。后来，随着计算机普及，越来越多国家（欧洲），开始应用计算机，他们发现7位，共128字符。已经不能描述他们常用的字符了。因此想到要兼容ascii字符集，就指定了扩展ASCII字符集。最多是0-255,256个字符。其中0-127 128字符及位置编码 完全兼容ascii码。只是扩展了128-255位置编入了新字符！

该字符集，完全兼容ascii字符集，并且是刚好可以用一个字节表示里面所有字符位置。又称为扩展Ascii码！这也是第一个iso-8859-1字符集。又叫：Latin-1 编码(西欧编码)，后来陆续出了iso-8859-2…-15字符集。都是完全兼容ascii码的。

 

说下几个概念吧，什么是字符集，什么是字符编码?

1、字符集，表示由一些指定的字符的所组成集合！ascii字符集，里面有128个字符

2、字符编码，每个字符集中字符，都有一个固定的编号，也叫该字符在字符集中的的编码！如：ascii字符集中，a 字符编码是97。

相同字符，会出现在多个字符集中吗，相同字符在不同字符集中编码一样吗？

从上面例子，我们可以看到，ascii字符集、iso-8859-1字符集 有128个字符相同的。经常相同的字符，可以出现在各个字符集中。但是，每个字符集对字符编号方式可能不同，因此，相同字符，在不同字符集中，编码结果可能不一样。当然，也有一样的！象ascii中所有字符编码，在iso-8859-1字符集中，都一样的。

 

弄清楚关于、字符集，字符编码概念。我们还有几个必须掌握的。就是，计算机是怎么样储存，显示字符的呢？

一个文件有很多符号组成，各式各样的！实际，计算机在存储时候，只是写入该字符所对应的字符编码值。将它存于磁盘或者在网络中传输！如果要显示时候，通过对应字符集中，字符编码值。然后可以转换到计算机 通用的字符集的对应字符编码。计算机每个字符形状，图像长相，都在字体中。然后，通过转换得到通用字符集的字符编码，找到对应的字符，及字体形状，然后显示出来！

字符在计算机存储、传输都是该字符所在字符集中编码值 

好了，中间我们对字符概念做了很多的阐述、说明！下面，我们继续本页主题iso-8859-1字符集了。 它为什么能够这么广泛应用呢？

我们知道，单字节最多可以表示256字符，实际上很多字符（目前unicode有几十万字符），都需要用多个字节来存储！计算机在存储传输都以字节为单位！因此单字节的： iso-8859-1 是存储的最小单元。所以，无论你是多少个字节组成的字符，以单字节一个一个存储、传输！都不会改变原来的值，都可以很好保存它的值！计算机乱码，出现在显示的时候，在不正确的字符集中，查找对应字符编码的字符！经常是，编码选择字符集，跟做显示选择字符集不一致造成的！

在复制文件、传输文件不会造成字符编码问题。而出现问题时候，是字符做显示，或者将显示字符存储的时候，会出现问题！好了，这里面说的是iso-8859-1 其实，更多的是说说，字符编码的一些常识！明白这些，对于iso-8859-1的一些特点理解，可能 更容易了！

可能以前有朋友就问，我mysql是存中文的，为什么我选择字符集是Latin-1 ，是不是就出现乱码了。其实不会，它只是将接到任何字节，按照单字节，逐个逐个存储的。然后，读取时候，也逐个逐个字节的读出。没有改变任何保存内容，也没有做任何编码转换！这是，最为安全的！好了，就到这里了，欢迎朋友们交流！

这里我观点是，应用对参数检测可以分为2个关卡，第一个关卡可以是，保证参数输入安全。第二个关卡是保证它是业务所需要的值。一个应用，保证安全是最基础的。我们第一关检测参数，怎么样做比较好呢？

标识参数方法？

所有web传入都是字符串，我们怎么样标识字符串呢？字符串都是有字符组成的，常见是ascii码，对于中文网站，有gb2312,gbk等字符。从这里看，字符个数会很多。它们之间如果做长度不一组合字符串，将会更多了。 因此，再一次说明，不要用现在字符串方法，来检测！有可能你需要限制是无底洞！可以说，对于我们一个web应用参数，90%以上，基本在ascii码就可以，很少参数会突变到这100多个字符范围。所以，标识一个字符串，可以从以下2个方面来限制：

1、字符串 中字符范围 （如：如果是手机号0-9，用户名可能是字母+数字之类）

2、字符串 长度 （如手机号是：11位，用户名可能是：6-15位）

以上方法可以保证，不在用户需要字符范围的字符，一定不能进入后端！我们看看一般例子！

<?php /** *读取get值 *@copyright http://blog.chacuo.net *@author 8292669 *@param $k string get参数名称 *@param $p string 正则表达式内容 *@return string|array 读取值 */ function input_get($k,$p='.*') { $v = isset($_GET[$k])?$_GET[$k]:''; if(is_array($v)) { $_v = array(); foreach ($v as $k=>$_v1) { $_v[$k]=!preg_match("/^".$p."$/",$_v1)?'':$_v1; } return $_v; } return !preg_match("/^".$p."$/",$v)?'':$v; }

测试：var_dump(input_get(‘a’,'\d+’),input_get(‘b’,'\d+’));  读取a,b参数，都为数字的！

因为参数b输入是：2ccc，因此不是0-9字符。所以返回为空字符串！

上面这样每次输入正则表达式确实很麻烦的，其实，一个应用，业务字段，应该都比较固定，我们可以再在该基础上面，进一步封装些，取独立业务字段函数。如：input_getUser($k) 专门读取用户名，input_getQQ($k)专门读取QQ号。如此类推，然后我们发现真的需要独立写检测的变得非常少了！

怎么样限制中文字符？

我有一个真实姓名框，需要输入真实姓名！我该怎么样检测？我们知道常见中文字符表是gb2312，其实中国人取名字现在都需要在常见汉字里面挑选。也就是在区位码表中找。所以，我们问题就变成了，怎么样检查用户输入是不是在gb2312字符集中。gb2312是多字节的，一个中文都是2个字节。只要我们先对好范围就可以了。 gb2312字符集表，我们可以查看：http://doc.chacuo.net/gb2312 ，

第一个字节范围是：A1-F7 第2个字节范围是A1-FE ，因此我们正则表达式可以写成：[\xA1-\xF7][\xA1-\xFE] 就可以对2个字节限制了。 “怎么拿过去用不了?”，这里我们做中文限制，只完成第一步，在指定字符集中，找好需要用到中文的字符编码。第二步，就是你要将原字符串转码为该字符集编码。如：你如果是utf-8编码，你需要将获取字符串先转码为gb2312，然后再用gb2312字符位置 正则表达式来检测！ 如果，你不转码，你发现刚刚找的那个字符位置正则表达式毫无用处了！通过这个，我们注意做中文位置检测时注意：

1、选择好字符集，找好字符位置，准备好字符范围的正则表达式

2、将待检测字符串，转码为选号的字符集的编码

现在，我们知道了字符串检测方法了，无论简单参数、还是复杂中文字符参数！我们都可以轻松完成了！通过字符串中字符范围定位需要字符在实际检测中，非常安全！ 因为，很多经常出现问题字符，都不会出现在应用的参数中！只要我们保证第一个关卡，只允许包含业务相关的字符的字符串进入！应用安全，基本上没有问题！好了，就到这里吧！欢迎朋友们发表自己观点！

head头标签里面，有另一个不起眼的标签。那就是：Link标签。<link> 标签的作用是定义文档与外部资源的关系，最常用的是链接样式表。

<head>
<link rel="stylesheet" type="text/css" href="header.css" />
</head>

以上是链接样式表，这是常用的方法。其实它还可以做文件导航、以及seo方面都可以有用途。我们继续往下吧！

Link属性介绍

属性	值	描述
rel	alternate appendix bookmark chapter contents copyright glossary help home index next prev section start stylesheet subsection icon (后来补充)	定义当前文档与被链接文档之间的关系
rev	alternate appendix bookmark chapter contents copyright glossary help home index next prev section start stylesheet subsection	定义被链接文档与当前文档之间的关系
href	URL地址	定义被链接文档的位置
type	定义媒体类型 MIME_TYPE	指定被链接文档的 MIME 类型
media	screen tty tv projection handheld print braille aural all	规定被链接文档将显示在什么设备上
charset	字符编码如：utf-8,gb213等	指定被链接文档的字符编码方式
hreflang	语言2字代码 language_code	指定被链接文档中文本的语言

其它标准属性：

1、核心属性 (id,class,style,title)  分别是id号，样式名称，单行样式，title描述

2、语言属性(dir,lang,xml:lang)  分别是 文本方向、语言

3、键盘属性(accesskey,tabindex) 分别是 快捷键、tab建索引

以上属性也具有!

SEO相关的使用属性

1、canonical属性值

当一个站点，有几个内容一致的页面（相同内容，有多个url地址），这样页面多的出现、会因为大量重复内容出现，被搜索引擎降权！因此，我们可以利用该属性指定页面出处！

如：http://blog.chacuo.net/332.html    http://blog.chacuo.net/?p=332

两个是同一个内容，那么我在http://blog.chacuo.net/?p=332 加入：<link rel=’canonical’ href=’http://blog.chacuo.net/332.html’ />
告诉，搜索引擎，这个页面与322.html一致，以322.html为准，不要收录p=322页面。

2、next,prev,home等属性值，带连接的导航作用

例如：当前页是332.html，里面有：

<link rel=’prev’   href=’http://blog.chacuo.net/331.html’ />  <link rel=’next’   href=’http://blog.chacuo.net/333.html’ />它相关的上一个页面是331.html，下一个页面是333.html。不过，目前搜索引擎对这些支持不是很好！基本作用不大！

小结：

link，rel属性有多种，现在也有新的扩展，例如wordpress中，我们可以看到：EditURI,wlwmanifest属性。我们也可以自己定义新的属性，不过已经确定了名称属性。它的作用已经固定，我们得遵守它的本意！

meta组成部分

meta标签共有两个属性，它们分别是http-equiv属性和name属性，不同的属性又有不同的参数值，这些不同的参数值就实现了不同的网页功能。

name属性主要用于描述网页，与之对应的属性值为content，content中的内容主要是便于搜索引擎机器人查找信息和分类信息用的。

http-equiv相当于http的文件头作用，它可以向浏览器传回一些有用的信息，以帮助正确和精确地显示网页内容，与之对应的属性值为content，content中的内容其实就是各个参数的变量值。

Meta标签属性

属性	值	描述
http-equiv	content-type Content-Language Pragma expires refresh set-cookie	把 content 属性关联到 HTTP 头部。http协议返回头，都支持！
name	author description keywords generator revised others	把 content 属性关联到具体属性的值
content	对应（name,http_equiv）选择属性的值	定义与 http-equiv 或 name 属性相关的元信息。

http-equiv response返回头控制

常用来说明页面类型、编码，重定向，以及缓存控制方面！

1、Content-Type和Content-Language (显示字符集的设定)

<meta http-equiv=″content-Type″ content=″text/html; charset=gb2312″>，当前页面是text/html类型，页面编码是gb2312，也可以简写为<meta charset="gb2312">，语言控制：<meta http-equiv="Content-Language" content="zh-cn" /> ，说明该页面是简体中文

2、refresh 自动刷新并且指向新页面

<meta http-equiv=″refresh″ content=″2; URL=http://blog.chacuo.net″>，2秒后，页面自动进入http://blog.chacuo.net

3、Expires（过期控制）

<meta http-equiv="expires" content="Fri,12 Jan 2001 18:18:18 GMT">，可以用于设定网页的到期时间。一旦网页过期，本地缓存将失效，必须重新从服务器读取信息！

4、Pragma(控制缓存模式）

禁止浏览器从本地计算机的缓存中访问页面内容，<meta http-equiv="Pragma" content="no-cache"> 。本地浏览器不保存内容！禁止缓存可以加上：<meta http-equiv="Cache-Control" CONTENT="no-cache"> ，这样一起控制！

5、set-cookie（设置cookie值）

用法：<meta http-equiv="Set-Cookie" content="kkk=ddd; expires=Thu, 11-Jul-23 11:32:15 GMT; path=/; "> 设置cookie，名称是kkk，值为ddd,过期是2023-7-11 19:32:15秒！

帮助主页被各大搜索引擎登录、其它

1、Keywords 描述页面关键词

<meta name="keywords" content="政治，经济，科技，文化，卫生，情感，心灵，娱乐，生活，社会，企业，交通"> ，便于搜索引擎，快速定位页面主题！

2、Description页面简介描述信息

<meta name="description" content="程默博客是一个关注web安全、性能、框架，以及服务器性能、服务器架构、服务器安全,是一个值得Web开发朋友收藏的博客。"/> ，对页面简单描述概括！

3、Author页面所有者

<META name="author" content="chengmo"> 该页面作者是：chengmo

4、Copyright 版权说明

<META name="copyright" content="&copy; 2013 chacuo.net"> 版权信息描述！

5、Date 开创时间

<META name="date" content=”2013-7-11T19:49:37+00:00”>页面开创时间！

6、robots（机器人向导）

说明：robots用来告诉搜索机器人哪些页面需要索引，哪些页面不需要索引。content的参数有all,none,index,noindex,follow,nofollow。默认是all。举例：<meta name="robots" content="none">不索引该页，并且该页里面所有连接也不搜索索引！

以上是meta常见应用，可以对页面进行信息描述，也可以对搜索引擎进行引导！特别是它的属性及值，没有进一步的定义。随着不断应用，可能在后面我们还会扩展出新的属性，以及它对应值！它为今后的扩展预留很多的空间！也有些浏览器，还支持：进入、退出动画，窗口定义，分级定义。不过它不能很好在所有浏览器中兼容，一次没有一一列举！欢迎交流！

主要问题出现在3个方面：

1、对检查认识不够！经常忘记必要参数检测，特别对于一些页面只是传值，而没有写入到后端存储的参数，更是很容易遗漏！

2、对那些是输入的、那些是系统环境参数 有些没有明白，导致错误的放过该检查的参数！

3、检查方法不正确、往往检查过后，还存在问题！

我说说自己的一些看法吧，所有一切首先要认识到参数检查的重要性！

为什么要参数检查？

我们还是从生活中来看吧，现在社会上，下班回家进入小区，门口保安要检查门卡，有卡才可以进入！到公司了，进门禁系统，公司需要刷员工卡，然后进入公司！现在学校、机关等等，我们发现都会有个检查的，大家都很清楚，它的目的是保证大家安全，让一些自己允许的人才可以进入！我们发现，所有检查地点，都是在分界隔离地方，也就是在进入的入口上！

从上面这些场景，我们发现生活中，为了我们安全！在进入一些私人区域，都有检查口。其实web检查也是可以比拟的！web参数是最前端用户与系统接口地方，因此这个地方检查是必要的！我们只能允许满足要求的进入后端系统！这也是保证后端系统安全的前提！

漏掉该检查地方隐患！

这个问题，同样存在！前段时间，听到一个新闻，一个很高档的小区有很好的安全门禁检查！但是，它的地下车库到楼上，就没有增加检查！后来，一些别有用心的人，专门租车，从地下车库上到居民楼，进行偷盗！还有个新闻，一个小区进门地方，如果是单人的话，会检查，但是如果你开车进入，特别是名牌车！基本上不检查！后来，也导致一伙别有用心的人，驾车进入偷盗！我们做web应用，一定要知道那些参数来源于用户端输入，php代码里面的：$_GET,$_POST,$_REQUEST,$_SERVER,$_COOKIE,$_FILES等。那些来自用户，那些是系统！清清楚楚，明明白白检查！

怎么样检查才正确？

这些我们也可以看看现实生活中，我们发现公司、小区、学校，每个进入的人，都要有一张发的卡，只有持卡人才可以进入！这个是限定用户范围的，只有限定范围才可以进入！这种检查方法，很常用的，也很安全！换个思路，如果小区里面，认为自己小区高档，来小区的都穿着不错。因此，把检查改为：穿正装可以进入！这样一来，如果刚好小区里面有人因为某种原因，而穿着匆忙，可能不让进入！而另外，对于别有用心的人，买套正式衣服应该很容易！因此，也很容易逃过检查！

从上面两个例子我们不难发现，生活中经常检测是：通过发卡，限定用户群；而少用排除法方法！这也是，我们web参数检查中推荐的方法，限定参数的范围；不做、少做参数过滤替换检查！

好了，上面这些方法其实都来自生活，大家一看都明白！如果真的遇到做参数检查时候，有些迷糊！不妨想想生活中例子！其实，程序都是解决实际生活中问题，并且很多都来自于生活！参数需要检查、并且需要正确检查！下一节我将，谈谈对于参数检查范围检查的一些自己看法！欢迎大家交流！

源字符串：<script type="text/javascript">adsfadfsdasfsdafdsfsadfsa</script>

匹配要求，匹配<script….>….</script>标签里面所有内容，包括改标签

常见写法(1)，因为<script后面可能出现字符、空白、特殊符号等，还有标签里面也可能出现各种js代码。我们简单方法是：

正则表达式：<script.*?>.*?</script> (测试工具使用了：regexBuddy)

总共花费115步，回溯了：48次。 因为我们使用”.”字符，匹配默认情况下除了\n之外所有字符。

方法（2），我们分析特点发现，<script…>后面，应该是除了”>”之外都可以字符，然后一对<script>标签里面js内容。可以定义为除了”<”之外。（这里面我只是举例说明优化方法，实际网页中script标签里面，常见都会出现有”<”字符了）

正则表达式：<script[^?>]+>[^<]+</script>

19步，0次回溯！ ，步骤只有原先的15%左右，性能几倍的提升了！

从上面我们看到，不同正则表达式，对通用字符配平，性能相差会很大。减少“回溯”是最好的方法，减少回溯其中最主要的方法是：”用最小范围的元字符，尽量避免用过大的元字符！”。一般规律如下：

1、使用正确的边界匹配器（^、$、\b、\B等），限定搜索字符串位置

2、使用具体的元字符、字符类（\d、\w、\s等） ，少用”.”字符

3、使用正确的量词（+、*、?、{n,m}），如果能够限定长度，匹配最佳

4、使用非捕获组、原子组，减少没有必要的字匹配捕获用(?:)

如：我想匹配一些英文字母，它后面接的是数字。如：abc1234,我可以写 “\w+\d+”，也可以写”[a-zA-Z]+\d+” ，其中第一个\w+会先匹配所有abc1234，然后回溯，匹配满足\d+格式。一共4步，而后面这个只需要2步，步骤减少一半了！好了，今天就先到这里，欢迎大家讨论、交流！

对于Jsonp漏洞，这里我就不细说了，详细可以看：Jsonp常见安全漏洞分析(京东商城Jsonp 漏洞分析) ，从上面文章，我们知道jsonp是可以跨域名调用的。这个漏洞是：没有授权网站，可以直接在该站点访问jsonp接口资源。可能有朋友会问题：“这个漏洞有什么影响呢？”，一般我们常见有：

1.对于存在漏洞的网站来说：jsonp资源给外部调用，浪费接口资源，也给调用带来压力

2.利用者，可以通过jsonp获取网站资源，构造钓鱼站点，或者给用户发送钓鱼站点。获取用户在漏洞网站上面的用户信息（用户登陆情况下），或者偷偷操作用户功能！

具体我们看看实例：

我们看看，如果有个另外域名站点，怎么样调用该信息！

<?php header("Content-Type: text/html; charset=utf-8"); ?> <script> function jsonp13724(d) { console.log(d); } </script> <script type="text/javascript" src="http://my.jd.com/order/rec.action?jsoncallback=jsonp13724"> </script>

总结，通过上面例子，对于jsonp跨站访问，带来资源别越权调用漏洞。我们应该知道了它的原理。如果要防止这类越权访问，我们一般只需要对访问来源：reffer进行授权 这是最简单的方法！ 也是最常用方法了。如果有朋友会问，这个漏洞有什么危害呀，看起来好像没有什么问题？如果一个站点别有用心站点(这里叫A站)，在京东商城上面发了一个链接。有不小心朋友点过去。这个时候，你刚好自己登陆了。这个时候，A站就可以悄悄读到你在京东商城一些信息了。到此，对京东商城jsonp漏洞都分析完毕，国内这么大一个商城，在这个方面使用，几乎没有做任何检测，确实有些不应该！希望，以上分析对即将应用jsonp朋友有所帮助！也需要大家发表自己看法！

GBK字符集漏洞注入原理

<?php $u=isset($_GET['u'])? $_GET['u']:''; $u=addslashes($u); $sql = "select * from user where user='$u'";

以上是我们写的一个测试例子（GBK编码），现在很多开源系统，比较少的进行统一参数过滤，有时候为了防止注入，就直接对参数进行转义处理。我们看看，这样一个例子，我们怎么样注入进系统！

步骤	备注
1.传入值%D5%27 or 1=1#	u参数参入上面值 (%27 对应是“’”  单引号字符)
2.GET获取的值	0xD50x27 or 1=1#
3.Addslashes后值	0xD50x5C0x27 or 1=1 (意思是：誠’ or 1=1#’)  #字符后面被注释掉
4.sql值 将变成	select * from user where user=’誠’ or 1=1#’
#号是sql注释符号，后面字符将截取掉

GPC转义打开，或者是通过addslashes函数，会自动在字符是单引号（‘）、双引号（"）、反斜线（\）与 NUL（NULL 字符）等字符前面增加“\”字符（0x5c)，例子里面，我们采用一个特殊前面字节0xD5，它将与该字节组合变成：0xD50x5c ，刚好是gbk字符集中字符：”誠“ 了。 后面的0×27这个单引号被保留下来了！

GBK字符集漏洞注入总结

呵呵，这个很有意思吧，好了。我们来总结下，这类注入是2个条件的。第一是：gbk编码，第二是：程序采用了转义方法，转义了输入。 这2个条件不苛刻，目前大部分开源系统都有gbk,utf-8编码的源码，剩下的就去看看，源码里面有没有用类似转义方法，过滤字符串了。如果有，那么这个系统某个功能，你可以去渗透下了。这个编码漏洞，网上面提的很多，不过很多时候，没有引起开发人员的足够重视，还是在不断的重现！

那么我们如果要注入一个参数，我们该选择什么样的入参参数呢？其实这种转义字符是单引号（‘）、双引号（"）、反斜线（\）与 NUL（NULL 字符），我们这些字符往往在程序中有特殊作用，我们只需要在前面加一个在>7F字符，后面接一个%27（‘）、%22（"）、%5C（\）、%00（NULL 字符），就可以自己让这4个字符，可以逃脱转义了。

好了，这个漏洞原理及注入过程分析就这些了。我们开发时候，需要注意这个问题，特别是使用GBK编码开发程序，要有这个方面的预备知识，对于自己开发安全的代码会有帮助的。更多的GBK编码，可以看http://doc.chacuo.net/gbk ！（这里有很多落在5c中文字符呢）也欢迎讨论！

多字节编码由来

我们先来看看最常用的，最小字符集是ascii，对应的二级制可以表示为：00-7F 编码 。它也是我们计算机使用最早通用的字符集。前期几乎可以表示所有英文字符。后来，更多使用计算机国家加入后，我们就想在计算机中表示中文字符。我们知道常见中文就有7000多个字符。ascii码就只有128字符，只有0-127编码位置，远远不够用了。因此，我们就开始制作更大字符集，并且保证兼容ascii编码。要支持更多字符，选择更大字符集。我们只能用多个字节来描述一个字符了。为了很好的与ascii码，区分开来！一般做法是：每个字节值都大于>7F，如果是2个字节，那么就是：[>7F][>7F]。这样编码，保证很好的与ascii区分开，并且扩大了字符集。像gb2312范围在[0xA1-0xF7][0xA1-0xFE](中间很多没有填满)，它完全保证所有字节在A0之上，也就完全满足在7F之上了。

GBK编码漏洞缘由

通过上面的分析，我们知道gb2312编码是很好的跟ascii码分开了。 那么我们看看，GBK编码呢，它是完全兼容gb2312（就是说在gb2312字符集中每个字符位置，与gbk字符集里面位置完全一致，而且包含于gb2312)，但是，它有2万多个字符。从上面看，只能选择往下排序了。 就是从A1A0往下排了，我们发现它编码实际范围是：[0x81-0xFE]([0x40-0x7E|0x80-0xFE] ) （GBK编码），我们发现由2个字节组成，首字节范围在7F之上，而第2个字节，有一部分在0×40-0x7E了。这就是导致bug原因。我们看看下面例子吧！

从ASCII码表中，我们知道0×40-0x7E 包含字符有：“A-Za-z@[\]^_`{|}~”，一共有63字符呢。

选择gbk编码，运行上面代码，就一条简单的命令导致出现错误，说字符串 赋值 没有结束！ 呵呵，估计很多人看到这个就会认为是php 出Bug了。但是，如果我们变成$a=”誠a”，发现可以正常运行了。是不是觉得很奇葩啦！！

 

原因分析:我们知道文件存在磁盘都是二级制方式，无论你存什么字符，最终都是以该字符的在所选字符集中字符编码保存。php解析时候，最小分析单元是字节。无论你是多字节还是单字节字符。最终都是按照字节来处理的。“誠”  GBK编码是 D55C，php按字节来解释，5C对应字符是“\” 字符。后面直接跟个‘”’，相当于被转义了。 因为没有闭合，因此出现错误！。大家看出问题所在了吧，按自己处理的话，会自然把多字节拆成单字节了。这样就会出现很多奇怪问题了。

总结：通过上面讲解，我们知道了多字节编码过程，以及GBK导致简单程序出错的原因。其实，我们很多程序语言里面，都会以单个字节来解析的。这样，当你选择多字节GBK编码中文时，刚好有字节落在特殊位置，将会出现奇怪错误问题。而且，还将给系统带来本身的漏洞，后面我再说说，GBK编码缺陷，导致漏洞、以及专门利用该编码漏洞缺陷进行系统入侵！好了，先到这里了，欢迎交流！

题外话

为什么我选择是京东商城来分析它的jsonp 漏洞呢，其实主要原因最近6.18一直在做活动，我也买了不少便宜东西。现在该商城越做越好了。它系统也非常庞大，速度性能也很好。当时在购物时候，只是想看看，它的系统分离设计方面。通过分析页面http请求，发现有很多jsonp调用（也许跟换域名有关系，2种域名都可以访问，中间用jsonp交换数据），于是就看看，jsonp常见2种安全方面，有没有做处理。结果一测试。发现完全没有做任何处理，几乎是完完全全暴露出来。个人认为，对于这么大站点，这一点还是头一次遇到！居然，没有任何参数处理、以及资源授权！

京东商城Jsonp xss漏洞分析

我们看到，该请求就是一个jsonp，

默认返回：jsonp13**********({“Identity”:{“Name”:”",”IsAuthenticated”:false}})，我们知道callback传入参数，会在response中 作为函数调用名称返回！

分析callback 字符范围

1、测试下有没有屏蔽常见特殊字符” <> ()’”;. {}“，以下这些字符，经常会用到xss里面的。

到这里，分析说明这里存在着xss注入漏洞的。而且，可以选择很多种方法注入！ 本编文章，旨在说明jsonp xss漏洞成因！不会具体去扩大漏洞拿到其它什么权限。以下还有个很有意思事情，callback其实，jd对一些特殊字符串做了处理的。我们看看：

从上图中，我们可以看到，京东商城，对输入callback对一些特定的字符串进行了屏蔽处理！这也是，我们做xss漏洞检查时候，经常出现问题。屏蔽字符串能够屏蔽完吗？常见26字符，长度不一任意组合。该有多少字符串呢？ 很多朋友，在做安全检测时候，就是屏蔽某些觉得很不安全的标签就认为安全了。 其实，我们发现这样做法只能是一时安全，过不了多久，你会发现又有新的字符串出现。你会为此花费大量的人力物力！好了，做类似事情，我们最好方法是，认证那些觉得安全的字符，予以放行！

其实，为什么用白名单方法放行允许的字符呢？ 而不是去过滤一些字符串。原因刚刚说了，字符串太多了。过滤不过来！另外是，我们自己每个业务参数，会用到那些字符其实我们更清楚。另外有人会问，为什么不去屏蔽不用的字符呢？我们知道基础ascii码有0-127,128字符。往往我们，不会用到的字符可能更多呢，我们去过滤不会用到字符，有时候更困难！

正确检查jsonp callback方法

建议收到callback函数对它进行白名单字符范围检测！我们可以用一般函数检测规范来检查就可以了。 既然它是一个函数名称，一般都是字符+数字+下划线+点号（对象分割）。那么我们检测变得非常简单，代码类似如：

1 2 3 4 5 6 7

<?php $callback = isset($_GET['callback'])?$_GET['callback']:'';   if(!preg_match("/^[0-9a-zA-Z_.]+$/",$callback)) { exit('参数错误！'); }

后记：以上是分析一个jsonp xss漏洞过程。要检测一个站点是否有该漏洞，其实简单方法，就是看通过参数传入进去的特殊字符，是不是原原本本的response 返回出来。 如果有朋友问我，怎么样利用该漏洞，它能做点什么？ 你可以把它比作一个蚁穴，能带来多大危害，看蚂蚁怎么样啃食啦！这些年，sql注入几乎难找了，不过xss漏洞是头号杀手。只要有xss漏洞出现，几乎可以做到无所不能，就看利用的人怎么用了。 以上漏洞，我反馈京东商城，这么好的一个网站，不能因为这个小小xss，给用户带来大的安全隐患了！最后，欢迎朋友提出自己建议！还有一个忘记说了，就是它的jsonp访问权限完全没有限制，下次再分享吧！

JSONP跨域请求例子

传统的ajax ，往往是 XMLHttpRequest ，读取一个接口，返回类似: {“Name”: “小明”, “Rank”: 7} json值。一般我们都采用xmlhttprequest方法通过状态判断执行请求是否完毕。

JSONP的使用模式里，该URL回传的是由自定义传入函数名，动态生成JSON作为该函数入参，这就是JSONP 的“填充（padding）”或是“前辍（prefix）”的由来。

请求：

<script type="text/javascript"
         src="http://www.example.com/RetrieveUser?UserId=1823&callback=parseResponse">
     </script>

返回：

parseResponse({"Name": "Cheeso", "Id" : 1823, "Rank": 7})

parseResponse是传入参数值决定的，这样好处通过script标签可以解决跨域问题，并且只要script src地址加载完，js解析引擎就开始执行src地址返回 js内容了。 我们使用者不用关心，什么时候src地址加载解析完。只用写好接收函数：parseResponse，到时候自动回执行该项目。比传统ajax确实多了很多方便！目前，象google翻译，地图等都用该方法。实现了跨域及异步调用！

JSONP漏洞将来自哪里？

它给我们带来的发布，是毫无疑问的。那么它将会有哪些漏洞呢？首先，我们知道，一切输入是有害的。传入callback 值会在结果里面直接返回。因此，如果该参数过滤不严格。可以随便输入：callback值为：alert(‘1’);parseResponse  字符串。返回结果会打印个alert窗口，然后也会正常执行。

那么另外我们知道，flash是可以跨域的。flash请求外部资源，现在都有个”crossdomain.xml”，可以授权允许那些来源的站点，访问指定站点的资源。其实目的就是为了防止，资源被越权调用了。 如果我们不对其授权，那么任何网站都可通过：创建script标记，读取我网站资源了！这个安全项，也就是是否有对访问来源进行了授权访问！

JSONP漏洞总结：

知道了JSONP漏洞点主要有：callback参数注入、资源访问授权设置！我们其实，可以通过这2项，来检测我们的做的JSONP项目，里面是否有安全隐患了。好了，今天先分析到这里。这些漏洞都是，技术实现型漏洞！只要，我们明白了方法，杜绝是很容易的。之所以会出现类似安全隐患，更多来自，不知道这里有类似安全问题！ ，题外话、发发感慨！！现在网上看到很多教程，以及书籍都只会讲，怎么样使用某个功能，它的方法、技巧等等！很少解决，技术功能点安全避免漏洞的调用方法！做一个功能很重要，但是我始终认为，开发一个安全、稳定功能是最基础的前提。 如果做的功能不安全，稳定！它急着上线，只会带来更大的风险、或是损失！！！   欢迎大家交流，提出更换的建议！（”什么？这里不是说京东商城有JSONP漏洞吗？“  ”对!没错！” 今天我这里分析漏洞点，大家可以找找京东商城这方面使用漏洞，我们下次分享实例！)

作为一名web技术开发人员，也是我们说的IT人员。 刚刚入门时候，会发现有很强的兴趣。天天会遇到新的事情，可以不断做一些新的功能。到后来，会发现。自己所做的工作，技术点都差不多，然后感觉学习东西越来越少。最后，也慢慢对该行业兴趣不强烈了。 而后，慢慢有些油了。 总是感觉学习知识是在炒旧饭，很久也没有感觉到自己的提升。 这个时候，也就是我们经常说的技术瓶颈。

怎么样突破技术瓶颈

我们知道，行行出状元。并且能熟能生巧，那么我们做技术是不是做的多，也自然而然会成为状元，会生巧呢？ 确实，作为web技术人员，做得多，对自己编码速度，处理问题提升会很多。 但是，却又不完全成正比。我们发现很多时候，看似我们做系统技术点工作，但是很少有相同产品。只是技术实现类似而已！作为技术人员，我想主要提升方面是：技术广度、另外是技术深度

技术广度，可以从web人员，学习技能入手。可以看看，前面一篇文章：web前端开发人员技能点汇总、技术详细列表  ，这一般很容易理解，也很容易学习到。基本上是这些功能点而已。 但是，另外技术深度，就很难把握！它像水面有张力一样，一般很难沉下去。这里，我们可以想象下，为什么会这样。

技术深度非常重要。作为一名web开发人员，很多都是通过培训，或者自己感兴趣，然后看看书，去模仿模仿，有人指导下。 然后就是一名web人员了。 但是，所有经验大多数来自实际总结，但是，实际我们缺少了，web开发原理东西。这方面一般很少有朋友喜欢整本整本书看。一般习惯网上看看，别人分享经验技巧。这样一来，对学习只是也是很零碎的。这些都是导致想深入学习的原因。

要深入，我们必须对一个问题，首先是了解它是什么，然后是怎么样使用，最后是为什么它会达到这样结果。也就是我们常说的，刨根问底！很多时候，web人员，喜欢”功能开发完了，就OK了”， 也不会去寻找该功能实现本质，有没有其它更好方法。这样，你将始终停留在使用功能。不停重复使用相同功能。 其实，有人说要做好一名技术人员，必须有所追求 ，其实就是需要有刨根问底的精神。要能每次做同一个事情，都有新要求。我的代码结构，性能、安全、扩展性等方面。是不是提升了。这些都可以是具体提升的一些方面。

因此，要提升自己技术深度方法。就是，每次再实现一个方法方面，有所创新，有所改进。无论是结构，还是性能，还是安全，还是其它等等方面。你会发现，在改造同时，自己对该项知识掌握就自然深入了。 越来越了解该项技能本质了。 做一个有技术追求的人，是能很好的提升自己的广度、深度的！

好了，以上是我对技术成长方面，广度、深度理解。欢迎朋友有不同方法，可以给予建议！

分组模式举例说明

如：查找字符串中，连续出现多个win字符串的字符。可以这样完成

1 2 3 4 5 6 7

<?php   $str = "this is win winwindows!";   preg_match_all("/(win)+/",$str,$marr);   var_dump($marr);

 

不用分组模式，同时匹配多个字符，可以吗？ 我们发现以前操作符号：[win]+，尽管可以匹配到winwin字符，因为它代表是有w,i,n组合的一个或者多个字符，不会限制顺序。所见它会匹配到象：wwin,www,inw等等，只要是这3个字符组成的，多个字符都匹配成功了。

上面怎么匹配到，每一个有2个结果呢？这就是子模式（子匹配），默认除了可以将多个字符组合一个整体，另外还会把括号，括起来的这部分表达式存储到一个临时缓冲区中，以便后面正则表达式调用。上面这个例子里面，我们不需要，后期调用的。因此，怎么样屏蔽掉这个子表达式捕获内容呢？ 只需要在：前加上”?:” 即可。我们看看下面例子正则表达式 分组非捕获模式。

非捕获模式优点有哪些呢？ 从上面看，可以减少捕获，也就会减少匹配次数。因此，在不必要分组表达式加入非捕获前缀”?:”，可以节省内存开销，并且可以提升匹配速度！

刚刚说到了正则表达式分组，默认情况会将子表达式捕获内容，存储到一个缓存区。以便后续调用。 那这个是什么样情况呢？其实，这个是正则表达式的引用。所捕获的每个子匹配都按照在正则表达式模式中从左至右所遇到的内容按顺序存储。存储子匹配的缓冲区编号从1开始，最多可以一般存储为9。以便后面表达式引用该值，又叫后向引用。

我们看下下面例子，查找一个字符串中，互不相邻，出现多次系统单词：add。

1 2 3 4 5 6

<?php $str = "add123456addasdf";   preg_match_all('/(add)\d+\1/',$str,$marr);   var_dump($marr);

 

反向引用，常用来处理一些处理一些特殊匹配情况。如：查找字符串中，不相邻重复字符串。查找html一对标签中内容。特别分析html非常常见了(注意，如果使用了反向引用，前面不能屏蔽子匹配捕获，也就是不能加”?:"前缀了)。经常会用：

1 2 3 4 5 6 7 8 9 10

<?php $str = file_get_contents('http://blog.chacuo.net/'); preg_match_all('/<(\S+)[^>]*>[^<]*<\/\1>/',$str,$marr);   var_dump($marr);   // (\S+) 表示非显示字符之外所有字符，一般作为html tag名称 // tag格式一般为 <tag 其它属性> 后面[^>]* 匹配tag里面所有其它属性 // 后面的[^<]* 表示 <tag...>中间内容</tag> 表示中间内容，到"<"结束，因此匹配所有[^<]* 字符 // 最后的<\/\1> "\/" 转义"/"字符，后面的"\1" 表示反向应用前面的(\S+)

 

以上是正则表达式使用比较重要的，分组，反向匹配，以及非捕获分组说明及实例。希望对要属性改功能朋友有所帮助。同时欢迎朋友们交流！

下面，这个图，是作为web开发人员，技能知识点汇总。里面常常包括，ui人员、js人员、web编码人员的所有知识点。但是，这3者之间开发中联系密切。彼此之间多了解下，很有必要的！

本图来源于开源项目：https://github.com/jacksontian/fks  里面有详细学习资料介绍，大家可以去了解下！

从这个图里面，几乎包含了ui,js,web程序开发。这3个方面，无论那个方面人员，我觉得都有必要可以多了解下这些技能点。多了解些技能点，彼此直接沟通会更方便！也将容易得多了。我想，如果很早那年我有看过这个图，我就知道自己有几斤几两啦！（当然，比较早时候，很多知识那个时候还没有出现。不过也至少有这个图里面一半左右知识技能点）

web开发人员技能提升提现

也就是说，怎么样说明自己在进步了，自己确实提高了。我认为有2点重要，上面这个图说的是需要掌握的技能点的广度 ,另外一点就是：掌握技能点的深度 。估计这个时候，我们脑子里面就会想，广度很好理解好验证的。那么深度指的是什么呢，我自己到底掌握到那个深度了呢？下次，我会继续补充！欢迎交流！

这里我们经常用header发送302跳转，会发现一个问题。在走查代码时候，遇到很多同人会有类似操作代码，如：

1 2 3 4

<?php header("Content-type: text/html; charset=utf-8");   //判断用户是否授权

1 2 3 4 5 6 7

if('用户未授权') { header("location:forbidden.php"); }   ///下面是进行摸个记录操作 //删除条记录，或者修改某条记录……

1

这类代码，在开发中很常见，我们会发现，一个没有权限用户，操作该记录，网页会跳转到未授权页面，但是：记录任然被修改了，问题我们找到了，一般操作人员，对于js跳转会知道是前端浏览器跳转的。但是对于php操作跳转，错误认为是服务器跳转，好像php以执行到location，然后就终止了下面运行。 其实，知道header函数真实意义就很容易理解了：header() is used to send a raw HTTP header！

header location 302实际上只是如下：

跟其它普通echo 函数没有多大区别，只是给header信息头,echo 一行而已。

屏蔽Bug方法：

知道了，发送header跳转，服务器不会终止程序，因此为了安全起见。header locaction后，最好加一句exit()函数。 这样，php解析引擎就会停止解析了！我们正确方法是封装个header_302方法

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

<?php /*header_302跳转* * * *@author http://blog.chacuo.net/ * @param string $url 跳转url */ function header_302($url) { if(headers_sent()) { exit('header 已经发送过！'); } header("location:$url"); exit(); }

后记：这类问题，不光出在php程序中，其它很多header loction跳转语言程序，原理相同。都有类似功能，很多时候。都是使用时候没有注意，造成的。 容易在代码走查中，遗漏掉！好了，先到这里，欢迎交流！

断言元字符

常见断言元字符有：  \b, \B, \A, \Z, \z, ^ ,$ 它们只是表示特殊位置，各自作用如有字符串AB,带位置表示为：₀A₁B₂

元字符	意义(以上面带位置字符串说明)
^	行首，字符串首 表示位置0
$	行尾，字符串尾部，表示位置2
\b	字分界线，可以表示：0,2位置
\B	非字分界线，可以表示1位置
\A	目标的开头（独立于多行模式） 表示位置0
\Z	目标的结尾或位于结尾的换行符前（独立于多行模式） 表示位置2
\z	目标的结尾（独立于多行模式）表示位置2
\G	目标中的第一个匹配位置
A,Z,z,G很少使用

这些断言的测试都是一些基于当前位置的测试，断言还支持更多复杂的测试条件。更复杂的断言以子模式方式来表示，它包括先行（前向)断言(Lookahead assertions)和后行（后向）断言(Lookbehind assertions)，这些断言判断只做匹配判断条件，不会记录在匹配结果中，不会匹配字符。

先行断言、正向断言、正向巡视（Lookahead assertions）

先行断言，常有表示（?=pattern)，从当前匹配位置开始测试后面匹配字符串是否成立，还有(?!pattern)这样两种格式，我们来看看一个例子。源字符串：“abc100”，正则表达式是：
/[a-z]+(?=\d+)/ ，我们分析下过程如下图：

首先由正则表达式字符 [a-z]+ 取得控制权,匹配字符：”abc”，位置从”0”开始匹配，变成3。从该位置测试/d+是否成立。匹配到字符100，返回成立。因此正则表达式正向断言成功。返回匹配字符串”abc”

(?!pattern) 只是，正向匹配，当后面没有匹配成功，将返回真。以下是系统源字符串：abc100，测试结果如下：

后行断言、反向断言、反向巡视（Lookbehind assertions）

后行断言，常见表达式是：(?<=pattern)或者(?<!pattern)格式。正则表达式里面，不要出现不固定长度量词，可能会出现死循环。匹配出错。表示当前位置左边将出现匹配字符，则返回真，后面匹配正常。因为如果它出现在最左边，默认位置从0开始，匹配都是失败的。一般都从后面正则表达式开始匹配，再回溯，直到匹配到为止。我们看看下面例子：源字符串：“abc100+=“，正则表达式是：”(?<=\w)\w+”，匹配过程如下图：

首先由正则表达式字符 /\w+/取得控制权,匹配字符：”abc100”，位置从”0”开始匹配，匹配到6个字符。从该位置0检测左变\w匹配失败。因此/\w+/从字符b开始匹配到”bc100”，测试它左侧有字符”a”，反向断言正确。因此匹配到字符串“bc100”,(?<!pattern)，只是没有匹配成功返回真，其它都一样！

后记：从这篇文章，我们发现搜索特点都是从左到有，一般正向断言放到，正则表达式后，反向断言放到匹配正则表达式前。但是，这里也可以放到前或后。这里就不再举例。欢迎交流讨论！

• 常见正则表达式引擎

引擎决定了正则表达式匹配方法及内部搜索过程，了解它至关重要的。目前主要流行引擎有：DFA,NFA两种引擎，我们比较区分下。

引擎	区别点
DFA Deterministic finite automaton 确定型有穷自动机	DFA引擎它们不要求回溯（并因此它们永远不测试相同的字符两次），所以匹配速度快！DFA引擎还可以匹配最长的可能的字符串。不过DFA引擎只包含有限的状态，所以它不能匹配具有反向引用的模式，还不可以捕获子表达式。代表性有：awk,egrep,flex,lex,MySQL,Procmail
NFA Non-deterministic finite automaton　非确定型有穷自动机，又分为传统NFA,Posix NFA	传统的NFA引擎运行所谓的“贪婪的”匹配回溯算法（longest-leftmost），以指定顺序测试正则表达式的所有可能的扩展并接受第一个匹配项。传统的NFA回溯可以访问完全相同的状态多次，在最坏情况下，它的执行速度可能非常慢，但它支持子匹配。代表性有：GNU Emacs,Java,ergp,less,more,.NET语言, PCRE library,Perl,PHP,Python,Ruby,sed,vi等，一般高级语言都采用该模式。

DFA以字符串字符，逐个在正则表达式匹配查找，而NFA以正则表达式为主，在字符串中逐一查找。尽管速度慢，但是对操作者来说更简单，因此应用更广泛！下面所有以NFA引擎举例说明，解析过程！

 

• 解析引擎眼中的字符串组成

对于字符串“DEF”而言，包括D、E、F三个字符和 0、1、2、3 四个数字位置：₀D₁E₂F₃，对于正则表达式而言所有源字符串，都有字符和位置。正则表达式会从0号位置，逐个去匹配的。

• 占有字符和零宽度

正则表达式匹配过程中，如果子表达式匹配到的是字符内容，而非位置，并被保存到最终的匹配结果中，那么就认为这个子表达式是占有字符的；如果子表达式匹配的仅仅是位置，或者匹配的内容并不保存到最终的匹配结果中，那么就认为这个子表达式是零宽度的。占有字符是互斥的，零宽度是非互斥的。也就是一个字符，同一时间只能由一个子表达式匹配，而一个位置，却可以同时由多个零宽度的子表达式匹配。常见零宽字符有：^，(?=)等

• 正则表达式匹配过程详解实例

我们掌握了上面几个概念，我们接下来分析下几个常见的解析过程。结合使用软件regexBuddy来分析。

Demo1: 源字符DEF,对应标记是：₀D₁E₂F₃，匹配正则表达式是：/DEF/

过程可以理解为：首先由正则表达式字符 /D/ 取得控制权，从位置0开始匹配，由 /D/ 来匹配“D”，匹配成功，控制权交给字符 /E/ ；由于“D”已被 /D/ 匹配，所以 /E/ 从位置1开始尝试匹配，由 /E/ 来匹配“E”，匹配成功，控制权交给 /F/ ；由 /F/ 来匹配“F”，匹配成功。

Demo2:源字符DEF,对应标记是：₀D₁E₂F₃，匹配正则表达式是：/D\w+F/

过程可以理解为：首先由正则表达式字符 /D/ 取得控制权，从位置0开始匹配，由 /D/ 来匹配“D”，匹配成功，控制权交给字符 /\w+/ ；由于“D”已被 /D/ 匹配，所以 /\w+/ 从位置1开始尝试匹配，\w+贪婪模式，会记录一个备选状态，默认会匹配最长字符，直接匹配到EF，并且匹配成功，当前位置3了。并且把控制权交给 /F/ ；由 /F/ 匹配失败，\w+匹配会回溯一位，当前位置变成2。并把控制权交个/F/，由/F/匹配字符F成功。因此\w+这里匹配E字符,匹配完成！

Demo3:源字符DEF,对应标记是：₀D₁E₂F₃，匹配正则表达式是：/^(?=D)[D-F]+$/

过程可以理解为：元字符 /^/ 和 /$/ 匹配的只是位置，顺序环视 /(?=D)/ （匹配当前位置，右边是否有字符“D”字符出现）只进行匹配，并不占有字符，也不将匹配的内容保存到最终的匹配结果，所以都是零宽度的。 首先由元字符 /^/ 取得控制权，从位置0开始匹配， /^/ 匹配的就是开始位置“位置0”，匹配成功，控制权交给顺序环视 /(?=D)/；/(?=D])/ 要求它所在位置右侧必须是字母”D”才能匹配成功，零宽度的子表达式之间是不互斥的，即同一个位置可以同时由多个零宽度子表达式匹配，所以它也是从位置0尝试进行匹配，位置0的右侧是字符“D”，符合要求，匹配成功，控制权交给 /[D-F]+/ ；因为 /(?=D)/ 只进行匹配，并不将匹配到的内容保存到最后结果，并且 /(?=D)/ 匹配成功的位置是位置0，所以 /[D-F]+/ 也是从位置0开始尝试匹配的， /[D-F]+/ 首先尝试匹配“D”，匹配成功，继续尝试匹配，直到匹配完”EF”，这时已经匹配到位置3，位置3的右侧已没有字符，这时会把控制权交给 /$/，元字符 /$/ 从位置3开始尝试匹配，它匹配的是结束位置，也就是“位置3”，匹配成功。此时正则表达式匹配完成，报告匹配成功。匹配结果为“DEF”，开始位置为0，结束位置为3。其中 /^/ 匹配位置0， /(?=D)/ 匹配位置0， /[D-F]+/ 匹配字符串“DEF”， /$/ 匹配位置3。

 

后记：上面这几个例子，我们分析了正则表达式普通匹配，还有回溯过程，然后零宽度字符，匹配过程。当然，给出的例子比较简单，实际过程中会遇到更长，更复杂的正则表达式。但是，思想是类似的。只要我们把我解析原理，都可以逐一分解的。好了，就到这里，欢迎交流！

• 为什么需要性能测试工具

我们都知道，正则表达式使用进行搜索查找，没有字符串直接查找快！而且性能是几何倍数下降。那么，为什么正则表达式速度会比字符串搜索慢呢。我们来看看，正则表达式查找字符串的匹配过程吧。正则表达式由一些元字符，普通字符，量词字符组合成。默认情况下，这些量词元字符（*,+,?)都是贪婪模式，会最大长度匹配字符串。我们知道，正则表达式往往搜索路径会有多个，我们看看，下面匹配过程。就知道，主要影响正则表达式执行性能有哪些了。

正则表达式匹配过程如：\d+abc，元字符是：”12345bdc”，查找会从左向右进行，\d+，贪婪模式，一下子匹配到12345，然后bdc与\d+不能匹配，”abc”中,”a”字符，开始匹配”bdc”，发现匹配失败。正则表达式开始回溯匹配（贪婪模式量词开始逐一减少匹配字符长度)，\d+只匹配”1234”，”5bdc”与”abc”匹配，任然失败。\d+继续减少匹配长度为：”123”，”45bdc”与”abc”匹配，任然失败。继续回退，直到\d+匹配”1”，用”2345bdc”与”bdc”匹配，任然失败。整个匹配就失败了。

从上面过程中，我们发现，每次回溯，要重新操作匹配因此匹配搜索次数，直接影响正则表达式的性能。做正则表达式性能优化，一般就是优化查询的次数。这个是我们分析过程，如果有个工具能够实实在在看到每一步匹配过程，对于我们优化正则表达式将带来太多方便了。这里介绍工具是：regexbuddy软件，它就是一个实实在在看到匹配过程工具。

• regexbuddy工具怎么样使用，使用介绍

1、安装完regexbuddy

该工具支持多种程序语言正则表达式，如：perl,pcre,javascript,python,ruby,c#,java等等，还能自动生成程序代码，并且内部带有大量的常用正则表达式。

2、一般切换到side by side：

3、匹配过程

从上面一个匹配看，这个简单一个匹配，搜索了8次，进行了不断查找。如果我们已经准确知道自己要匹配什么样字符，我们可以对源正则表达式修改下，减少匹配次数。就达到优化正则表达式目的，提高匹配效率！

后记：这个工具是不是很强大呢，你知道在baidu搜索，该关键字：regexbuddy，就可以方便下载到。通过该工具，对我们写出好的高性能正则表达式确实能带来很大帮助。有时候可能一个小小修改，自己程序正则表达式匹配速度可能几个数量级的提升。好了，欢迎大家交流，你有好的工具、方法，欢迎留言，可以给更多朋友分享！

• 单行、多行模式容易出现理解错误

为什么说，容易出现理解错误呢，它们英文对应说明是：SingleLine ，MultiLine，刚好是单行、多行意思。因此，很多朋友就会从字面理解里面，得出以下结论：（哈哈、刚刚使用，我也是这些朋友中一员）

1、单行，就是从头到尾匹配，多行就是如果匹配字符串，里面有换行符，就匹配到之前

2、单行跟多行是冲突的，一次只能指定一个选项，不能同时使用

这样来理解其实，很容易就会这样的。我们来看看，官方手册里面怎么说的。

• 单行、多行模式官方解释

模式符	描述
s(单行)	如果设置了这个修饰符, 模式中的点号元字符匹配所有字符, 包含换行符. 如果没有这个 修饰符, 点号不匹配换行符
m(多行)	目标字符串是由单行字符组成的(然而实际上它可能会包含多行), “行首”元字符(^)仅匹配字符串的开始位置, 而”行末”元字符($)仅匹配字符串末尾。当这个修饰符设置之后, “行首”和”行末”就会匹配目标字符串中任意换行符（\n)之前或之后

 

通过上面说明，其实这2个修饰符都只是，修改正则表达式常见元字符的匹配范围了。如果加”s”修饰符,元字符”.” 将能够匹配换行符(\n)，如果加”m”修饰符，元字符”$”，将只匹配到”\n”字符前；元字符”^”，将匹配到”\n”字符后。我们还是举例说明吧！（下面关于正则表达式?字符，可以看看前面一节:正则表达式(regex) 贪婪模式、懒惰模式使用)

• 举例，看单行应用

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

<?php ///读取hao123.com首页 ///并且去掉里面script代码   /** *去掉script标签* * @author chengmo * @copyright http://blog.chacuo.net/ * @param string $content 原字符串 * @param int $style 匹配模式 * @return string */ function remove_script($content,$style=1) { $reg = $style == 1?"%<script.*?>.*?</script>%":"%<script.*?>.*?</script>%s";   return preg_replace($reg,"",$content); }   $content = file_get_contents('http://www.hao123.com'); echo remove_script($content);

1

 

• 举例，看多行应用

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

<?php ///读取hao123.com首页 ///读取meta标签内容   /** *读取meta标签内容* * @author chengmo * @copyright http://blog.chacuo.net/ * @param string $content 原字符串 * @param int $style 匹配模式 * @return string */ function read_meta($content,$style=1) { $reg = $style == 1?"%^<meta.*?/>%":"%^<meta.*?>\s+$%m"; preg_match_all($reg,$content,$arr); return $arr; }   $content = file_get_contents('http://www.hao123.com'); var_dump(read_meta($content));

后记：s，m 修饰符只对，几个特殊元字符有改变。如果你正则表达式中没有那几个元字符。开启s,m字符前后将没有什么变化的。对于上面读取hao123.com代码，我们可以继续同时使用s,m模式。如：”%<script.*?>.*?(^currentProfile.*$).*?</script>%sm” ，匹配所有script标签，并且里面js代码，有一行以curentProfile开头字符串。（以下是正则表达式，单行多行一起使用）

• 什么是贪婪模式

字符串有: “<h3>abd</h3><h3>bcd</h3>”，我们想匹配<h3>…</h3>内容，正则表达式如下：

1、h3开头与结尾，”<h3>待添加</h3>”   <h3></h3>都作为普通字符

2、中间可以出现任意字符，个数可以是0个或者多个，正则表达式可以用：.* ，“.”代表任意字符，默认模式不匹配换行,”*” 重复前面字符0个或者多个。

3、最终我们考虑结果将是：”<h3>.*</h3>” ，也可以是：”<h3>.{0,}</h3>”  ｛｝代表，重复前面指定个数字符，以下用到是，正则表达式调试工具截图，软件可以看：正则表达式工具推荐（学习工具、测试工具）

2种结果都一样，这是我们不希望得到的，我们希望从左边开始，第一个出现</h3>，就开始匹配。以上这种模式，是贪婪模式，也是正则表达式默认以这个方法匹配。表示重复字符，操作符，默认都是贪婪模式，如：.*,.+,.{1,},.{0,} 都会匹配最大长度字符。正则表达式元字符，量词默认首先最大匹配字符串，这些量词有：+,*,?,{m,n} 。一开始匹配，就直接匹配到最长字符串。

• 什么是懒惰模式

既然上面几种，表示字符重复个数，元字符默认都是贪婪模式。如果，我们需要最小长度匹配，也就是懒惰模式，怎么样写正则表达式呢？其实，正则表达式里面通用方法是，在表示重复字符元字符，后面加多一个”?”字符即可。上面正则表达式可以写成：”<h3>.*?</h3>”，或者”<h3>.{0,}?</h3>” 都可以。

懒惰模式，就匹配到我们需要字符串了。

总结：正则表达式，表示字符串重复个数元字符，’?,+,*,{}’ 默认都会选择贪婪模式，会最大长度匹配字符串，而要切换到懒惰模式，就只是在该元字符，后面加多一个”?” 即可切换到非贪婪模式（懒惰模式）。

将原始字符串输入，就可以在正则表达式窗口写入表达式，一边写一边有提示字符。如果有出错，还有错误提示。下面就会显示匹配到的结果。非常方便！该工具，可以搜索：regExbuilder ，有好的工具，欢迎交流！

正则表达式，又称正规表示法、常规表示法（英语：Regular Expression，在代码中常简写为regex、regexp或RE），它是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。几乎在各种计算机编程语言中都有用到。可以分为普通正则表达式、扩展正则表达式、高级正则表达式。普通正则表达式在linux shell中常用到，高级正则表达式语法规范，基本由perl演化而来。目前常见程序语言（php,perl,python,java,c#)都支持高级正则表达式。

• 我们为什么要学习正则表达式？

高级程序语言的正则表达式几乎都从perl语言发展而来，因此，语法几乎一致。你学好了，一门正则表达式语言。几乎在所有程序语言中就可以用到。就像，我知道sql语法，后端mysql,mssql几乎都通用。这个也是我们需要学好正则表达式一个原因，通用性。另外一个原因是：正则表达式强大的文本匹配功能。很多文本匹配处理，如果没有正则表达式，还真的很难做出来。如：从一段字符串，读出手机号格式，我们如果用字符串查找，需要做循环，需要写判断。估计耗费不少代码，开发时间。如果用正则表达式，就一行代码就可以了。匹配所有成对的：html标签，如果要做这个，我们发现非常复杂，要处理层次，要匹配标签。一般同人短短几个小时可能完成不了。如果用正则表达式，估计也就几分钟而已。

• 正则表达式字符串格式

既然我们知道正则表达式重要性，通用性。那么我们对常见格式可以了解下。一般正则表达式由：普通字符+特殊字符（元字符）一起组成的字符串。如：匹配“ab开头，后面紧跟数字字符串“   “ab\d+”  这其中ab就是普通字符，\d代表可以是0-9数字，+代表前面字符可以出现1次或以上。哈哈，看起来还真的很容易吧！

正则表达式无论是普通还是扩展还是高级正则表达式。不同之处，可能在特殊字符方面有些不同。很多特殊字符，可以组合，形成一套新匹配规则。这里就不说太深了。我们一般只要知道它的常见元字符。基本上常见正则表达式就可以写出来了。

以下是javascript 正则表达式常见的元字符：

字符	描述
\	将下一个字符标记为一个特殊字符、或一个原义字符、或一个 后向引用、或一个八进制转义符。例如，’n’ 匹配字符 "n"。’\n’ 匹配一个换行符。序列 ‘\\’ 匹配 "\" 而 "\(" 则匹配 "("。
^	匹配输入字符串的开始位置。如果设置了 RegExp 对象的 Multiline 属性，^ 也匹配 ‘\n’ 或 ‘\r’ 之后的位置。
$	匹配输入字符串的结束位置。如果设置了RegExp 对象的 Multiline 属性，$ 也匹配 ‘\n’ 或 ‘\r’ 之前的位置。
*	匹配前面的子表达式零次或多次。例如，zo* 能匹配 "z" 以及 "zoo"。 * 等价于{0,}。
+	匹配前面的子表达式一次或多次。例如，’zo+’ 能匹配 "zo" 以及 "zoo"，但不能匹配 "z"。+ 等价于 {1,}。
?	匹配前面的子表达式零次或一次。例如，"do(es)?" 可以匹配 "do" 或 "does" 中的"do" 。? 等价于 {0,1}。
{n}	n 是一个非负整数。匹配确定的 n 次。例如，’o{2}’ 不能匹配 "Bob" 中的 ‘o’，但是能匹配 "food" 中的两个 o。
{n,}	n 是一个非负整数。至少匹配n 次。例如，’o{2,}’ 不能匹配 "Bob" 中的 ‘o’，但能匹配 "foooood" 中的所有 o。’o{1,}’ 等价于 ‘o+’。’o{0,}’ 则等价于 ‘o*’。
{n,m}	m 和 n 均为非负整数，其中n <= m。最少匹配 n 次且最多匹配 m 次。刘， "o{1,3}" 将匹配 "fooooood" 中的前三个 o。’o{0,1}’ 等价于 ‘o?’。请注意在逗号和两个数之间不能有空格。
?	当该字符紧跟在任何一个其他限制符 (*, +, ?, {n}, {n,}, {n,m}) 后面时，匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串，而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如，对于字符串 "oooo"，’o+?’ 将匹配单个 "o"，而 ‘o+’ 将匹配所有 ‘o’。
.	匹配除 "\n" 之外的任何单个字符。要匹配包括 ‘\n’ 在内的任何字符，请使用象 ‘[.\n]‘ 的模式。
(pattern)	匹配pattern 并获取这一匹配。所获取的匹配可以从产生的 Matches 集合得到，在VBScript 中使用 SubMatches 集合，在JScript 中则使用 $0…$9 属性。要匹配圆括号字符，请使用 ‘\(‘ 或 ‘\)’。
(?:pattern)	匹配 pattern 但不获取匹配结果，也就是说这是一个非获取匹配，不进行存储供以后使用。这在使用 "或" 字符 (|) 来组合一个模式的各个部分是很有用。例如， ‘industr(?:y|ies) 就是一个比 ‘industry|industries’ 更简略的表达式。
(?=pattern)	正向预查，在任何匹配 pattern 的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。例如， ‘Windows (?=95|98|NT|2000)’ 能匹配 "Windows 2000" 中的 "Windows" ，但不能匹配 "Windows 3.1" 中的 "Windows"。预查不消耗字符，也就是说，在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含预查的字符之后开始。
(?!pattern)	负向预查，在任何不匹配Negative lookahead matches the search string at any point where a string not matching pattern 的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。例如’Windows (?!95|98|NT|2000)’ 能匹配 "Windows 3.1" 中的 "Windows"，但不能匹配 "Windows 2000" 中的 "Windows"。预查不消耗字符，也就是说，在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含预查的字符之后开始
x|y	匹配 x 或 y。例如，’z|food’ 能匹配 "z" 或 "food"。’(z|f)ood’ 则匹配 "zood" 或 "food"。
[xyz]	字符集合。匹配所包含的任意一个字符。例如， ‘[abc]‘ 可以匹配 "plain" 中的 ‘a’。
[^xyz]	负值字符集合。匹配未包含的任意字符。例如， ‘[^abc]‘ 可以匹配 "plain" 中的’p'。
[a-z]	字符范围。匹配指定范围内的任意字符。例如，’[a-z]‘ 可以匹配 ‘a’ 到 ‘z’ 范围内的任意小写字母字符。
[^a-z]	负值字符范围。匹配任何不在指定范围内的任意字符。例如，’[^a-z]‘ 可以匹配任何不在 ‘a’ 到 ‘z’ 范围内的任意字符。
\b	匹配一个单词边界，也就是指单词和空格间的位置。例如， ‘er\b’ 可以匹配"never" 中的 ‘er’，但不能匹配 "verb" 中的 ‘er’。
\B	匹配非单词边界。’er\B’ 能匹配 "verb" 中的 ‘er’，但不能匹配 "never" 中的 ‘er’。
\cx	匹配由x指明的控制字符。例如， \cM 匹配一个 Control-M 或回车符。 x 的值必须为 A-Z 或 a-z 之一。否则，将 c 视为一个原义的 ‘c’ 字符。
\d	匹配一个数字字符。等价于 [0-9]。
\D	匹配一个非数字字符。等价于 [^0-9]。
\f	匹配一个换页符。等价于 \x0c 和 \cL。
\n	匹配一个换行符。等价于 \x0a 和 \cJ。
\r	匹配一个回车符。等价于 \x0d 和 \cM。
\s	匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。
\S	匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。
\t	匹配一个制表符。等价于 \x09 和 \cI。
\v	匹配一个垂直制表符。等价于 \x0b 和 \cK。
\w	匹配包括下划线的任何单词字符。等价于’[A-Za-z0-9_]‘。
\W	匹配任何非单词字符。等价于 ‘[^A-Za-z0-9_]‘。
\xn	匹配 n，其中 n 为十六进制转义值。十六进制转义值必须为确定的两个数字长。例如， ‘\x41′ 匹配 "A"。’\x041′ 则等价于 ‘\x04′ & "1"。正则表达式中可以使用 ASCII 编码。.
\num	匹配 num，其中 num 是一个正整数。对所获取的匹配的引用。例如，’(.)\1′ 匹配两个连续的相同字符。
\n	标识一个八进制转义值或一个后向引用。如果 \n 之前至少 n 个获取的子表达式，则 n 为后向引用。否则，如果 n 为八进制数字 (0-7)，则 n 为一个八进制转义值。
\nm	标识一个八进制转义值或一个后向引用。如果 \nm 之前至少有is preceded by at least nm 个获取得子表达式，则 nm 为后向引用。如果 \nm 之前至少有 n 个获取，则 n 为一个后跟文字 m 的后向引用。如果前面的条件都不满足，若 n 和 m 均为八进制数字 (0-7)，则 \nm 将匹配八进制转义值 nm。
\nml	如果 n 为八进制数字 (0-3)，且 m 和 l 均为八进制数字 (0-7)，则匹配八进制转义值 nml。
\un	匹配 n，其中 n 是一个用四个十六进制数字表示的 Unicode 字符。例如， \u00A9 匹配版权符号 (?)。

从上面元字符里面，我们看到，很多元字符，实际上可以代表一组普通字符。因此，我们要匹配一些字符串，正则表达式往往会有很多种。如：匹配0-9数字，可以用[0-9],\d,[0123456789] ，这样3种都可以，条条大路通罗马，都是对的。那么那一种正则表达式更好呢，性能更高呢，匹配速度更快呢？通过10万次 循环匹配，发现几种几乎相差不大，\d速度比[0-9快，[0-9]比[0123456789]快。从正则表达式精简]程度方面，\d最简单。使用时候，我们尽量用代表字符集元字符去匹配。精简且速度快！

• 怎么样书写正则表达式呢？

我们写正则表达式，都是从分析匹配字符串特点开始，然后逐步补充其它元字符，普通字符。匹配从左到右。

例如：我们要匹配一个手机号码。

1. 分析字符串特点，手机号码是数字，并且是以1开头，11位长

2.可以写”1\d”   1开头，后面跟着数字 也可以是：1[0-9]

3.数字长度是11位 ，继续补充1\d{10} ，后面数字长11字符，也可以是：1[0-9]{10} ；{}里面数字，表示它左边字符可以重复出现次数

4.所有字符必须是11位，因此头尾直接必须满足条件，因此可以是：^1\d{10}$ 了。

例如：我们匹配QQ号码

1.分析QQ号码特点是，号码是 最少是5位数，首位字符非0，最大长度，目前到11位了

2.可以先定义首位字符，[1-9]\d    首位字符是1到9，后面是字符

3.后面字符个数在4到10位 [1-9]\d{4,10}

4.所有字符串必须都满足上面匹配，因为可以写成：^[1-9]\d{4,10}

例如：匹配IP地址

1.分析ip结构是，每节 0-255，中间用”.”分割，一共有4节

2.首先我们写第一个0-255 ，可以分解为0-9 一位数,10-99两位数,100-199三位数,200-249三位数第2节,250-255第四节

[0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5]   “|”表示或者，计算优先级最低，左右两边可以是多个元字符普通字符组合字符串为一个整体。

3.这样的字符，有三次重复，中间加”.” ，所以结果是：

[0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5]\. ，因为是点字符是元字符，所有需要转义。这样是不是可以了呢，我们发现有问题，”|”优先级最低，这样会把最后\.字符表，组合为：“25[0-5] \.”了。因此，应该是前面几种情况，后面跟个”.”字符，正确是：([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\. ，这样就达到要求了。我们会发现，实际上每家一个()字符，都一个子匹配，会在匹配结果里面出现()内容。这里我们加()目的是，让优先计算，因此不需要里面子匹配内容。我们可以加忽略子匹配内容字符：?: ，结果将变为：(?:[0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.

4.一段已经匹配到了，然后我们这样需要重复三次，我们可以直接重复上一个表达式3次：

方法一：(?:[0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.(?:[0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.(?:[0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.

方法二：把第一段作为分组，重复3次    ((?:[0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.){3} ，然后同样忽略子匹配结果，可以变为：

(?:(?:[0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.){3} 哈哈，看到这个表达式是不是很晕了，其实一个长的表达式，都是从一点一点加上去的。这个利用到，重复次数，将结果简化不少了。

5.最后还有一段0-255匹配

(?:(?:[0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.){3}(?:[0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5]) ，也就是在后面加多一个0-255匹配即可，然后在上面再加上头尾限定符，变成了：^(?:(?:[0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.){3}(?:[0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])$

下面一个图，是读一段文字里面，所有IP个格式地址

其中(?=……)是正向匹配，搜索左边字符串，并且该字符串右边必须满足?=后面匹配成功的才匹配成功！

好了，写了这么些例子，发现一口气能从很简单正则表达式，匹配到这么长的表达式了。是不是感觉有些晕了，其实不奇怪，长的正则表达式都是从简单正则表达式得到。逐步加上去了。 欢迎讨论交流！

好了，有些跑题了，在做代码走查时候，这类漏洞也是时常出现。我们看下，下面代码：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

<?php $user="bcd123张三"; ///匹配用户名中出现abc还有bcd开头，后面紧跟是数字字符   preg_match_all("/abc|bcd\d+/",$user,$match); var_dump($match);   /*结果是 array(1) { [0]=> array(1) { [0]=> string(6) "bcd123" } } */

查找所有页面出现abc或者bcd开头，后面紧跟数字字符串。通过上面，我们看，正确匹配到bcd123，如果我们输入:$user = “abc123张三”， 发现不能匹配到了。原因是”|”字符，优先级最低，以上写法会变成：匹配abc 或者是bcd\d+ 字符串。

以上图，将|，包含到()中。

如果要提升优先级，可以(abc|bcd)\d+ ，匹配所有abc或者bcd 字符串，并且后面紧跟数字的。在使用”|”字符串，注意它的优先级级别低，如果要优先匹配，可以放入（）中。