構(gòu)造復(fù)雜正則表達(dá)式的方法

2024-09-07 17:40:14

字體：大中小

供稿：網(wǎng)友

相信在大家的印象中正則表達(dá)式都是非常簡(jiǎn)單的吧，其實(shí)正則表達(dá)式也有很復(fù)雜的，那么你知道怎么構(gòu)造復(fù)雜的正則表達(dá)式嗎？下面我們就一起去看看構(gòu)造復(fù)雜正則表達(dá)式的方法。

避重就輕

Snopo給出的文本是這樣的：or and name='zhangsan' and id=001 or age>20 or area='%renmin%' and like，問(wèn)，如何提取其中正確的SQL查詢(xún)語(yǔ)句。

簡(jiǎn)要分析可知，中間部分是合乎要求的，只是兩端的有若干個(gè)like, or, and。構(gòu)造能夠解析合乎SQL語(yǔ)法的查詢(xún)語(yǔ)句的正則表達(dá)式，應(yīng)該是比較復(fù)雜的。可是，對(duì)于具體的問(wèn)題，也可以更簡(jiǎn)單。上述的不良構(gòu)的SQL語(yǔ)句，應(yīng)該是使用程序自動(dòng)生成的，它的兩端會(huì)有一些不符合題意的文本。只要將這些文本去除就可以了。

于是，我寫(xiě)出了正則表達(dá)式：s/^(?:(?:or|and|like)/s*)+|/s*(?:(?:or|and|like)/s*)+$//mi;，這樣就把多行字串首尾的like, or, and以及可能的空白字符全部去掉了，剩下的內(nèi)容即為所求。

分而治之

答案發(fā)過(guò)去之后，Snopo顯然不是很滿意這種“偷懶”的辦法。他繼續(xù)問(wèn)道，能否寫(xiě)出正則式，用來(lái)匹配合符SQL語(yǔ)法要求的條件查詢(xún)語(yǔ)句？（只考慮where部分即可，不必寫(xiě)完整的select。）

的確，從快速解決問(wèn)題的角度來(lái)說(shuō)，只要能夠行之有效地解決，用什么辦法都可以；不過(guò)從學(xué)習(xí)知識(shí)的角度來(lái)說(shuō)，不避重就輕，而是刨根問(wèn)底，才是正途。既如此，就看一下如何使用正則，將該SQL查詢(xún)語(yǔ)句解決掉。

最簡(jiǎn)單的查詢(xún)語(yǔ)句，應(yīng)該是真假判斷，即 where 1; where True; where false，等等。這樣的語(yǔ)句使用正則式，直接/(?:-?/d+|True|False)/i。

稍復(fù)雜些的單條語(yǔ)句，可以是左右比較，即
?

name like 'zhang%', 或 age>25 ，或 work in ('it', 'hr', 'R&D')

。將其簡(jiǎn)單化，結(jié)構(gòu)就變?yōu)锳 OP B。其中A代表變量，OP代表比較操作符，B代表值。

?A: 最簡(jiǎn)單的A，應(yīng)該是/w+。考慮到實(shí)際情況，變量包含點(diǎn)號(hào)或脫字符，例如`table.salary`，可以記為/[/w.`]+/。這是比較籠統(tǒng)的細(xì)化。如果要求比較苛刻，還可以做到讓脫字符同時(shí)在左右兩邊出現(xiàn)（條件判斷）。
?OP: Where 常用的幾種關(guān)系比較為：=, <>, >, <, >=, <=, Between, Like, in。使用簡(jiǎn)單的正則描述之，成為：/(?:[<>=]{1,2}|Between|Like|In)/i。
?B: B 的情況又可分為3種：變量，數(shù)字，字符串，列表。為簡(jiǎn)單起見(jiàn)，這里就不考慮算術(shù)表達(dá)式了。

?變量的話，直接延用A的定義即可。不贅述。
?數(shù)字：使用//d+/來(lái)定義。不考慮小數(shù)和負(fù)數(shù)了。

?字符串：包括單引號(hào)字串和雙引號(hào)字串。中間可以包括被轉(zhuǎn)義的引號(hào)。我寫(xiě)了一個(gè)符合這一要求的引號(hào)字串正則表達(dá)式，形如：/(['"])(?://['"]|[^//1])*?/1/。不過(guò)，由于它只是龐大機(jī)器的一個(gè)零件，這樣寫(xiě)的風(fēng)險(xiǎn)是極其大的。首先，它使用了反向引用；其次，該反向引用使用了全局的反向引用編號(hào)。我寫(xiě)了自動(dòng)生成全局編號(hào)的函數(shù)，來(lái)解決這一問(wèn)題。不過(guò)，這里談細(xì)節(jié)是不是太深入了。應(yīng)該先談框架，再說(shuō)細(xì)節(jié)才對(duì)。不應(yīng)該一入手就陷進(jìn)細(xì)節(jié)的汪洋大海。

?列表：列表是形如(1, 3 , 4) 或 ("it", "hr", "r&d")之類(lèi)的東東，它由簡(jiǎn)單變量以逗號(hào)相連，兩邊加上括號(hào)組成。列表的單項(xiàng)以I表示，它代表數(shù)字|字符串。此時(shí)，列表就變?yōu)椋?/(I(?:,I)*?/)/。它表示，左括號(hào)，一個(gè)I，一系列由逗號(hào)、I組成的其它列表項(xiàng)（0個(gè)或多個(gè)），右括號(hào)。簡(jiǎn)單起見(jiàn)沒(méi)有考慮空白字符。
?至此，可以總結(jié)出單條語(yǔ)句的正則框架：S =~ /A OP B/i。S在此代表單條語(yǔ)句。
更為復(fù)雜的是多條語(yǔ)句，可以由單條語(yǔ)句組成，中間使用 and 或 or 連接。合理地構(gòu)造單條語(yǔ)句，將其穩(wěn)定地編制為多條語(yǔ)句，任務(wù)就完成了。

沿用上面的示例，以S代表單條語(yǔ)句，那么復(fù)合語(yǔ)句C就是 C =~ S(?:(?:or|and) S)*?/。至此，一個(gè)初具規(guī)模的條件語(yǔ)句解析器就誕生了。下面以python為例，一步一步實(shí)現(xiàn)出來(lái)。

Python實(shí)現(xiàn)
重申一句：雖然給出了實(shí)現(xiàn)，但是仍請(qǐng)注重思路，忽略代碼。

#!/usr/bin/python
# -*- coding: utf-8 -*-
#
#author: rex
#blog: http://iregex.org
#filename test.py
#created: 2010-08-06 17:12

#generage quoted string;
#including ' and " string
#allow /' and /" inside
index=0
def gen_quote_str():

global index
index+=1
char=chr(96+index)
return r"""(?P<quote_%s>['"])(?://['"]|[^'"])*?(?P=quote_%s)"""% (char, char)


#simple variable
def a():
return r'[/w.`]+'

#operators
def op():
return r'(?:[<>=]{1,2}|Between|Like|In)'


#list item within (,)
#eg: 'a', 23, a.b, "asdfasdf/"aasdf"
def item():
return r"(?:%s|%s)" % (a(), gen_quote_str())


#a complite list, like
#eg: (23, 24, 44), ("regex", "is", "good")
def items():
return r"""/( /s*
%s
(?:,/s* %s)* /s*
/)""" % (item(), item())

#simple comparison
#eg: a=15 , b>23
def s():
return r"""%s /s* %s /s* (?:/w+| %s | %s )""" % (a(), op(), gen_quote_str(), items())

#complex comparison
# name like 'zhang%' and age>23 and work in ("hr", "it", 'r&d')
def c():
return r"""
(?ix) %s
(?:/s*
(?:and|or)/s*
%s /s*
)*
""" % (s(), s())

print "A:/t", a()
print "OP:/t", op()
print "ITEM:/t", item()
print "ITEMS:/t", items()
print "S:/t", s()
print "C:/t", c()

該代碼在我的機(jī)器上(Ubuntu 10.04, Python 2.6.5)運(yùn)行的結(jié)果是：

A: [/w.`]+
OP: (?:[<>=]{1,2}|Between|Like|In)
ITEM: (?:[/w.`]+|(?P<quote_a>['"])(?://['"]|[^'"])*?(?P=quote_a))
ITEMS: /( /s*
(?:[/w.`]+|(?P<quote_b>['"])(?://['"]|[^'"])*?(?P=quote_b))
(?:,/s* (?:[/w.`]+|(?P<quote_c>['"])(?://['"]|[^'"])*?(?P=quote_c)))* /s*
/)
S: [/w.`]+ /s* (?:[<>=]{1,2}|Between|Like|In) /s* (?:/w+| (?P<quote_d>['"])(?://['"]|[^'"])*?(?P=quote_d) | /( /s*
(?:[/w.`]+|(?P<quote_e>['"])(?://['"]|[^'"])*?(?P=quote_e))
(?:,/s* (?:[/w.`]+|(?P<quote_f>['"])(?://['"]|[^'"])*?(?P=quote_f)))* /s*
/) )
C:
(?ix) [/w.`]+ /s* (?:[<>=]{1,2}|Between|Like|In) /s* (?:/w+| (?P<quote_g>['"])(?://['"]|[^'"])*?(?P=quote_g) | /( /s*
(?:[/w.`]+|(?P<quote_h>['"])(?://['"]|[^'"])*?(?P=quote_h))
(?:,/s* (?:[/w.`]+|(?P<quote_i>['"])(?://['"]|[^'"])*?(?P=quote_i)))* /s*
/) )
(?:/s*
(?:and|or)/s*
[/w.`]+ /s* (?:[<>=]{1,2}|Between|Like|In) /s* (?:/w+| (?P<quote_j>['"])(?://['"]|[^'"])*?(?P=quote_j) | /( /s*
(?:[/w.`]+|(?P<quote_k>['"])(?://['"]|[^'"])*?(?P=quote_k))
(?:,/s* (?:[/w.`]+|(?P<quote_l>['"])(?://['"]|[^'"])*?(?P=quote_l)))* /s*
/) ) /s*
)*

請(qǐng)看匹配效果圖：

算術(shù)表達(dá)式

我記得剛才好像提到“為簡(jiǎn)單起見(jiàn)，這里就不考慮算術(shù)表達(dá)式了”。不過(guò)，解析算術(shù)表達(dá)式是個(gè)非常有趣的話題，只要是算法書(shū)，都會(huì)提及（中綴表達(dá)式轉(zhuǎn)前綴表達(dá)式，諸如此類(lèi)）。當(dāng)然它也可以使用正則表達(dá)式來(lái)描述。

其主要思路是：

expr -> expr + term | expr - term | term
term -> term * factor | term / factor | factor
factor -> digit | ( expr )

以及代碼：

#!/usr/bin/python
# -*- coding: utf-8 -*-
#
#author: rex
#blog: http://jb51.net
#filename math.py
#created: 2010-08-07 00:44

integer=r"/d+"

factor=r"%s (?:/. %s)?" % (integer, integer)

term= "%s(?: /s* [*/] /s* %s)* " % (factor, factor)

expr= "(?x) %s(?: /s* [+-] /s* %s)* " % (term, term)

print expr

看一下它的輸出和匹配效果圖：

小貼士

?如果不用復(fù)雜的正則式就能解決問(wèn)題，一定不要用。
?如果必須寫(xiě)比較復(fù)雜的正則式，請(qǐng)參考以下原則。
?從大處著眼，先理解待解析的文本的整體結(jié)構(gòu)是什么樣子，劃分為小部件；
?從細(xì)處著手，試圖實(shí)現(xiàn)每一個(gè)小部件，力求每一部分都是完整、堅(jiān)固的，且放在全局也不會(huì)沖突。
?合理組裝這些部件。
?分而治之的好處：只有某個(gè)模塊出錯(cuò)，其它部分沒(méi)錯(cuò)時(shí)，可以迅速定位錯(cuò)誤，消除BUG。
?謹(jǐn)慎使用捕獲括號(hào)，除非你知道自己在做什么，知道它會(huì)有什么副作用，以及是否有可行的解決措施。對(duì)于短小的正則式來(lái)說(shuō)，一兩個(gè)多余的括號(hào)是無(wú)傷大雅的；但是對(duì)于復(fù)雜的正則式來(lái)說(shuō)，一對(duì)多余的括號(hào)可能就是致命的錯(cuò)誤。
?盡量使用free-space模式。此時(shí)你可以自由地添加注釋和空白字符，以便提高正則表達(dá)式的可讀性。