使用 Python 模块 re 实现解析小工具
制作无纺布手提袋
孙 翎, 软件工程师, IBM
贺 皓, 高级软件工程师, IBM
张 晗, 高级软件工程师, IBM
简介： Python 模块 re（Regular Expression）是一个很有价值并且非常强大的文本解析工具，本文通过一个简单有趣的小实例来分享一下此模块的使用方法。首先讲述 Python re 的语法和功能，并通过实际代码片段分步描述实现文本解析小工具的过程，最后演示该小工具的效果，并且为读者提供运行在 Google App Engine 上的实例。
概要
在开发过程中发现，Python 模块 re（Regular Expression）是一个很有价值并且非常强大的文本解析工具，因而想要分享一下此模块的使用方法。
有这样一个简单而有趣的实践范例：对于喜欢追看美剧的年轻人，最新一集美剧的播出时间
常常是一个让人头疼的问题，一个实时更新美剧播出时间表的小工具会很受欢迎。
本文通过以上这个实例，描述如何抓获 TV 网站上的文本信息，利用 Python 的 re 模块进行解析，并将热门美剧播出时间显示在自己的网页上，希望能够以娱乐的方式很好的解释 re 模块的用法。
Python 正则表达式模块 (re) 简介
Python 的 re 模块（Regular Expression 正则表达式）提供各种正则表达式的匹配操作，和 Perl 脚本的正则表达式功能类似，使用这一内嵌于 Python 的语言工具，尽管不能满足所有复杂的匹配情况，但足够在绝大多数情况下能够有效地实现对复杂字符串的分析并提取出相关信息。Python 会将正则表达式转化为字节码，利用 C 语言的匹配引擎进行深度优先的匹配。 Python 正则表达式语法
正则表达式可以包含普通字符和特殊字符，普通字符（比如数字或者字母）可以直接对目标字符串进行匹配，在本文中我们主要讨论利用特殊字符来模糊匹配某一些字符串的方法，
比如'|'或者'('，使用这些特殊字符，正则表达式可以表示某一类的普通字符，或者是改变其周围的正则表达式的含义。具体如表 2-1 所示：
表 1. 正则表达式语法
符号 | 意义 | 例子 |
. | 表示任意字符，如果说指定了 DOTALL 的标识，就表示包括新行在内的所有字符。 | |
^ | 表示字符串开头。 | |
$ | 表示字符串结尾。 | ‘ test ’ 可以匹配‘ test ’和‘ testtool ’，但‘ test$ ’只能匹配‘ test ’。 |
*, +, ? | '*'表示后面可跟 0 个或多个字符，'+'表示后面可跟 1 个或多个字符，'?'表示后面可跟 0 个或多个字符 | ‘ abc* ’可以匹配‘ abc ’ 或者‘ abcd ’或者‘ abcdefg ’等等。 |
*?, +?, ?? | 在上面的结果中只去第一个 | <*> 会匹配'<H1>title</H1>'整个字符串（贪婪匹配），使用 *? 可以只出 <H1>（非贪婪匹配） |
{m} | 对于前一个字符重复 m 次 | a{6} 匹配 6 个'a' |
{m,n} | 对于前一个字符重复 m 到 n 次 | a{2,4} 匹配 2-4 个 a，a{2,} 匹配 2 个以上 a，a{,4} 匹配 4 个以下 a |
{m,n}? | 对于前一个字符重复 m 到 n 次，并且取尽可能少的情况 | 在字符串'aaaaaa'中，a{2,4} 会匹配 4 个 a，但 a{2,4}? 只匹配 2 个 a |
\ | 对特殊字符进行转义，或者是指定特殊序列 | |
[] | 表示一个字符集 | 医用护理床[abc] 会匹配字符 a，b 或者 c，[a-z] 匹配所有小写字母，[a-zA-Z0-9] 匹配所有字母和数字，[^6] 表示除了 6 以外的任意字符 |
| | 电动 或者，只匹配其中一个表达式 | A|B，如果 A 匹配了，则不再查 B，反之亦然 |
( … ) | 匹配括号中的任意正则表达式 | |
(?#...) | 注释，忽略括号内的内容 | |
(?= … ) | 表达式’…’之前的字符串 | 在字符串’ pythonretest ’中 (?=test) 会匹配’ pythonre ’ |
(?!...) | 后面不跟表达式’…’的字符串 | 如果’ pythonre ’后面不是字符串’ test ’，那么 (?!test) 会匹配’ pythonre ’ |
(?<= … ) | 跟在表达式’…’后面的字符串符合括号之后的正则表达式 | 正则表达式’ (?<=abc)def ’会在’ abcdef ’中匹配’ def ’ |
(?<!...) | 括号之后的正则表达式不跟在’…’的后面
| |
| | |
包含’ \ ’的特殊序列的意义如表 2-2：
表 2. 正则表达式特殊序列
路况电台
特殊表达式序列 | 意义 |
\A | 只在字符串开头进行匹配。 |
\b | 匹配位于开头或者结尾的空字符串 |
\B | 匹配不位于开头或者结尾的空字符串 |
\d | 匹配任意十进制数，相当于 [0-9] |
\D | 匹配任意非数字字符，相当于 [^0-9] |
\s | 匹配任意空白字符，相当于 [ \t\n\r\f\v] |
\S | 匹配任意非空白字符，相当于 [^ \t\n\r\f\v] |
\w | 匹配任意数字和字母，相当于 [a-zA-Z0-9_] |
\W | 匹配任意非数字和字母的字符，相当于 [^a-zA-Z0-9_] |
\Z | 只在字符串结尾进行匹配 |
| |
Python re 的主要功能
Python 的 re 正则表达式模块定义了一系列函数，常量以及异常；同时，正则表达式被编译成‘ RegexObject ’实例，本身可以为不同的操作提供方法。接下来简要介绍一下这些函数的功能和用法。
compile
repile(pattern[, flags])
把正则表达式的模式和标识转化成正则表达式对象，供 match() 和 search() 这两个函数使用。
re 所定义的 flag 包括：
re.I 忽略大小写
re.L 表示特殊字符集 \w, \W, \b, \B, \s, \S 依赖于当前环境
re.M 多行模式
re.S 即为’ . ’并且包括换行符在内的任意字符（’ . ’不包括换行符）
re.U 表示特殊字符集 \w, \W, \b, \B, \d, \D, \s, \S 依赖于 Unicode 字符属性数据库
re.X 为了增加可读性，忽略空格和’ # ’后面的注释
例：以下两种用法结果相同：
A)
compiled_pattern = repile(pattern) result = compiled_pattern.match(string) |
|
B)
result = re.match(pattern, string) |
|
search
re.search(pattern, string[, flags])
在字符串中查匹配正则表达式模式的位置，返回 MatchObject 的实例，如果没有到匹配的位置，则返回 None。
对于已编译的正则表达式对象来说（re.RegexObject），有以下 search 的方法：
search (string[, pos[, endpos]])
若 regex 是已编译好的正则表达式对象，regex.search(string, 0, 50) 等同于 regex.search(string[:50], 0)。
具体示例如下。
>>> pattern = repile("a") abp263 >>> pattern.search("abcde") # Match at index 0 >>> pattern.search("abcde", 1) # No match; |
|
match
re.match(pattern, string[, flags])
判断 pattern 是否在字符串开头位置匹配。对于 RegexObject，有：
match(string[, pos[, endpos]])
match() 函数只在字符串的开始位置尝试匹配正则表达式，也就是只报告从位置 0 开始的匹配情况，而 search() 函数是扫描整个字符串来查匹配。如果想要搜索整个字符串来寻匹配，应当用 search()。
split卧式冷室压铸机
re.split(pattern, string[, maxsplit=0, flags=0])
此功能很常用，可以将将字符串匹配正则表达式的部分割开并返回一个列表。对 RegexObject，有函数：
split(string[, maxsplit=0])
例如，利用上面章节中介绍的语法：
>>> re.split('\W+', 'test, test, test.') ['test', 'test', 'test', ''] >>> re.split('(\W+)', ' test, test, test.') [' test ', ', ', ' test ', ', ', ' test ', '.', ''] >>> re.split('\W+', ' test, test, test.', 1) [' test ', ' test, test.'] |
|
对于一个不到匹配的字符串而言，split 不会对其作出分割，如：
>>> re.split('a*', 'hello world') ['hello world'] |
|
findall
re.findall(pattern, string[, flags])
在字符串中到正则表达式所匹配的所有子串，并组成一个列表返回。同样 RegexObject 有：
findall(string[, pos[, endpos]])
示例如下：
#get all content enclosed with [], and return a list >>> return_list = re.findall("(\[.*?\])",string) |
|
finditer
re.finditer(pattern, string[, flags])
和 findall 类似，在字符串中到正则表达式所匹配的所有子串，并组成一个迭代器返回。同样 RegexObject 有：
finditer(string[, pos[, endpos]])
sub
re.sub(pattern, repl, string[, count, flags])
在字符串 string 中到匹配正则表达式 pattern 的所有子串，用另一个字符串 repl 进行替换。如果没有到匹配 pattern 的串，则返回未被修改的 string。Repl 既可以是字符串也可以是一个函数。对于 RegexObject 有：
sub(repl, string[, count=0])
此语法的示例有：
>>> p = repile( '(one|two|three)') >>> p.sub( 'num', 'one word two words three words') 'num word num words num words' |
|
同样可以用以下方法，并指定 count 为 1（只替换第一个）：
