
总结评论:
- select 查找多个实例并返回一个列表, find 查找第一个实例,因此它们不会执行相同的 *** 作。 select_one 将等同于 find 。
- 我链接时,标签或使用几乎总是使用CSS选择 tag.classname ,如果寻找一个单一的元素没有一个类我用 找到 。本质上,它取决于用例和个人喜好。
- 就灵活性而言,我认为您知道答案,
soup.select("div[id=foo] > div > div > div[class=fee] > span > span > a")使用多个链接的 find / find_all 调用看起来很难看。 - bs4中的css选择器唯一的问题是对它的支持非常有限, nth-of-type 是唯一实现的伪类,并且像c [sref ]的许多其他部分一样,也不支持链接属性,例如a [href] [src]。但是像 a [href = ..] *, a [href ^ =] , a [href $ =] 等之类的东西我认为要好得多,
find("a", href=re.compile(....))但这又是个人喜好。
为了提高性能,我们可以运行一些测试,我修改了此处答案的代码,该答案在从此处获取的800多个html文件上运行,虽然并不详尽,但应为某些选项的可读性和性能提供线索:
修改后的功能为:
from bs4 import BeautifulSoupfrom glob import iglobdef parse_find(soup): author = soup.find("h4", class_="h12 talk-link__speaker").text title = soup.find("h4", class_="h9 m5").text date = soup.find("span", class_="meta__val").text.strip() soup.find("footer",class_="footer").find_previous("data", { "class": "talk-transcript__para__time"}).text.split(":") soup.find_all("span",class_="talk-transcript__fragment")def parse_select(soup): author = soup.select_one("h4.h12.talk-link__speaker").text title = soup.select_one("h4.h9.m5").text date = soup.select_one("span.meta__val").text.strip() soup.select_one("footer.footer").find_previous("data", { "class": "talk-transcript__para__time"}).text soup.select("span.talk-transcript__fragment")def test(patt, func): for html in iglob(patt): with open(html) as f: func(BeautifulSoup(f, "lxml")现在是时候了:
In [7]: from testing import test, parse_find, parse_selectIn [8]: timeit test("./talks/*.html",parse_find)1 loops, best of 3: 51.9 s per loopIn [9]: timeit test("./talks/*.html",parse_select)1 loops, best of 3: 32.7 s per loop就像我说的并不详尽,但我认为我们可以肯定地说CSS选择器绝对有效。
欢迎分享,转载请注明来源:内存溢出
微信扫一扫
支付宝扫一扫
评论列表(0条)