RoboBrowser Python爬网工具

RoboBrowser简介

RoboBrowser，Python第三方库，可以用于在没有网络浏览器的情况下浏览网络。RoboBrowser可以用于获取页面，点击链接和按钮，填写和提交表格。

RoboBrowser应用实例

import re
from robobrowser import RoboBrowser

# Browse to Rap Genius
browser = RoboBrowser(history=True)
browser.open('http://example.example/') #某音乐网站

# Search for Queen
form = browser.get_form(action='/search')
form                # 
form['q'].value = 'queen'
browser.submit_form(form)

# Look up the first song
songs = browser.select('.song_name')
browser.follow_link(songs[0])
lyrics = browser.select('.lyrics')
lyrics[0].text      # \n[Intro]\nIs this the real life...

# Back to results page
browser.back()

# Can also search HTML using regex patterns
lyrics = browser.find(class_=re.compile(r'\blyrics\b'))
lyrics.text         # \n[Verse 1]\nYou suck my blood like a leech...

RoboBrowser Github统计数据

BSD-3-Clause license

Github 3.7k stars

RoboBrowser安装命令

pip install robobrowser（来源：pypi）

RoboBrowser Python版本要求

Python >= 2.6 or >= 3.3

免责声明：内容编辑自网络，仅供参考，不保证正确性，不作任何决策依据！！以上数据皆截止于博文的写稿日期。