selenium 怎样设置请求头

lib/request_headers.rb:

class CustomHeadersHelper

cattr_accessor :headers

end

class RequestHeaders

def initialize(app, helper = nil)

@app, @helper = app, helper

end

def call(env)

if @helper

headers = @helper.headers

if headers.is_a?(Hash)

headers.each do |k,v|

env["HTTP_#{k.upcase.gsub("-", "_")}"] = v

end

end

end

@app.call(env)

end

end

config/initializers/middleware.rb

require 'request_headers'

if %w(test cucumber).include?(Rails.env)

Rails.application.config.middleware.insert_before Rack::Lock, "RequestHeaders", CustomHeadersHelper

end

spec/support/capybara_headers.rb

require 'request_headers'

module CapybaraHeaderHelpers

shared_context "navigating within the site" do

before(:each) { add_headers("Referer" =>Capybara.app_host + "/") }

end

def add_headers(custom_headers)

if Capybara.current_driver == :rack_test

custom_headers.each do |name, value|

page.driver.browser.header(name, value)

end

else

CustomHeadersHelper.headers = custom_headers

end

end

end

spec/spec_helper.rb

...

config.include CapybaraHeaderHelpers

python selenium不可以添加request header。

Python由荷兰数学和计算机科学研究学会的吉多·范罗苏姆于1990 年代初设计，作为一门叫做ABC语言的替代品。Python提供了高效的高级数据结构，还能简单有效地面向对象编程。

Python语法和动态类型，以及解释型语言的本质，使它成为多数平台上写脚本和快速开发应用的编程语言。

随着版本的不断更新和语言新功能的添加，逐渐被用于独立的、大型项目的开发。

Python解释器易于扩展，可以使用C语言或C++（或者其他可以通过C调用的语言）扩展新的功能和数据类型。

Python 也可用于可定制化软件中的扩展程序语言。Python丰富的标准库，提供了适用于各个主要系统平台的源码或机器码。

2021年10月，语言流行指数的编译器Tiobe将Python加冕为最受欢迎的编程语言，20年来首次将其置于Java、C和JavaScript之上。

自从20世纪90年代初Python语言诞生至今，它已被逐渐广泛应用于系统管理任务的处理和Web编程。

1995 年，Guido van Rossum 在弗吉尼亚州的国家创新研究公司（CNRI）继续他在 Python 上的工作，并在那里发布了该软件的多个版本。

2000 年五月，Guido van Rossum和 Python 核心开发团队转到 BeOpen.com 并组建了 BeOpen PythonLabs 团队。

同年十月，BeOpen PythonLabs 团队转到 Digital Creations (现为 Zope Corporation)。

2001 年，Python 软件基金会 (PSF) 成立，这是一个专为拥有 Python 相关知识产权而创建的非营利组织。 Zope Corporation 现在是 PSF 的赞助成员。

403是网页状态码，表示访问拒绝或者禁止访问。

应该是你触发到网站的反爬虫机制了。

解决方法是：

1.伪造报文头部user-agent（网上有详细教程不用多说）

2.使用可用代理ip，如果你的代理不可用也会访问不了

3.是否需要帐户登录，使用cookielib模块登录帐户 *** 作

4.如果以上方法还是不行，那么你的ip已被拉入黑名单静止访问了。等一段时间再 *** 作。如果等等了还是不行的话：

使用phatomjs或者selenium模块试试。

还不行使用scrapy等爬虫框架看看。

以上都不行，说明这网站反爬机制做的很好，爬不了了，没法了，不过我觉得很少有这种做得很好的网站

---