您现在的位置是:首页 > 正文

selenium 页面加载慢,超时的解决方案

2024-02-01 03:11:27阅读 1

开发环境:

win10-64  python2.7.16  chrome77

 

from selenium import webdriver

driver = webdriver.Chrome(executable_path='chromedriver.exe')

driver.get('http://全部加载完成超级慢的网站')


user = 'abc'
pwd = '123

driver.find_element_by_id('email').send_keys(user)
driver.find_element_by_id('pass').send_keys(pwd)

先看这样一段代码

当执行了get以后,除非网站全部加载完成,否则你只能乖乖等,什么都不能干,这是整个程序是阻塞的,get不完就别想进行下面操作

这个等待可能是5分钟或者更久

其实5秒钟的时候界面就已经打开了,然后他还在加载些什么js,img,等待速度超慢的,但是网页人工是可以操作

那么有没有什么办法呢,网上找了一通,给出了很多解决方案

 

首先是这货(下面是我复制的):


    
from selenium import webdriver
driver=webdriver.Chrome()
driver.set_page_load_timeout(5)
driver.set_script_timeout(5)#这两种设置都进行才有效
try:
    d.get(s)
except:
    d.execute_script('window.stop()')#这句话好像没什么软用

可以在页面停止加载后继续操作了

driver.set_page_load_timeout(5)这玩意一设置,没问题,5秒后网页确实停止了,但是driver也死了,不管运行什么都是timeout,还说try一下,driver是死透了,只能重新来
不知道是selenium更新了还是他自己没测试还是chrome更新了,现在这么设置就是找死的

注意:使用set_page_load_timeout时候,当页面未加载出任何东西的时候(往往是html源码未加载),因为超时而停止,会导致driver失效,
后面的driver都不能操作,所以超时设置应该至少保证页面内容加载出来一部分,设置超时不宜过短,如下图在页面此种状态下停止加载后driver失效。

不错,是有人也说了,不能设置太短,会失效,但是我可以说,你设置5分钟照样失效,只要超时一次,driver就完蛋,直接翻车

接下来是另一个方法
# coding = utf-8
from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
import time

driver = webdriver.Chrome()
class button():
    def __call__(self, driver):
        if driver.find_element_by_id('js_love_url'):
            return True
        else:
            return False 

driver.implicitly_wait(60)
time_start = time.time()
driver.get('https://www.163.com/')

# driver.find_element_by_id('js_love_url').click()
WebDriverWait(driver,2,0.5).until(button()) 
time_end = time.time()
print('access time is : ', time_end - time_start)
time.sleep(2)
driver.quit()

用WebDriverWait进行操作,不过我测试下来,driver.get()不执行完,下面的代码根本就不会执行,所以还是不行

 

找了各种方法,各种操作,都失败了,总算今天找到了正确的方法

原理非常简单:driver.get()这个操作,改成不阻塞的就行了,这样打开网页就操作完成了,不需要等他加载

下面我可以直接等待需要的元素出现即可进行操作

 

配置也是很简单

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities


#get直接返回,不再等待界面加载完成
desired_capabilities = DesiredCapabilities.CHROME
desired_capabilities["pageLoadStrategy"] = "none"

driver = webdriver.Chrome(executable_path='chromedriver.exe')

配置一个参数,就是页面加载策略,系统默认是等待,就是等他加载完,直接设置成none,就是不等待,这样就是get操作完后直接就是结束了

不影响下面的操作,这样就可以愉快的玩耍了

 

转载于:https://www.cnblogs.com/darkspr/p/11533119.html

网站文章

  • Python智力问答小游戏

    Python智力问答小游戏

    在这个Python智力问答小游戏中,我们将提供一系列问题,并编写代码来实现一个简单的问答游戏。玩家将被要求回答一些与Python编程相关的问题,并根据他们的回答来获得得分。接下来,我们需要编写代码来显...

    2024-02-01 03:10:53
  • [EXP公开] CVE-2020-13935: Tomcat WebSocket 拒绝服务漏洞通告

    [EXP公开] CVE-2020-13935: Tomcat WebSocket 拒绝服务漏洞通告

    原创 360CERT [三六零CERT](javascript:void(0)???? 今天 报告编号:B6-2020-110601 报告来源:360CERT 报告作者:360CERT 更新日期:20...

    2024-02-01 03:10:45
  • 常见的语法错误

    1、有缩进 :IndentationError: unexpected indent2、解释器会明确指出错误原因是无法识别的字符“:invalid character ’

    2024-02-01 03:10:37
  • class 文件方法表集合

    class 文件方法表集合

    一点睛 methods:指向常量池索引集合,它完整描述了每个方法的签名。 在字节码文件中,每一个 method_info 项都对应着一个类或者接口中的方法信息。比如方法的访问修饰符(public、pr...

    2024-02-01 03:10:30
  • eCharts工具类

    eCharts工具类

    ECharts,一个使用 JavaScript 实现的开源可视化库,可以流畅的运行在 PC 和移动设备上,兼容当前绝大部分浏览器(IE8/9/10/11,Chrome,Firefox,Safari等)...

    2024-02-01 03:10:02
  • 理解React Hooks看这一篇就够了

    理解React Hooks看这一篇就够了

    在React中,Hooks其实就是一个函数,这个函数的命名以use开头、函数return一个结果;React Hooks其实就是封装了一些通用的、公共的方法,就是一些通用的工具。官方Hooks是指Re...

    2024-02-01 03:09:56
  • html前端对象字段去空格,springboot中前台传来的string字符串自动去除前后面的空格...

    服务器后端接收前端传来的字符串带空格,如下现在在后端接收时需要把字符串前后的空格去除掉。解决办法importcom.fasterxml.jackson.databind.Deserialization...

    2024-02-01 03:09:48
  • java ftl转pdf_FreeMarker(二):利用FreeMarker转pdf

    java ftl转pdf_FreeMarker(二):利用FreeMarker转pdf

    1. 设计需求订票成功后,生成一个pdf 文件,用户打印入场票,门票大致如下所示: 2. 设计思想1). 使用FreeMarker 转换 ftl(就是FreeMarker 魔板文件),生成HTML2)...

    2024-02-01 03:09:18
  • BootStrap 多个tab页面 保存提交后停留在操作tab页或者指定tab页

    jQ+ Bootstrap 动态控制tab页面切换最近在做一个功能,一个页面包含多个tab页签,每一个tab页面都有保存和提交按钮功能,现在是希望在某个tab页面点击保存或者提交按钮提交表单后,重新加...

    2024-02-01 03:09:11
  • 手把手教你搭建自己的git+gerrit代码评审服务器

    手把手教你搭建自己的git+gerrit代码评审服务器

    你可能遇到过这样的问题,不知道如何管理自己的代码。自己开发的代码,过了几天,忘记修改了什么,忘了上次改到哪了,代码突然找不到了等等,甚至容易消磨自己的耐心,成就感不高。今天就教你用git+gerrit...

    2024-02-01 03:09:04