使用Scrapy Splash无法点击按钮
2021-7-27 15:49:24
收藏:0
阅读:171
评论:0
我正在尝试登录网站。我需要点击几个按钮才能实现,而我想使用Scrapy Splash,但我总是得到400错误。
from scrapy import Spider, Request from scrapy_splash import SplashRequest from datetime import datetime
class YouTube(Spider):
name = 'youtube'
start_urls = ['https://www.youtube.com']
lua_click_button = """
function main(splash)
assert(splash:go(args.url))
splash:wait(0.5)
local element = splash:select('.style-scope.ytd-button-renderer.style-suggestive.size-small#button')
local bounds = element:bounds()
element:mouse_click{x=bounds.width/2, y=bounds.height/2}
return splash:html()
end
"""
def start_requests(self):
for url in self.start_urls:
yield Request(
url=url,
callback=self.parse,
)
def parse(self, response):
html_file = (
f'homepage_{datetime.now()}.html'
)
with open(html_file, 'w') as f:
f.write(response.body.decode('utf-8'))
yield SplashRequest(
url=response.url,
callback=self.after_first_click,
endpoint='execute',
args={'lua_source': self.lua_click_button}
)
def after_first_click(self, response):
html_file = (
f'after_first_click{datetime.now()}.html'
)
with open(html_file, 'w') as f:
f.write(response.body.decode('utf-8'))
这是从scrapy运行指令所获得的错误
警告:对Splash的请求失败:{'error': 400, 'type': 'ScriptError', 'description': 'Error happened while executing Lua script', 'info': {'source': '[string "..."]', 'line_number': 3, 'error': "attempt to index global 'args' (a nil value)", 'type': 'LUA_ERROR', 'message': 'Lua error: [string "..."]:3: attempt to index global \'args\' (a nil value)'}}
点赞
评论区的留言会收到邮件通知哦~
推荐文章
- 如何在roblox studio中1:1导入真实世界的地形?
- 求解,lua_resume的第二次调用继续执行协程问题。
- 【上海普陀区】内向猫网络招募【Skynet游戏框架Lua后端程序员】
- SF爱好求教:如何用lua实现游戏内调用数据库函数实现账号密码注册?
- Lua实现网站后台开发
- LUA错误显式返回,社区常见的规约是怎么样的
- lua5.3下载库失败
- 请问如何实现文本框内容和某个网页搜索框内容连接,并把网页输出来的结果反馈到另外一个文本框上
- lua lanes多线程使用
- 一个kv数据库
- openresty 有没有比较轻量的 docker 镜像
- 想问一下,有大佬用过luacurl吗
- 在Lua执行过程中使用Load函数出现问题
- 为什么 neovim 里没有显示一些特殊字符?
- Lua比较两个表的值(不考虑键的顺序)
- 有个lua简单的项目,外包,有意者加微信 liuheng600456详谈,最好在成都
- 如何在 Visual Studio 2022 中运行 Lua 代码?
- addEventListener 返回 nil Lua
- Lua中获取用户配置主目录的跨平台方法
- 如何编写 Lua 模式将字符串(嵌套数组)转换为真正的数组?