Splash不工作但requests_html可以工作
2022-2-1 22:38:21
收藏:0
阅读:255
评论:0
这个简单的Splash Lua脚本不能正确地呈现这个网页。具体来说,HTML响应不完整也不正确。我想使用Splash,因为它可以很容易地与Scrapy集成。但是,我可以很容易地使用Python中的requests_html获得HTML。为什么Splash不能工作?请注意,Splash脚本将无法执行xpath表达式//h2[@class='_14i3z6h']/text(),因为在Splash呈现的HTML中不存在。
url = https://www.airbnb.ca/rooms/48058366
这很容易使用requests_html。
简单的Python脚本(有效,HTML是正确的,xpath表达式有效)
import requests_html
r = session.get(f"https://www.airbnb.ca/rooms/48058366")
r.html.render(sleep=3, timeout=3)
r.html.xpath("//h2[@class='_14i3z6h']/text()")
Lua脚本(HTML是错误的)
function main(splash, args)
splash.private_mode_enabled = false
assert(splash:go(args.url))
assert(splash:wait(2))
splash.private_mode_enabled = true
return {
html = splash:html(),
png = splash:png(),
har = splash:har(),
}
end
原文链接 https://stackoverflow.com/questions/70948465
点赞
评论区的留言会收到邮件通知哦~
推荐文章
- 【上海普陀区】内向猫网络招募【Skynet游戏框架Lua后端程序员】
- SF爱好求教:如何用lua实现游戏内调用数据库函数实现账号密码注册?
- Lua实现网站后台开发
- LUA错误显式返回,社区常见的规约是怎么样的
- lua5.3下载库失败
- 请问如何实现文本框内容和某个网页搜索框内容连接,并把网页输出来的结果反馈到另外一个文本框上
- lua lanes多线程使用
- 一个kv数据库
- openresty 有没有比较轻量的 docker 镜像
- 想问一下,有大佬用过luacurl吗
- 在Lua执行过程中使用Load函数出现问题
- 为什么 neovim 里没有显示一些特殊字符?
- Lua比较两个表的值(不考虑键的顺序)
- 有个lua简单的项目,外包,有意者加微信 liuheng600456详谈,最好在成都
- 如何在 Visual Studio 2022 中运行 Lua 代码?
- addEventListener 返回 nil Lua
- Lua中获取用户配置主目录的跨平台方法
- 如何编写 Lua 模式将字符串(嵌套数组)转换为真正的数组?
- 如何创建一个 lua 脚本以针对特定键为 fluentbit 进行限流
- 如何在Lua中将变量从Lua推送到C ++