使用 Splash 实现点击按钮下载文件
2022-2-14 18:17:13
收藏:0
阅读:141
评论:1
我有一个爬虫用来抓取一些数据和一个 PDF 文件。一切都完成了,除了 PDF。在 file_urls 字段中没有直接的 PDF 下载源。 HTML 如下所示
<a onclick="document.forms[0].target ='_blank';" id="main_0_body_0_lnkDownloadBio" href="javascript:__doPostBack('main_0$body_0$lnkDownloadBio','')">下载完整的<span class="no-wrap">生物<i class="fa fa-angle-right" data-nowrap-cta=""></i></span></a>
似乎是某些 JavaScript 点击方法而不是 src 在起作用。当我们点击这个时,它会打开一个新窗口并提供下载选项。现在我计划使用 Splash 请求和 lua 脚本。以下是代码
class DataSpider(scrapy.Spider):
name = config.NAME
allowed_domains = [config.DOMAIN]
def start_requests(self):
for url in config.START_URLS:
yield scrapy.Request(url, self.parse_data)
def parse_data(self, response):
script = """
function main(splash)
local url = splash.args.url
assert(splash:go(url))
assert(splash:wait(1))
-- 回到时间中的上个月并等待一会儿(1 秒钟)
assert(splash:runjs("document.getElementById('DownloadBio').click()"))
assert(splash:wait(1))
-- 将结果返回为 JSON 对象
return {
html = splash:html(),
}
end
"""
response = json.loads(response.text)
res = response['people']
for index, i in enumerate(res[1]):
first_name = res[index]['name']
last_name = res[index]['lastname']
location = res[index]['location']
link = res[index]['pageurl']
link = config.HOST + link
item = ProtoscraperItem(first_name=first_name, last_name=last_name, title=title, location=location, link=link)
# 这个请求是用于详细页面的,那里有更多的信息和 PDF。
request = SplashRequest(link, self.parse_details, meta={
'splash': {
'args': {'lua_source': script, 'wait': 30, 'timeout': 40},
'endpoint': 'execute',
},)
request.meta['item'] = item
request.meta['link'] = link
yield request
def parse_details(self, response):
# 在这里做什么
所以在这里我点击了 anchor tag 来执行 javscript。我认为它在起作用,但是没有东西下载。我在这里漏掉了什么。有可能指定下载路径吗?我认为这可能是通过 selenium 实现的,但是我如何使用 Splash 和 lua 实现这一点?
点赞
评论区的留言会收到邮件通知哦~
推荐文章
- Lua 虚拟机加密load(string.dump(function)) 后执行失败问题如何解决
- 我想创建一个 Nginx 规则,禁止访问
- 如何将两个不同的lua文件合成一个 东西有点长 大佬请耐心看完 我是小白研究几天了都没搞定
- 如何在roblox studio中1:1导入真实世界的地形?
- 求解,lua_resume的第二次调用继续执行协程问题。
- 【上海普陀区】内向猫网络招募【Skynet游戏框架Lua后端程序员】
- SF爱好求教:如何用lua实现游戏内调用数据库函数实现账号密码注册?
- Lua实现网站后台开发
- LUA错误显式返回,社区常见的规约是怎么样的
- lua5.3下载库失败
- 请问如何实现文本框内容和某个网页搜索框内容连接,并把网页输出来的结果反馈到另外一个文本框上
- lua lanes多线程使用
- 一个kv数据库
- openresty 有没有比较轻量的 docker 镜像
- 想问一下,有大佬用过luacurl吗
- 在Lua执行过程中使用Load函数出现问题
- 为什么 neovim 里没有显示一些特殊字符?
- Lua比较两个表的值(不考虑键的顺序)
- 有个lua简单的项目,外包,有意者加微信 liuheng600456详谈,最好在成都
- 如何在 Visual Studio 2022 中运行 Lua 代码?

通过点击按钮,我相信它会调用 ASP.net 中的“__doPostBack”函数。当您单击提交按钮时,将使用特定值提交 form[0]。您需要检查页面以获取提交表单的所有元素。
此操作需要的参数是
可能还有其他参数,通常这些参数设置为表单中的隐藏值。(请在您的网页上验证)
arguments = {'__EVENTTARGET': 'main_0$body_0$lnkDownloadBio', '__EVENTARGUMENT': '', '__VIEWSTATE': viewstate, '__VIEWSTATEGENERATOR': viewstategen, '__EVENTVALIDATION': eventvalid, 'search': '', 'filters': '', 'score': '' } HEADERS = { 'Content-Type': 'application/x-www-form-urlencoded', 'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36', 'Accept': 'text/html, application/xhtml+xml, application/xml;q=0.9, image/webp, image/apng, */*;q=0.8' } data = urllib.urlencode(arguments) r = requests.post(submitin_url, data, allow_redirects=False, headers=HEADERS) with open(some_filename, 'wb') as f: f.write(r.content)我在我的项目中有类似的工作,并且我是这样做的。使用 Python 请求发送表单值和参数。响应将是您想要下载的文件。将其写入文件中,并确保扩展名正确。我希望这对您有所帮助。