Scrapy Splash截图问题?
2022-2-14 18:19:13
收藏:0
阅读:110
评论:1
我正在尝试在爬取每个页面时截取屏幕截图。到目前为止,我成功地拼凑出了以下代码:
import json
import base64
import scrapy
from scrapy_splash import SplashRequest
class ExtractSpider(scrapy.Spider):
name = 'extract'
def start_requests(self):
url = 'https://stackoverflow.com/'
splash_args = {
'html': 1,
'png': 1
}
yield SplashRequest(url, self.parse_result, endpoint='render.json', args=splash_args)
def parse_result(self, response):
png_bytes = base64.b64decode(response.data['png'])
imgdata = base64.b64decode(png_bytes)
filename = 'some_image.png'
with open(filename, 'wb') as f:
f.write(imgdata)
它可以正常进入网站(例如stackoverflow)并返回png_bytes的数据,但是当写入文件时,会返回一个损坏的图像(无法加载)。
是否有一种方法可以解决这个问题,或者找到一种更有效的解决方案?我已经了解到Splash Lua Scripts可以做到这一点,但是一直无法找到实现的方法。谢谢。
点赞
评论区的留言会收到邮件通知哦~
推荐文章
- Lua 虚拟机加密load(string.dump(function)) 后执行失败问题如何解决
- 我想创建一个 Nginx 规则,禁止访问
- 如何将两个不同的lua文件合成一个 东西有点长 大佬请耐心看完 我是小白研究几天了都没搞定
- 如何在roblox studio中1:1导入真实世界的地形?
- 求解,lua_resume的第二次调用继续执行协程问题。
- 【上海普陀区】内向猫网络招募【Skynet游戏框架Lua后端程序员】
- SF爱好求教:如何用lua实现游戏内调用数据库函数实现账号密码注册?
- Lua实现网站后台开发
- LUA错误显式返回,社区常见的规约是怎么样的
- lua5.3下载库失败
- 请问如何实现文本框内容和某个网页搜索框内容连接,并把网页输出来的结果反馈到另外一个文本框上
- lua lanes多线程使用
- 一个kv数据库
- openresty 有没有比较轻量的 docker 镜像
- 想问一下,有大佬用过luacurl吗
- 在Lua执行过程中使用Load函数出现问题
- 为什么 neovim 里没有显示一些特殊字符?
- Lua比较两个表的值(不考虑键的顺序)
- 有个lua简单的项目,外包,有意者加微信 liuheng600456详谈,最好在成都
- 如何在 Visual Studio 2022 中运行 Lua 代码?

你正尝试对 base64 进行两次解码:
png_bytes = base64.b64decode(response.data['png']) imgdata = base64.b64decode(png_bytes)请直接这样做:
def parse_result(self, response): imgdata = base64.b64decode(response.data['png']) filename = 'some_image.png' with open(filename, 'wb') as f: f.write(imgdata)