如何捕获splash:on_response重试错误和项目？

我正在使用scrapy，splash和scrapy \ _splash来爬取目录网站。

该网站使用表单POST打开新的项目详细信息页面。

有时，项目详细信息页面会在Splash中显示默认错误页面（与HTTP状态无关），但是如果我第二次重新发布表单，则会返回项目详细信息。 我仍在调查响应的根本原因。 它似乎更像是一个时间问题而不是在n个请求之后进行特定检查。

作为解决方法，当收到错误页面时，我使用splash：on \ _response方法重试表单提交。

我希望能够记录失败的尝试，以供稍后手动处理。 是否有收集此信息的最佳实践或标准方法？

function main(splash)
    if splash.args.cookies then
        splash:init_cookies(splash.args.cookies)
    end

    function web_request()
        if splash.args.http_method == 'GET' then
            assert(splash:go{
                url=splash.args.url,
                headers=splash.args.headers,
                http_method=splash.args.http_method,
                body=splash.args.body,
            })
        else
            assert(splash:go{
                url=splash.args.url,
                headers=splash.args.headers,
                http_method=splash.args.http_method,
                body=splash.args.body,
                formdata=splash.args.formdata,
             })
        end
    end

    --- 此代码中的区域
    local retry_max = 3
    local retry_count = 0
    splash:on_response(function (response)
        if string.find(response.url, 'error_check.html') ~= nil then
            if retry_count <= retry_max then
                retry_count = retry_count + 1
                web_request()
            else
                --- 不确定如何在项目管道中捕获此内容
                --- 此外，我想捕获表单提交详细信息
                --- 如表单数据和标题
                error('Max retry exceeded' .. response)
            end
        end
    end)

    web_request()
    assert(splash:wait(0.5))

    local entries = splash:history()
    local last_response = entries[#entries].response

    return {
        url = splash:url(),
        headers = last_response.headers,
        http_status = last_response.status,
        cookies = splash:get_cookies(),
        html = splash:html(),
        har = splash:har(),
        retry_count = retry_count
    }
end