如何调试 scrapy-splash 卡住的问题?

我正在使用 splash + lua 脚本解析客户端渲染网站。

网站很复杂,需要在循环中使用很多splash:wait()。例如:

      while splash:select('#x-widget-1-label') ~= nil do
        splash:wait(0.1)
      end

有时候可以得到结果,但有时候 Lua 脚本会在"wait"块中"卡住"。这种情况很少发生,但在任何情况下都不应该发生。

如何调试在哪个块中脚本卡住?

点赞