Scrapy 中的 Lua 脚本
2019-6-25 14:59:2
收藏:0
阅读:73
评论:1
我正在使用 scrapy 1.6 和 splash 3.2。我有以下代码:
import scrapy
import random
from scrapy_splash import SplashRequest
from scrapy.utils.response import open_in_browser
from scrapy.linkextractors import LinkExtractor
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:48.0) Gecko/20100101 Firefox/48.0'
class MySpider(scrapy.Spider):
start_urls = ["http://yahoo.com"]
name = 'mytest'
def start_requests(self):
for url in self.start_urls:
yield SplashRequest(url, self.parse, endpoint='render.html', args={'wait': 2.5},headers={'User-Agent': USER_AGENT,'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'})
def parse(self, response):
# response.body is a result of render.html call; it
# contains HTML processed by a browser.
# from scrapy.http.response.html import HtmlResponse
# ht = HtmlResponse('jj')
# ht.body.replace =response
open_in_browser(response)
return None
我正在阅读 https://blog.scrapinghub.com/2015/03/02/handling-javascript-in-scrapy-with-splash ,他们在其中给出了一个例子:
function main(splash)
assert(splash:go(splash.args.url))
splash:wait(0.5)
local title = splash:evaljs("document.title")
return {title=title}
end
显然,我不能把 Lua 放在我的 python 脚本中。我该把它放在哪里,如何访问它并将其传递给我的 splash 请求?
点赞
评论区的留言会收到邮件通知哦~
推荐文章
- Lua 虚拟机加密load(string.dump(function)) 后执行失败问题如何解决
- 我想创建一个 Nginx 规则,禁止访问
- 如何将两个不同的lua文件合成一个 东西有点长 大佬请耐心看完 我是小白研究几天了都没搞定
- 如何在roblox studio中1:1导入真实世界的地形?
- 求解,lua_resume的第二次调用继续执行协程问题。
- 【上海普陀区】内向猫网络招募【Skynet游戏框架Lua后端程序员】
- SF爱好求教:如何用lua实现游戏内调用数据库函数实现账号密码注册?
- Lua实现网站后台开发
- LUA错误显式返回,社区常见的规约是怎么样的
- lua5.3下载库失败
- 请问如何实现文本框内容和某个网页搜索框内容连接,并把网页输出来的结果反馈到另外一个文本框上
- lua lanes多线程使用
- 一个kv数据库
- openresty 有没有比较轻量的 docker 镜像
- 想问一下,有大佬用过luacurl吗
- 在Lua执行过程中使用Load函数出现问题
- 为什么 neovim 里没有显示一些特殊字符?
- Lua比较两个表的值(不考虑键的顺序)
- 有个lua简单的项目,外包,有意者加微信 liuheng600456详谈,最好在成都
- 如何在 Visual Studio 2022 中运行 Lua 代码?

你可以像这样将 lua 脚本传递为字符串:
script = """ function main(splash) assert(splash:go(splash.args.url)) splash:wait(0.5) local title = splash:evaljs('document.title') return {title=title} end """ yield SplashRequest( url, self.parse, endpoint='render.html', args={'wait': 2.5, 'lua_source': script}, headers={'User-Agent': USER_AGENT,'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'} )查看 scrapy-splash 的文档: https://github.com/scrapy-plugins/scrapy-splash