我使用了lfs模块模拟了你的API，并编写了可行的代码：

-- 我的代码块。请勿在你的项目中使用。 ------
local lfs = require "lfs"
local API = { }

function API:FileSetDir(path)
        return lfs.chdir (path)
end
function API:FileList()
    local path= lfs.currentdir ()
    local t = {}
    for entry in lfs.dir(path) do
        t[#t+1] = entry
    end
    return t
end
--- 我的代码块结束 ----------------------------------------------------
local finalpath={}
local RootDir = 'd:/temp'

function CheckDirectory(entry)
        local CurDir = entry
        local IsDir = API:FileSetDir(CurDir)  -- 出现错误时返回 nil 
        local DirList = API:FileList()
        print(CurDir)
        if not  IsDir  then
                    print(CurDir .." - 不是目录")
        else
                     for _,v in pairs(DirList) do
                                local tmp  = CurDir.."/".. v
                                if true or string.find(v,"%.mkv$") or string.find(v,"%.mp4$") then  -- 我这里一直为 true 
                                        finalpath[#finalpath+1] = tmp
                                        print(' >> '..tmp)
                                end
                                if not (v=='.' or v=='..') then
                                  CheckDirectory(tmp)
                                end
                    end
        end
end

CheckDirectory(RootDir)

Stack Overflow

"Stack overflow"意味着堆栈已满。堆栈是一块内存区域，就像一个实际物品的堆栈：你可以把一个东西放在它的顶部(push)，或者取回(pop)一个东西。

Lua具有多个堆栈。这里的一个重要堆栈是_call stack_：当你调用一个函数时，你将一个值推入它(指向在它返回后要恢复的位置)。它是有限的，因此您无法消耗无限的内存。

所以，基本上，你的代码引起了无限递归。它调用自己并没有进展，所以它只是填满了内存而且什么也没干。

话虽如此，你的错误在这一行中：

local RootDir = '/mnt/media/net/192.168.1.40_usbshare1/Movies/'..v

你想递归列出文件，对吧？那不是递归。这一行假定文件在根目录"Movies"中，这会生成无限递归，因为它反复检查相同的文件夹，一遍又一遍，一次又一次。你应该将其附加到当前的RootDir上。

我认为CheckDirectory(v)在此也起着一定作用。这意味着什么？CheckDirectory没有参数！(感谢Egor指出)

在下面，我重构了你的代码，完全改变了操作方式，使之更加高效，并修复了标识问题。

function CheckDirectory(dir)
    local result = {}

    --将目录设置为dir，然后列出它
    API:FileSetDir(dir)
    local list = API:FileList()

    for i, v in pairs(list) do
        API:FileSetDir(dir .. v .. "/") --已修正

        local clist = API:FileList()

        --不要与nil比较。只需使用'not clist'即可。此外，我们有一个else，所以我颠倒了一切，并将else .. if折叠为elseif。
        if not clist then
            if string.find(v, "%.mkv$") or string.find(v, "%.mp4$") then
                table.insert(result, dir .. v)
                print(dir .. v) --如果不想打印，则删除此行
            end
        else
            for i, v in ipairs(CheckDirectory(dir .. v .. "/")) do
                table.insert(result, v)
            end
        end
    end

    return result
end

local files = CheckDirectory('/mnt/media/net/192.168.1.40_usbshare1/Movies/')