Java - 如何有效地存储大量的字符串数组
2012-11-11 15:42:56
收藏:0
阅读:104
评论:5
我正在尝试使用Java高效地加载大型CSV格式文件(通常为200-600 MB)(使用更少的内存和尽可能快的访问)。目前,该程序正在利用字符串数组列表。以前,此操作是使用Lua程序处理的,该程序使用表来存储每个CSV行和用于存储每个“行”表的表。
以下是内存差异和加载时间的示例:
- CSV文件-232mb
- Lua-占用549mb的内存-157秒加载时间
- Java-占用1,378MB的内存-12秒加载时间
如果我记得正确,在Lua表中存在对实际值的引用作为重复项。我怀疑在Java示例中,List正在保存每个重复值的单独副本,这可能与更大的内存使用有关。
以下是CSV文件中数据的一些背景信息:
- 每个字段都包含一个字符串
- 每行中的特定字段可能包括一组字符串之一(例如,第3个字段可以是“红色”,“绿色”或“蓝色”)。
- 内容中有许多重复字符串。
以下是可能需要加载数据的示例:
- 搜索所有字符串,尝试与给定字符串匹配并返回匹配的字符串
- 在GUI表中显示匹配项(通过字段进行排序)。
- 更改或替换字符串。
我的问题-是否有一种集合可以占用更少的内存来保存数据,但仍可以提供轻松快速地搜索/排序数据的功能?
点赞
用户106261
一个有向无环图(DAWG)是存储单词最有效的方式(无论对于内存消耗而言)。
但在这里,可能会过度使用,正如其他人所说,不要创建重复实例,只需创建多个引用指向同一实例。
2012-11-11 15:51:33
用户1535002
2012-11-11 15:52:31
用户1581069
关于您怀疑的重复字符串数据,您不需要担心,因为 Java 本身会处理这个问题,因为所有的字符串都是 final 的,并且所有的引用都指向内存中的同一个对象。
所以不确定 lua 是如何完成这项工作的,但在 Java 中应该也非常高效。
2012-11-11 16:12:22
用户1460830
一种简单的解决方案。您可以拥有一些 HashMap,其中将放置对所有唯一字符串的引用。而在 ArrayList 中,您只需引用 HashMap 中已存在的唯一字符串。
例如:
private HashMap<String, String> hashMap = new HashMap<String, String>();
public String getUniqueString(String ns) {
String oldValue = hashMap.get(ns);
if (oldValue != null) { //我假设 CSV 中不会有空字符串
return oldValue;
}
hashMap.put(ns, ns);
return ns;
}
简单使用:
List<String> s = Arrays.asList("Pera", "Zdera", "Pera", "Kobac", "Pera", "Zdera", "rus");
List<String> finS = new ArrayList<String>();
for (String er : s) {
String ns = a.getUniqueString(er);
finS.add(ns);
}
2012-11-11 16:32:34
评论区的留言会收到邮件通知哦~
推荐文章
- 如何将两个不同的lua文件合成一个 东西有点长 大佬请耐心看完 我是小白研究几天了都没搞定
- 如何在roblox studio中1:1导入真实世界的地形?
- 求解,lua_resume的第二次调用继续执行协程问题。
- 【上海普陀区】内向猫网络招募【Skynet游戏框架Lua后端程序员】
- SF爱好求教:如何用lua实现游戏内调用数据库函数实现账号密码注册?
- Lua实现网站后台开发
- LUA错误显式返回,社区常见的规约是怎么样的
- lua5.3下载库失败
- 请问如何实现文本框内容和某个网页搜索框内容连接,并把网页输出来的结果反馈到另外一个文本框上
- lua lanes多线程使用
- 一个kv数据库
- openresty 有没有比较轻量的 docker 镜像
- 想问一下,有大佬用过luacurl吗
- 在Lua执行过程中使用Load函数出现问题
- 为什么 neovim 里没有显示一些特殊字符?
- Lua比较两个表的值(不考虑键的顺序)
- 有个lua简单的项目,外包,有意者加微信 liuheng600456详谈,最好在成都
- 如何在 Visual Studio 2022 中运行 Lua 代码?
- addEventListener 返回 nil Lua
- Lua中获取用户配置主目录的跨平台方法
为了优化您的内存问题,我建议使用 Flyweight 模式,特别是对于具有许多重复项的字段。
作为 Collection,您可以使用 TreeSet 或 TreeMap。
如果您给出了
LineItem类的良好实现(实现equals,hashcode和 Comparable),则可以大大优化内存使用。