选用哪种平台/语言来处理大量计算/机器学习任务?

我们在Python数据生态系统中构建了一个MVP,但性能远远不如预期。

我们的解决方案:

-使用多处理模块来实现任务并行化(这在Python中非常尴尬,需要pickle/unpickle每个任务) -scikit-learn库 -pandas 用于数据传输 -这不是处理大数据或在大数据上训练模型的问题,通过分析我们发现大部分时间都用于进行常规计算任务,我们做得很多。

因此:

1.我们想知道还有什么其他方法可以使计算更快? 在进行一些研究后,出现了许多候选者:Julia,Lua,Rust等。 -需求: -更快 -按设计支持并行处理(不是像Python那样的一些变通方法) -科学库的存在,不是Python的全部,但是主要选择 -已编译(我猜) 2.但在我们转移到另一个平台之前,我们想知道是否有一种加速现有Python代码的方法?

对于这两种情况的任何建议都非常感谢。

编辑:好吧,我认为哪种平台/语言在计算方面更快有一个非常清楚的答案,我也想听听其他平台经验丰富的人的意见。

点赞