通过vnpy db接口 导入数据,mongodb这边会创建独立的 collection来存储 所有的bar/tick数据。
现在数据体量比较大,都存在一个 collection 里面 会不会在检索数据上有性能问题?对比多个collection的情况,例如 bar类型数据,分别对应N个交易所的bar_collection
(因为数据体量比较大,我的回测框架里面 不能一次性把所有数据都load到内存里面,需要按一定频次load数据,所以对读取mongodb的性能比较敏感。)
通过vnpy db接口 导入数据,mongodb这边会创建独立的 collection来存储 所有的bar/tick数据。
现在数据体量比较大,都存在一个 collection 里面 会不会在检索数据上有性能问题?对比多个collection的情况,例如 bar类型数据,分别对应N个交易所的bar_collection
(因为数据体量比较大,我的回测框架里面 不能一次性把所有数据都load到内存里面,需要按一定频次load数据,所以对读取mongodb的性能比较敏感。)
可以自己修改vnpy_mongodb层面的逻辑,实现分库分表了
MTF wrote:
可以自己修改vnpy_mongodb层面的逻辑,实现分库分表了
好的。