Mongodb 排序导致内存不足

薄洪涛3年前数据库800

报错信息:


MongoDB.Driver.MongoQueryException: QueryFailure flag was Executor error: OperationFailed: Sort operation used more than the maximum 33554432 bytes of RAM. Add an index, or specify a smaller limit

报错页面很明显告知了问题排查的方向: - Sort operation 该页面涉及的MongoDB查询语句使用了排序。

  • more than the maximum 33554432 排序操作超过了MongoDB单个Session排序可使用的最大内存限制。

检索MongoDB的日志确实存在大量的查询报错,跟APP页面报错能够对应上;并且日志中排序使用的字段为add_time_id,升序排序

有两种解决方法

方法1:

增加内存

mongo 的 sort 操作是在内存中操作的,必然会占据内存,同时mongo内的一个机制限制排序时最大内存为 32M,当排序的数据量超过 32M,就会报上面的这个错,解决办法就像上面提示的意思,一是加大 mongo的排序内存,这个一般是运维来管,也有弊端,就是数据量如果再大,还要往上加


方法2:

增加索引

-1 倒序 1正序
db.getCollection('p_match_result').createIndex({"add_time": -1})

db.getCollection('p_match_result').getIndexes()

搞定

相关文章

CREATE TABLE 表名 AS SELECT 语句用法详解

新表不存在,创建新表1.创建新表并且携带数据create table new_table    as select *&...

redis中的事务处理

redis事务单个 Redis 命令的执行是原子性的,但 Redis 没有在事务上增加任何维持原子性的机制,所以 Redis 事务的执行并不是原子性的。事务可以理解为一个打包的批量执行脚本,但批量指令...

PostgreSQL不常用很有用的数据类型

PostgreSQL不常用很有用的数据类型

最近新项目开始,需要设计数据库,技术大佬用了很多我之前没见过的数据库数据类型,这里做个总结1.货币类型money类型存储固定小数精度的货币数字,表中展示的范围假设有两个小数位。可接受的输入格式很多,包...

pg库中数组形式字段浅显使用

pg库中数组形式字段浅显使用

我们在最近的项目中,数据表中某些字段类型是数组,举个例子但是问题来了,比如我想要搜索数组中的数据,比如搜索所有flags含有popforum_recommend_topics 的行,需要怎么写sql呢...

redis查找附近的人

Redis GEO 主要用于存储地理位置信息,并对存储的信息进行操作,该功能在 Redis 3.2 版本新增。Redis GEO 操作方法有:geoadd:添加地理位置的坐标。geopos:获取地理位...

摘抄--别在MySQL中使用UTF-8

摘抄--别在MySQL中使用UTF-8

直接看复现过程insert into user (id,name,sex) values (1,'机智如我','男')[Err] 1366 -&nb...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。