python - mongodb去重
問(wèn)題描述
1.功能里需要根據(jù)有一個(gè)字段來(lái)判斷是否重復(fù),比如叫做ownnerId,凡是存在的就丟棄.于是我用到了distinct這個(gè)方法,但是這段時(shí)間隨著數(shù)據(jù)量逐漸增大,出現(xiàn)了一個(gè)問(wèn)題:
OperationFailure: distinct too big, 16mb cap
這是命令行里邊的錯(cuò)誤,說(shuō)distinct返回的結(jié)果太大了,超過(guò)了16M.請(qǐng)問(wèn)各位高手能否貢獻(xiàn)一些方法.
需求:每次通過(guò)檢查數(shù)據(jù)庫(kù)中ownnerId這個(gè)字段是否出現(xiàn)了,其中數(shù)據(jù)庫(kù)是一直在更新的,而且這個(gè)不存在的ownnerId在一會(huì)處理后就會(huì)存到數(shù)據(jù)庫(kù)中去,所以要求每次判斷都要重新檢查一遍數(shù)據(jù)庫(kù)中這個(gè)ownner字段.因此對(duì)速度的要求也比較高.各位大神瞅瞅,求給個(gè)意見(jiàn).
問(wèn)題解答
回答1:如果我理解的對(duì)的話,是否考慮過(guò)Unique Indexes。
供參考。
Love MongoDB! Have fun!
相關(guān)文章:
1. javascript - 有適合開(kāi)發(fā)手機(jī)端Html5網(wǎng)頁(yè)小游戲的前端框架嗎?2. python - pandas按照列A和列B分組,將列C求平均數(shù),怎樣才能生成一個(gè)列A,B,C的dataframe3. html - eclipse 標(biāo)簽錯(cuò)誤4. javascript - axios請(qǐng)求回來(lái)的數(shù)據(jù)組件無(wú)法進(jìn)行綁定渲染5. python - Pycharm的Debug用不了6. 安全性測(cè)試 - nodejs中如何防m(xù)ySQL注入7. javascript - 關(guān)于apply()與call()的問(wèn)題8. javascript - JS變量被清空9. python文檔怎么查看?10. python - pycharm 自動(dòng)刪除行尾空格
