如何优化mongodb的查询,存的是很复杂的json格式数据(mongodb join查询)

产品经理叫我爬取五百万数据 我多送了他四万多条

style="text-indent:2em;">这篇文章给大家聊聊关于如何优化mongodb的查询,存的是很复杂的json格式数据,以及mongodb不建议太多索引对应的知识点,希望对各位有所帮助,不要忘了收藏本站哦。

本文目录

  1. mongodb,redis,hbase,三者都是nosql数据库,他们的最大区别和不同定位是什么
  2. 如何优化mongodb的查询,存的是很复杂的json格式数据
  3. mongodb主要用来干嘛,什么时候用,存什么样的数据
  4. mongoDb某个字段不满足递增或者递减应该怎么创建索引

mongodb,redis,hbase,三者都是nosql数据库,他们的最大区别和不同定位是什么

1.如果你对数据的读写要求极高,并且你的数据规模不大,也不需要长期存储,选redis;

2.如果你的数据规模较大,对数据的读性能要求很高,数据表的结构需要经常变,有时还需要做一些聚合查询,选MongoDB;

3.如果你需要构造一个搜索引擎或者你想搞一个看着高大上的数据可视化平台,并且你的数据有一定的分析价值或者你的老板是土豪,选ElasticSearch;

4.如果你需要存储海量数据,连你自己都不知道你的数据规模将来会增长多么大,那么选HBase。

而对于分布式数据库的选择,初步来看实际上可以分为三类

1.偏基于Hadoop体系架构和分布式存储的,类似HDFS库和HBase数据库,也包括中间类型MongoDB

2.偏内存和缓存类的,类似Redis库

3.偏全文检索类和数据分析类的,类似ElasticSearch和Solr库

如何优化mongodb的查询,存的是很复杂的json格式数据

索引支持是MongoDB高效查询的关键。如果没有索引,MongoDB必须执行集合扫描(扫描集合中所有的文档),然后筛选匹配文档。MongoDB中的索引与其他数据库系统中的索引类似。MongoDB在集合级别定义索引,并支持MongoDB集合中文档的任何字段或子字段定义索引。MongoDB索引通过B-tree实现,查询复杂度介于O(1)到logn之间。MongoDB提供了许多不同的索引类型来支持特定类型的数据和查询。

单字段索引:除MongoDB定义的_id索引外,MongoDB还支持在文档的单个字段上创建用户定义的升序/降序索引。复合索引:MongoDB支持用户在多个字段上定义索引,即复合索引。复合索引中字段的顺序很重要。如果复合索引为{A:1,B:-1},则索引首先以A字段进行排序,然后在每个A值以B字段进行排序。多健索引:MongoDB使用多键索引来索引存储在数组中的内容。如果索引字段包含数组值,MongoDB会为数组的每个元素创建单独的索引条目。这些多键索引允许查询通过匹配数组中的元素来获取包含数组的文档。

以下是MongoDB查询优化的一些基本原则:

在查询条件、排序条件、统计条件的字段上选择创建索引,可以显著提高查询效率。必要时使用hint()强制使用某个索引查询。只查询要使用的字段,而不查询所有字段。减少使用低效的操作符,如$where和$exists操作符,完全不能使用索引;$ne和$not操作符使用索引效率较低,甚至有时完全不用索引;$nin操作符总是会全表扫描.MongoDB在一次查询中只能使用一个索引,所以使用$or查询多次在合并结果,不如单次查询的效率高。考虑到数据分片,尽量减少跨分片查询,比如尽量少用$in,$in会让你的查询去每一个分片上查一次,可以考虑在在每个分片上建索引。

另外最最重要的是,MongoDB提供explain语句,可以获取query语句的查询计划(queryPlanner)、以及执行过程中的统计信息(executionStats)。MongoDB在解析完查询之后,通常会产生几个候选的查询计划,然后会为这些查询计划按照某个规则来打分,分数最高的查询计划就是合适的查询计划,这个查询计划里面使用的索引就是系统认为合适的索引。所以,如果你的查询太慢,可以查看查询计划,看是否使用了你想要的索引,以及扫描的具体情况,其中统计信息里面有3个返回项,nReturned、totalKeysExamined、totalDocsExamined,分别代表该条查询返回的条目、索引扫描条目、文档扫描条目。对于一个理想查询,这三个值应该尽可能接近。

最后,祝每个人的query查询都快到起飞!

mongodb主要用来干嘛,什么时候用,存什么样的数据

简介MongoDB[1]是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。

MongoDB[2]是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。他支持的数据结构非常松散,是类似json的bson格式,因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引。

特点它的特点是高性能、易部署、易使用,存储数据非常方便。主要功能特性有:*面向集合存储,易存储对象类型的数据。mongodb集群参考*模式自由。*支持动态查询。*支持完全索引,包含内部对象。*支持查询。*支持复制和故障恢复。*使用高效的二进制数据存储,包括大型对象(如视频等)。*自动处理碎片,以支持云计算层次的扩展性。*支持RUBY,PYTHON,JAVA,C++,PHP,C#等多种语言。*文件存储格式为BSON(一种JSON的扩展)。*可通过网络访问。

使用原理

所谓“面向集合”(Collection-Oriented),意思是数据被分组存储在数据集中,被称为一个集合(Collection)。每个集合在数据库中都有一个唯一的标识名,并且可以包含无限数目的文档。集合的概念类似关系型数据库(RDBMS)里的表(table),不同的是它不需要定义任何模式(schema)。NytroMegaRAID技术中的闪存高速缓存算法,能够快速识别数据库内大数据集中的热数据,提供一致的性能改进。模式自由(schema-free),意味着对于存储在mongodb数据库中的文件,我们不需要知道它的任何结构定义。如果需要的话,你完全可以把不同结构的文件存储在同一个数据库里。存储在集合中的文档,被存储为键-值对的形式。键用于唯一标识一个文档,为字符串类型,而值则可以是各种复杂的文件类型。我们称这种存储形式为BSON(BinarySerializedDocumentFormat)。[3][4]MongoDB已经在多个站点部署,其主要场景如下:1)网站实时数据处理。它非常适合实时的插入、更新与查询,并具备网站实时数据存储所需的复制及高度伸缩性。2)缓存。由于性能很高,它适合作为信息基础设施的缓存层。在系统重启之后,由它搭建的持久化缓存层可以避免下层的数据源过载。3)高伸缩性的场景。非常适合由数十或数百台服务器组成的数据库,它的路线图中已经包含对MapReduce引擎的内置支持。不适用的场景如下:1)要求高度事务性的系统。2)传统的商业智能应用。3)复杂的跨文档(表)级联查询。[4]系统介绍分布式文件系统(DistributedFileSystem)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外,对等特性允许一些系统扮演客户机和服务器的双重角色。HBase是一个分布式的、面向列的开源数据库,该技术来源于FayChang所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统。YonghongDataMart是基于自有技术研发的一款数据存储、数据处理的软件。YonghongDataMart的分布式文件存储系统(ZDFS)是在HadoopHDFS基础上进行的改造和扩展,将服务器集群内所有节点上存储的文件统一管理和存储。适用场景MongoDB的主要目标是在键/值存储方式(提供了高性能和高度伸缩性)和传统的RDBMS系统(具有丰富的功能)之间架起一座桥梁,它集两者的优势于一身。根据官方网站的描述,Mongo适用于以下场景。●网站数据:Mongo非常适合实时的插入,更新与查询,并具备网站实时数据存储所需的复制及高度伸缩性。●缓存:由于性能很高,Mongo也适合作为信息基础设施的缓存层。在系统重启之后,由Mongo搭建的持久化缓存层可以避免下层的数据源过载。●大尺寸、低价值的数据:使用传统的关系型数据库存储一些数据时可能会比较昂贵,在此之前,很多时候程序员往往会选择传统的文件进行存储。●高伸缩性的场景:Mongo非常适合由数十或数百台服务器组成的数据库,Mongo的路线图中已经包含对MapReduce引擎的内置支持。●用于对象及JSON数据的存储:Mongo的BSON数据格式非常适合文档化格式的存储及查询。MongoDB的使用也会有一些限制,例如,它不适合于以下几个地方。●高度事务性的系统:例如,银行或会计系统。传统的关系型数据库目前还是更适用于需要大量原子性复杂事务的应用程序。●传统的商业智能应用:针对特定问题的BI数据库会产生高度优化的查询方式。对于此类应用,数据仓库可能是更合适的选择。●需要SQL的问题。应用案例下面列举一些公司MongoDB的实际应用:[7]Craiglist上使用MongoDB的存档数十亿条记录。FourSquare,基于位置的社交网站,在AmazonEC2的服务器上使用MongoDB分享数据。Shutterfly,以互联网为基础的社会和个人出版服务,使用MongoDB的各种持久性数据存储的要求。bit.ly,一个基于Web的网址缩短服务,使用MongoDB的存储自己的数据。spike.com,一个MTV网络的联营公司,spike.com使用MongoDB的。Intuit公司,一个为小企业和个人的软件和服务提供商,为小型企业使用MongoDB的跟踪用户的数据。sourceforge.net,资源网站查找,创建和发布开源软件免费,使用MongoDB的后端存储。etsy.com,一个购买和出售手工制作物品网站,使用MongoDB。纽约时报,领先的在线新闻门户网站之一,使用MongoDB。CERN,著名的粒子物理研究所,欧洲核子研究中心大型强子对撞机的数据使用MongoDB。

mongoDb某个字段不满足递增或者递减应该怎么创建索引

递增递减与否,与索引没什么必然联系。就好比说难道字段是字符串类型的,就建不了索引了?你问题里说的应该是一个数字格式的、且有重复值的字段吧?

mongo里面索引几乎与传统数据库一样。你这种情况,建立一个普通索引(默认为非唯一索引)就好了。

关于如何优化mongodb的查询,存的是很复杂的json格式数据的内容到此结束,希望对大家有所帮助。

JMeter中对于Json数据的处理方法

本文内容来自互联网,若需转载请注明:https://bk.jguuu.com//1/80981.html