Mongodb安装及其使用
1.Linux系统上安装Mongodb
- 在usr/local文件夹下创建mongo文件夹
- 下载mongodb包
wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-6.0.5.tgz
- 解压mongodb
tar -zxvf mongodb-linux-x86_64-rhel70-6.0.5.tgz
- 更改文件夹的名字
mv mongodb-linux-x86_64-rhel70-6.0.5 mongodb-6.0.5
- 进入mongodb-6.0.5 文件夹
cd mongodb-6.0.5
- 创建data、log、conf文件夹
mkdir data
mkdir log
mkdir conf
- 启动mongodb服务
bin/mongod --port=27017 --dbpath=/usr/local/mongo/mongodb-6.0.5/data --logpath=/usr/local/mongo/mongodb-6.0.5/log/mongodb.log \--bind_ip=0.0.0.0 --fork
- 配置环境变量(修改配置文件etc/profile)
export MONGODB_HOME=/usr/local/mongo/mongodb-6.0.5
PATH=$PATH:$MONGODB_HOME/bin
- 在conf文件夹下面创建mongo.conf配置文件
cd conf
vim mongo.conf
配置文件的内容为
systemLog:
destination: file
path: /usr/local/mongo/mongodb-6.0.5/log/mongod.log
logAppend: true
storage:
dbPath: /usr/local/mongo/mongodb-6.0.5/data
engine: wiredTiger #存储引擎
journal:
enabled: true
net:
bindIp: 0.0.0.0
port: 27017
processManagement:
fork: true
- 启动和关闭mongodb
#启动mongodb
mongod -f /usr/local/mongo/mongodb-6.0.5/conf/mongo.conf
#关闭mongodb
mongod --port=27017 --dbpath=/usr/local/mongo/mongodb-6.0.5/data --shutdown
- mongosh使用
#centos7 安装
mongosh wget https://downloads.mongodb.com/compass/mongodb-mongosh-1.8.0.x86_64.rpm
yum install -y mongodb-mongosh-1.8.0.x86_64.rpm
# 连接mongodb server端
mongosh --host=192.168.2.66 --port=27017
mongosh 192.168.2.66:27017
# 指定uri方式连接
mongosh mongodb://192.168.2.66:27017/test
2.Mongodbd的使用
2.1 常见命令
1.数据集操作
#查看所有数据库
show dbs
#切换到指定数据库,不存在则创建
use users
#删除当前数据库
db.dropDatabase()
2.集合操作
# 查看集合
show collections
#创建集合
db.createCollection("emp")
#删除集合
db.emp.drop()
3.安全认证
1.创建管理员用户
#设置管理员用户名需要切换到admin
use admin
#创建管理员
db.createUser({user:"fox",pwd:"fox",roles:["root"]})
#查看当前数据库所有用户信息
show users
#显示可设置权限
show roles
#显示所用用户
db.system.users.find()
2 重新赋予用户操作权限
#创建用户
db.createUser({user:"fox",pwd:"fox",roles:["root"]})
#重新赋予用户相关权限
db.grantRolesToUser("fox",[{role:"clusterAdmin",db:"admin"},{role:"userAdminAnyDatabase",db:"admin"},{role:"readWriteAnyDatabase",db:"admin"}])
3 删除某个用户
#进入权限库
use admin
#删除某个用户
db.dropUser("fox")
#删除当前所有用户
db.dropAllUser()
4 创建应用数据库用户
use appdb
db.createUser({user:"appdb",pwd:"nickel",roles:["dbOwner"]})
5 MongoDb启用鉴权
#启用鉴权
mongod -f /usr/local/mongo/mongodb-6.0.5/conf/mongo.conf --aut
#登录数据库
mongosh 192.168.2.66 -u nickel -p nickel --authenticationDatabase=admin
4.Docker安装Mongodb
#拉取mongo镜像
docker pull mongo:6.0.5
#运行mongo镜像
docker run --name mongo-server -p 29017:27017 \
-e MONGO_INITDB_ROOT_USERNAME=fox \
-e MONGO_INITDB_ROOT_PASSWORD=fox \
-d mongo:6.0.5 --wiredTigerCacheSizeGB 1
5.远程连接mongodb
mongosh ip:29017 -u nickel -p nickel
6.远程连接mongodb常见工具
一.MongoDB常用工具
1.GUI工具
官方GUI:COMPASS
MongoDB图形化管理工具(GUI),能够帮助您在不需要知道MongoDB查询语法的前提下,便利地分析和理解您的数据库模式,并且帮助您可视化地构建查询。
下载地址:https://www.mongodb.com/zh-cn/products/compass
2.Robo 3T(免费)*
下载地址:https://robomongo.org/
3.Studio 3T(收费,试用30天)
下载地址:https://studio3t.com/download/
*4.MongoDB Database Tools
下载地址:https://www.mongodb.com/try/download/database-tools
文件名称作用mongostat数据库性能监控工具mongotop热点表监控工具mongodump数据库逻辑备份工具mongorestore数据库逻辑恢复工具mongoexport数据导出工具mongoimport数据导入工具bsondumpBSON格式转换工具mongofilesGridFS文件工具
7.mongodb基本命令
1.单条插入命令
db.emps.insertOne({name:'fox',age:35})
2.多条插入命令
db.emps.insertMany([{name:'小明',age:5},{name:'小红',age:10}])
3.执行js脚本
- 直接执行下面脚本
var tags=["nosql","mongodb","document","developer","popular"];
var types=["technology","sociality","travel","novel","literature"];
var books=[];
for(var i=0;i<50;i++){
var typeIdx=Math.floor(Math.random()*types.length);
var tagIdx=Math.floor(Math.random()*tags.length);
var favCount=Math.floor(Math.random()*100);
var book={
title:"book-"+i,
type:types[typeIdx],
tag:tags[tagIdx],
favCount:favCount,
author:"xxx"+i
};
books.push(book)
}
db.books.insertMany(books);
- 创建books.js文件执行
1.创建一个file文件夹,在文件夹中创建books.js文件,在把上面语句访问js文件中
#创建文件夹
mkdir file
#进入文件夹
cd file
#创建books.js文件
vim books.js
#连接mongodb数据库
mongosh -u nickel -p nickel
#切换到相关的库
use books
#执行js文件
load("books.js")
4.查询方法
#单条查询
db.books.findOne()
#多条查询
db.books.find()
#条件查询(查询tag=nosql 只显现title和author两个字段,其余默认)
db.books.find({tag:"nosql"},{title:1,author:1})
#条件查询(tag=nosql 只显现title和author两个字段,其余不显示)
db.books.find({tag:"nosql"},{_id:0,title:1,author:1})
#条件查询(按照ID查询一条数据)
db.books.find({_id:ObjectId("6568a247d664d21d99dcbbbe")})
#条件查询(type=travel和favCount>60)
db.books.find({type:'travel',favCount:{$gt:60}})
#查询条件中使用正则表达式(type中包含so的数据)
#方式1
db.books.find({type:{$regex:"so"}})
#方式2
db.books.find({type:/so/})
5.排序方法
#按照favCount进行倒序(type="travel")
db.books.find({type:"travel"}).sort({favCount:-1})
#按照favCount进行正序(type="travel")
db.books.find({type:"travel"}).sort({favCount:1})
6.分页
#查询16条记录后三条记录
db.books.find().skip(16).limit(3)
#查询第一页的数据
db.books.find({}).sort({_id:1}).limit(10)
#查询第二页的数据
#db.books.find({_id: {$gt: <第一页最后一个_id>}}).sort({_id: 1}).limit(10);
db.books.find({_id:{$gt:ObjectId("65691cb29b6f2f9eb3ffd693")}}).sort({_id:1}).limit(10)
#查询第三页的数据
#db.books.find({_id: {$gt: <第二页最后一个_id>}}).sort({_id: 1}).limit(10)
db.books.find({_id:{$gt:ObjectId("65691cb29b6f2f9eb3ffd69d")}}).sort({_id:1}).limit(10)
说明:处理分页问题 – 避免使用 count
db.coll.find({x: 100}).limit(50);
db.coll.count({x: 100});
- 前者只需要遍历前 n 条,直到找到 50 条 x=100 的文档即可结束;
- 后者需要遍历完 1000w 条找到所有符合要求的文档才能得到结果。 为了计算总页数而进行的 count() 往往是拖慢页面整体加载速度的原因
7.更新文档
#修改数据(name=小明 age从5修改为8)
db.emps.updateOne({name:"小明"},{$set:{age:8}})
#修改数据(name=小明 把age增加为1)
db.emps.updateOne({name:"小明"},{$inc:{age:1}})
#更改列名(name=小明 把name改为name1)
db.emps.updateOne({name:"小明"},{$rename:{"name":"name1"}})
#增加列名(增加sex列名,默认为1)
db.emps.updateMany({},{$unset:{"sex":1}})
#删除列名(删除sex列名)
db.emps.updateMany({},{$unset:{"sex":1}})
#不存在则插入(插入title=my book)
db.books.updateOne({title:"my book"},{$set:{tags:["nodql","mongodb"],type:"none",author:"fox"}},{upsert:true})
#更新多条数据(更新type="novel",增加publishedDate字段)
db.books.updateMany({type:"novel"},{$set:{publishedDate:new Date()}})
#查询数据并修改数据,显示的数据是修改之前的数据
db.books.findAndModify({
query:{_id:ObjectId("65691cb29b6f2f9eb3ffd6ac")},
update:{$inc:{favCount:1}}
})
#查询数据并修改数据,显示的数据是修改之后的数据
db.books.findAndModify({
query:{_id:ObjectId("65691cb29b6f2f9eb3ffd6ac")},
update:{$inc:{favCount:1}},
new:true
})
8.删除文档
#删除满足条件((type=novel))的id最小的数据
db.books.deleteOne({type:"novel"})
#删除集合下的全部文档
db.books.deleteMany({})
#删除满足条件((type=novel))所有数据
db.books.deleteMany({type:"novel"})
#删除满足条件((type=novel))一条数据,并显示该条删除的数据
db.books.findOneAndDelete({type:"novel"})
#按照favCount正序之后,然后删除第一条数据
db.books.findOneAndDelete({type:"novel"},{sort:{favCount:1}})
9.批量操作数据(bulkwrite())
#批量插入数据
db.pizzas.insertMany( [
{ _id: 0, type: "pepperoni", size: "small", price: 4 },
{ _id: 1, type: "cheese", size: "medium", price: 7 },
{ _id: 2, type: "vegan", size: "large", price: 8 }
] )
#批量操作数据
db.pizzas.bulkWrite([
{insertOne:{document:{_id:3,type:"beef",size:"medium",price:6}}},
{insertOne:{ducument:{_id:4,type:"sausage",size:"large",price:10}}},
{updateOne:{
filter:{type:"cheese"},
update:{$set:{price:8}}
}},
{deleteOne:{filter:{type:"pepperoni"}}},
{replaceOne:{
filter:{type:"vegan"},
replacement:{type:"tofu",size:"small",price:4}
}}
])
10.日期类型
#插入时间格式
db.dates.insertMany([
{data1:Date()},{data2:new Date()},{data3:ISODate()}
])
11.内嵌文档
#插入嵌套文档
db.books.insert({
title:"我们的爱情故事",
author:{
name:"Nickel",
gender:"男",
hometown:"重庆"
}
})
#按照嵌套文档的内容进行查找
db.books.find({"author.name":"Nickel"})
#修改嵌套文档中name=Nickel的hometownm名称
db.books.updateOne({"author.name":"Nickel"},{$set:{"author.hometown":"重庆/贵州"}})
#增加tags标签字段
db.books.updateOne({"author.name":"Nickel"},{$set:{"tags:["履行","随笔","散文","爱情","文学"]"}})
#在tags标签里面追加单个标签
db.books.updateOne({"author.name":"Nickel"},{$push:{tags:"猎奇"}})
#在tags标签里面追加多个标签
db.books.updateOne({"author.name":"Nickel"},{$push:{tags:{$each:["伤感","想象力"]}}})
#在tags标签里面追加多个标签,然后截取后面三个标签
db.books.updateOne({"author.name":"Nickel"},{$push:{tags:{$each:["伤感","想象力"],$slice:-3}}})
嵌套数组的运用
#嵌套数组的运用
db.goods.insertMany([
{
name:"羽绒服",
tags:[
{tagKey:"size",tagValue:["M","L","XL","XXL","XXXL"]},
{tagKey:"color",tagValue:["黑色","宝蓝"]},
{tagKey:"style",tagValue:"韩风"},
]
},
{
name:"羊毛衫",
tags:[
{tagKey:"size",tagValue:["L","XL","XXL"]},
{tagKey:"color",tagValue:["蓝色","否色"]},
{tagKey:"style",tagValue:"韩风"},
]
}
])
筛选出黑色的数据
#筛选出黑色的数据
db.goods.find({
tags:{$elemMatch:{tagKey:"color",tagValue:"黑色"}}
})
筛选出color=蓝色,并且size=XL的商品
#筛选出color=蓝色,并且size=XL的商品
db.goods.find({
tags:{
$all:[
{$elemMatch:{tagKey:"color",tagValue:"黑色"}},
{$elemMatch:{tagKey:"size",tagValue:"XL"}}
]
}
})
12.固定(封顶)集合
固定集合(capped collection)是一种限定大小的集合,其中capped是覆盖、限额的意思。跟普通的集合相比,数据在写入这种集合时遵循FIFO原则。可以将这种集合想象为一个环状的队列,新文档在写入时会被插入队列的末尾,如果队列已满,那么之前的文档就会被新写入的文档所覆盖。通过固定集合的大小,我们可以保证数据库只会存储“限额”的数据,超过该限额的旧数据都会被丢弃。
db.createCollection(“logs”,{capped:true,size:4096,max:10})
- capped:是否是固定集合
- max:指集合的文档数量最大值,这里是10条
- size:指集合的空间占用最大值,这里是4096字节(4KB)
这两个参数会同时对集合的上限产生影响。也就是说,只要任一条件达到阈值都会认为集合已经写满。其中size是必选的,而max则是可选的。
可以使用collection.stats命令查看文档的占用空间
#创建固定集合
db.createCollection("logs",{capped:true,size:4096,max:10})
#将普通集合转化为固定集合
db.runCommand({"convertToCapped": "mycoll", size: 100000})
#参事向集合中插入数据,查看是否覆盖
for(var i=5;i<15;i++){
db.logs.insert({t:"row"+i})
}
适用场景
&emsp固定集合很适合用来存储一些“临时态”的数据。“临时态”意味着数据在一定程度上可以被丢弃。同时,用户还应该更关注最新的数据,随着时间的推移,数据的重要性逐渐降低,直至被淘汰处理。
一些适用的场景如下:
- 系统日志,这非常符合固定集合的特征,而日志系统通常也只需要一个固定的空间来存放日志。在MongoDB内部,副本集的同步日志(oplog)就使用了固定集合。
- 存储少量文档,如最新发布的TopN条文章信息。得益于内部缓存的作用,对于这种少量文档的查询是非常高效的。
股票监听案例
- 创建stock_queue消息队列,其可以容纳10MB的数据
db.createCollection("gupiao_queue",{capped:true,size:10485760})
- 为了能支持按时间条件进行快速的检索,比如查询某个时间点之后的数据,可以为timestamp添加索引
db.gupiao_queue.createIndex({timestamped:1})
- 构建生产者,发布股票动态,并执行生产者
function pushEvent(){
while(true){
db.gupiao_queue.insert({
timestamped:new Date(),
stock: "MongoDB Inc",
price: 100*Math.random(1000)
});
print("publish stock changed");
sleep(1000);
}
}
pushEvent()
- 构建消费者,监听股票动态,并执行消费者
function listen(){
var cursor = db.gupiao_queue.find({timestamped:{$gte:new Date()}}).tailable();
while(true){
if(cursor.hasNext()){
print(JSON.stringify(cursor.next(),null,2));
}
sleep(1000);
}
}
listen()
效果展示
3.MongodDB数据类型详解
3.1 BSON协议与数据类型
MongoDB为什么会使用BSON?
JSON是当今非常通用的一种跨语言Web数据交互格式,属于ECMAScript标准规范的一个子集。JSON(JavaScript Object Notation, JS对象简谱)即JavaScript对象表示法,它是JavaScript对象的一种文本表现形式。
作为一种轻量级的数据交换格式,JSON的可读性非常好,而且非常便于系统生成和解析,这些优势也让它逐渐取代了XML标准在Web领域的地位,当今许多流行的Web应用开发框架,如SpringBoot都选择了JSON作为默认的数据编/解码格式。
JSON只定义了6种数据类型:
- string: 字符串
- number : 数值
- object: JS的对象形式,用{key:value}表示,可嵌套
- array: 数组,JS的表示方式[value],可嵌套
- true/false: 布尔类型
- null: 空值
3.2 ObjectId生成器
MongoDB集合中所有的文档都有一个唯一的_id字段,作为集合的主键。在默认情况下,_id字段使用ObjectId类型,采用16进制编码形式,共12个字节。
为了避免文档的_id字段出现重复,ObjectId被定义为3个部分:
- 4字节表示Unix时间戳(秒)。
- 5字节表示随机数(机器号+进程号唯一)。
- 3字节表示计数器(初始化时随机)。
4.SpringBoot整合mongoDB
一.项目初始化
1.引入相关的jar包
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-mongodb</artifactId>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<version>1.18.16</version>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
</dependencies>
2.在application.yml配置mongodb启动项
spring:
data:
mongodb:
uri: mongodb://nickel:nickel@192.168.2.66:27017/test?authSource=admin
3.创建emp表的实体类
package com.nq.springbootmongodb.entity;
import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;
import org.springframework.data.annotation.Id;
import org.springframework.data.mongodb.core.mapping.Document;
import org.springframework.data.mongodb.core.mapping.Field;
import java.util.Date;
/**
* @Auther: Nickel
* DATE: 2023/12/2 14:56
* Description:
* @Version 1.0
*/
@Document("emp")
@Data
@AllArgsConstructor
@NoArgsConstructor
public class Employee {
@Id
private Integer id;
@Field("username")
private String name;
@Field
private int age;
@Field
private Double salary;
@Field
private Date entryDay;
}
4.测试实体类是否存在,不存在则创建
/**
* @Auther: Nickel
* DATE: 2023/12/2 14:40
* Description:
* @Version 1.0
*/
@SpringBootTest
public class TestCollection {
@Autowired
MongoTemplate mongoTemplate;
@Test
public void test1(){
boolean exists = mongoTemplate.collectionExists("emp");
if(exists){
//删除集合
mongoTemplate.dropCollection("emp");
}
mongoTemplate.createCollection("emp");
}
}
二.java增删查改
1.新增
@Test
public void testInsert(){
Employee employee=new Employee(1,"Nickel",28,3000d,new Date());
mongoTemplate.insert(employee);
List<Employee> list = Arrays.asList(
new Employee(2, "fox", 22, 280020d, new Date()),
new Employee(3, "zhuge", 33, 2263d, new Date()),
new Employee(4, "zhouyu", 35, 282320d, new Date())
);
mongoTemplate.insert(list,Employee.class);
}
2.查询
- 通过对象进行查询
@Test
public void testFind(){
//查询所有文档
System.out.println("========查询所有文档======");
List<Employee> list = mongoTemplate.findAll(Employee.class);
list.forEach(System.out::println);
//根据ID进行查询
System.out.println("======根据ID进行查询========");
Employee employee = mongoTemplate.findById(1, Employee.class);
System.out.println(employee);
//返回第一个文档的数据
System.out.println("=======返回第一个文档的数据=======");
Employee one = mongoTemplate.findOne(new Query(), Employee.class);
System.out.println(one);
//条件查询
System.out.println("=======查询薪资大于等于8000的员工=======");
//查询薪资大于等于8000的员工
Query query8000=new Query(Criteria.where("salary").gte(8000));
List<Employee> list2 = mongoTemplate.find(query8000, Employee.class);
list2.forEach(System.out::println);
System.out.println("=======查询薪资大于等于4000小于等于10000=======");
//查询薪资大于等于4000小于等于10000
Query query8_10=new Query(Criteria.where("salary").gte(4000).lte(10000));
List<Employee> list3 = mongoTemplate.find(query8_10, Employee.class);
list3.forEach(System.out::println);
System.out.println("=======模糊查询name中包含zh的=======");
//正则模糊查询 java正则不需要有//
Query query_zh=new Query(Criteria.where("name").regex("zh"));
List<Employee> list4 = mongoTemplate.find(query_zh, Employee.class);
list4.forEach(System.out::println);
//and or 多条件查询
System.out.println("=======查询年龄大于25薪资大于8000的员工=======");
Criteria criteria_25_8000=new Criteria();
//查询年龄大于25薪资大于8000的员工
criteria_25_8000.andOperator(Criteria.where("age").gte(25),Criteria.where("salary").gte(8000));
Query query=new Query(criteria_25_8000);
List<Employee> list5 = mongoTemplate.find(query, Employee.class);
list5.forEach(System.out::println);
System.out.println("=======查询年龄大于25薪资大于8000的员工=======");
Criteria criteria_zhuge_8000=new Criteria();
//查询姓名是zhuge或者薪资大于8000的员工
criteria_zhuge_8000.orOperator(Criteria.where("name").is("zhuge"),Criteria.where("salary").gte(8000));
Query query1=new Query(criteria_zhuge_8000);
List<Employee> list6 = mongoTemplate.find(query1, Employee.class);
list6.forEach(System.out::println);
//排序
System.out.println("=======排序=======");
Query query2=new Query(criteria_zhuge_8000).with(Sort.by(Sort.Order.desc("salary")));
List<Employee> list7 = mongoTemplate.find(query2, Employee.class);
list7.forEach(System.out::println);
//分页
System.out.println("=======分页=======");
query=new Query().skip(2) //跳过前面两条
.limit(1); //显示一条数据
List<Employee> list8 = mongoTemplate.find(query, Employee.class);
list8.forEach(System.out::println);
}
- 通过json格式进行查询
@Test
public void testFindByJson(){
System.out.println("=======分页=======");
//查询年龄大于25或者薪资大于等于8000
String json="{$or:[" +
"{age:{$gt:25}}" +
",{salary:{$gte:8000}}" +
"]}";
Query query=new BasicQuery(json);
List<Employee> list = mongoTemplate.find(query,Employee.class);
list.forEach(System.out::println);
}
3.更新
@Test
public void testUpdate(){
Query query=new Query(Criteria.where("salary").lte(5000));
System.out.println("=======更新前=======");
List<Employee> list = mongoTemplate.find(query, Employee.class);
list.forEach(System.out::println);
System.out.println("=======把id为1的薪资调为5000=======");
//把id为1的薪资调为5000
Update update=new Update();
update.set("salary",5000);
System.out.println("=======更新满足条件的一条======");
UpdateResult updateResult = mongoTemplate.updateFirst(query, update, Employee.class);
System.out.println("=======更新满足条件的所有记录=====");
UpdateResult updateResult2 = mongoTemplate.updateMulti(query, update, Employee.class);
List<Employee> list2 = mongoTemplate.find(query, Employee.class);
list2.forEach(System.out::println);
}
4.删除
@Test
public void testDelete(){
//删除所有文档
// mongoTemplate.remove(new Query(),Employee.class);
System.out.println("=======删除前=======");
List<Employee> list = mongoTemplate.find(new Query(), Employee.class);
list.forEach(System.out::println);
System.out.println("=======删除薪资大于等于1000=======");
//删除薪资大于等于1000
Query query2=new Query(Criteria.where("salary").gte(10000));
mongoTemplate.remove(query2,Employee.class);
List<Employee> list2 = mongoTemplate.find(new Query(), Employee.class);
list2.forEach(System.out::println);
}