新时代码农

         Mongodb是时下流行的NoSql数据库，它的存储方式是文档式存储，并不是Key-Value形式。关于Mongodb的特点，这里就不多介绍了，大家可以去看看官方说明：http://docs.mongodb.org/manual/         今天主要来说说Mongodb的三种集群方式的搭建：Replica Set / Sharding / Master-Slaver。这里只说明最简单的集群搭建方式（生产环境），如果有多个节点可以此类推或者查看官方文档。OS是Ubuntu_x64系统，客户端用的是Java客户端。Mongodb版本是mongodb-linux-x86_64-2.2.2.tgz###Replica Set        中文翻译叫做副本集，不过我并不喜欢把英文翻译成中文，总是感觉怪怪的。其实简单来说就是集群当中包含 ...

一、生成环境部署建议1、系统设置与官方保持一致官方文档资料：https://www.elastic.co/guide/en/elasticsearch/reference/7.x/setup.html 2、ES设置尽量简洁elasticsearch.yml中尽量只写必备的参数，其他可以通过api动态设置的参数都通过api来设定文档 Setup Elasticsearch → Important Elasticsearch ConfigurationES版本升级较快，尽量跟随官方设置，不要copy他人的设置3、elasticsearch.yml中建议设定的基本参数cluster.namenode.namenode.master/node.data/node.ingestnetwork.host 建议显示指定为内网ip，不要偷懒设置为0.0.0.0discovery.zen.ping.unicast.hosts 设定集群其他节点地址discovery.zen.mininum_master_nodes 一般设定为2，master节点一般为3个path.data/path.log除上述参数外再 ...

1. from+size 实现分页from表示从第几行开始，size表示查询多少条文档。from默认为0，size默认为10，注意：size的大小不能超过index.max_result_window这个参数的设置，默认为10,000。如果搜索size大于10000，需要设置index.max_result_window参数 123456PUT _settings{ "index": { "max_result_window": "10000000" }} 内部执行原理：示例：有三个节点node1、node2、node3，每个节点上有2个shard分片 node1 node2 node3 shard1 shard3 shard5 shard2 shard4 shard6 123451.client发送分页查询请求到node1（coordinating node）上，node1建立一个大小为from+size的优先级队列来 ...

一、ES中的数据建模ES是基于Lucence以倒排索引为基础的存储体系，不遵循关系型数据库中的范式约定。 二、Mapping字段相关设置回顾 enabled 仅存储，不做搜索或聚合分析 true false index 是否构建倒排索引 true false index_options 存储倒排索引的哪些信息 docs 只有文档编号被索引。能够回答的问题只有此 term（词条）是否存在于此字段 freqs 文档编号和 term（词条）的频率会被索引。term（词条）频率用于给搜索评分，重复出现的 term（词条）评分将高于单个出现的 term（词条）。 positions 文档编号、term frequencies（词条频率）和 term（词条）位置（或顺序）将被索引。Position被用于 proximity queries （邻近查询）和 phrase queries（短语查询）。 offsets 文档编号、term（词条）频率,位置,起始和结尾字符偏移量（用于映射该 term （词条）到原始字符串）将被索引。Offset用于postings highlighter。 ...

1、什么是热温冷架构？​ 通俗解读：热节点存放用户最关心的热数据；温节点或者冷节点存放用户不太关心或者关心优先级低的暖数据或者冷数据。 ​ 对于日志或指标（metric）类时序性强的ES索引，因为数据量大，并且写入和查询大多都是近期时间内的数据。我们可以采用hot-warm-cold架构将索引数据切分成hot/warm/cold的索引。 ​ 如下是最简单的热温冷架构部署图，HOT，WARM，COLD是节点属性，HOT节点负责最新数据的读写，可使用内存或者SSD进行存储；WARM负责较旧的数据读取，可以使用SSD或者HDD进行存储；COLD节点负责最旧的数据读取(很少被读取)，可以采用HDD存储。 2、实战冷热架构索引生命周期管理 (ILM) 是在 Elasticsearch 6.6（公测版）首次引入并在 6.7 版正式推出的一项功能。ILM 是 Elasticsearch 的一部分，主要用来管理索引。http://10.122.100.146:5601/app/kibana#/management?_g=() 2.1 以docker-compose方式部署el ...

0X00-问题现象：进入XX系统资源页面，XX管理页签数据无法显示，F12查看后端请求报错。 0X01-定位过程：1、F12查看后端请求报错 2、根据报错信息，判断XX服务可能存在问题，查看XX服务日志使用 jstat -gcutil -pid 1000 20 每一秒打印一次gc信息，打印20次查看结果。发现FGC在频繁发生，差不多每5秒发生一次。FGC发生次数达到了3571次（运行8小时） 3、通过导出dump使用MAT工具进行分析使用如下命令导出对应服务的dump文件 sudo docker exec -it `sudo docker ps | grep xx | awk '{print $1}'` /bin/bash -c "jmap -dump:format=b,file=xx.dump 6" sudo docker cp `sudo docker ps | grep xx | awk '{print $1}'`:/opt/project/galaxy_device.dump

1、定义在不改变原有对象的基础之上，将功能附加到对象上，提供了比继承更有弹性的替代方案，属于结构型设计模式。 2、身边例子(反例写法)山东煎饼果子例子、装修例子、促销打折例子 123456789101112131415package top.zhhades.design.decorator.v1; import lombok.ToString; import lombok.extern.slf4j.Slf4j; /** * @author zhhades */ @Slf4j public class Pancake { public String makeBy() { return "面粉"; } public int cost() { return 5; } } 123456789101112131415package top.zhhades.design.decorator.v1; import lombo ...

1.Lucene评分影响因子 文档权重（document boost）：索引期赋予某个文档的权重值 字段权重（field boost）：查询期赋予某个字段的权重值 协调因子（coord）：基于文档中词项个数的协调因子，一个文档命中了查询中的词项越多，得分越高 逆文档频率（inverse document frequency）：一个基于词项的因子，告诉评分公式该词项有多么罕见。逆文档频率越高，词项就越罕见。评分公式利用该因子，为包含罕见词项的文档加权 长度范数（length norm）：每字段的基于词项个数的归一化因子（在索引期被计算并存储在索引中）。一个字段包含的词项数越多，该因子的权重越低。这表示lucene评分公式更“喜欢”包含更少词项的字段 词频（Term frequency）：一个基于词项的因子，用来表示一个词项在某个文档中出现了多少次。词频越高，得分越高 查询范数（Query norm）：一个基于查询的归一化因子，等于查询中词项的权重平方和。查询范数使不同查询的得分能互相比较 2.Elasticsearch默认评分公式 Elasticsearch 5.0版本以前默认评分公式 ...

SpringBoot集成websocket本次以代码实战的方式介绍SpringBoot集成websocket HandshakeInterceptor12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455/** * websocket握手拦截器 * @author zhouheng * @date 2021-04-20 18:17 */@[email protected] class XXXHandshakeInterceptor implements HandshakeInterceptor { @Override public boolean beforeHandshake(ServerHttpRequest request, ServerHttpResponse serverHttpResponse, WebSocketHandler webSocketHandler, Map<String, Object ...

Ngrok是什么​ ngrok是一个内网穿透的解决方案：它使得你本地的服务器可以被局域网外的公网访问到，ngork有服务端和客户端，服务端运行在公网服务器，客户端运行在本地服务器 Ngrok服务器搭建必备条件 具有公网IP的服务器 可进行解析配置的域名 搭建步骤本文基于CentOS7的环境进行搭建，Ubuntu环境类似，本文不再赘述1. 安装git和go以及其它依赖1yum install gcc mercurial git bzr subversion golang golang-pkg-windows-amd64 golang-pkg-windows-386 -y 2. 下载源码1git clone https://github.com/inconshreveable/ngrok.git 3. 生成证书12345678cd ngrok#将xxxx.xxxx修改为你自己的域名export NGROK_DOMAIN="xxxx.xxxx" openssl genrsa -out rootCA.key 2048openssl req -x509 - ...