rockelixir
- 浏览: 309486 次
- 性别:
- 来自: 上海
-
最新评论
-
296213076：
（2）日志常量定义 /** 组件日志 */ private s ...
spring mvc中log4j的配置与使用 -
bluky999：
jjs456 写道你好，请问如何修改线程池配置vim conf ...
elasticsearch高级配置之（二）----线程池设置 -
y1152979527：
<root>
<leve ...
spring mvc中log4j的配置与使用 -
jjs456：
你好，请问如何修改线程池配置
elasticsearch高级配置之（二）----线程池设置
文章列表
1. application*-db.xml
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:p="http://www.springframework.org/schema/p"
xmlns:contex ...
spring mvc关联配置文件包含web.xml，xxx-servlet.xml，application*.xml。
1. web.xml
<?xml version="1.0" encoding="UTF-8"?>
<web-app version="2.5" xmlns="http://java.sun.com/xml/ns/javaee"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:sche ...
如果使用spring插件创建一个spring template project,它会默认带log4j,只要改下log4j的配置就可以使用了，如果自己创建的project,就要加载下log4f的包了，使用步骤如下
1.pom.xml加入log4j的依赖包
<!-- Logging -->
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-api</artifactId>
<version>1.6 ...
默认配置为：节点每隔1s同master发送1次心跳，超时时间为30s，测试次数为3次，超过3次，则认为该节点同master已经脱离了。以上为elasticsearch的默认配置。在实际生产环境中，每隔1s，太频繁了，会产生太多网络流量。我们可以在elasticsearch.yml如下修改。
discovery.zen.fd.ping_timeout: 120s
discovery.zen.fd.ping_retries: 6
discovery.zen.fd.ping_interval: 30s
超时时间设为2分钟，超过6次心跳没有回应，则认为该节点脱离master，每隔30s发送一 ...
elasticsearch可以使用preference参数来指定分片查询的优先级，使用时就是在请求url上加上preference参数，如：http://ip:host/index/_search?preference=_primary
java的调用接口翻译为：client.prepareSearch(“index”).setPreference(“_primary”)。
默认情况下es有5种查询优先级：
_primary: 指查询只在主分片中查询
_primary_first: 指查询会先在主分片中查询，如果主分片找不到（挂了），就会在副本中查询。
_local: 指查询操作会优先在本地节点 ...
默认elasticsearch是使用netty作为http的容器，由于netty并没有权限模块，所以默认es没有任何的权限控制，直接通过http就可以进行任何操作，除非把http禁用。但如果你使用elasticsearch-jetty插件，就可以使用jetty自带的权限管理进行一些权限的控制，同时也可以支持通过https协议来访问es，还有就是支持gzip压缩响应信息。
插件参数
1.安装
改插件地址：https://github.com/sonian/elasticsearch-jetty
这个插件目前是支持0.20.2版本的es，新版本的es有些方法名变了，把源码下下来，把变了名的方法改 ...
elasticsearch可以通过reroute api来手动进行索引分片的分配。
不过要想完全手动，必须先把cluster.routing.allocation.disable_allocation参数设置为true，禁止es进行自动索引分片分配，否则你从一节点把分片移到另外一个节点，那么另外一个节点的一个分片又会移到那个节点。
一共有三种操作，分别为：移动（move），取消（cancel）和分配（allocate）。下面分别介绍这三种情况：
移动（move）
把分片从一节点移动到另一个节点。可以指定索引名和分片号。
取消（cancel）
取消分配一个分片。可以指定索引名和分片号。node ...
一个Elasticsearch节点会有多个线程池，但重要的是下面四个：
索引（index）：主要是索引数据和删除数据操作（默认是cached类型）
搜索（search）：主要是获取，统计和搜索操作（默认是cached类型）
批量操作（bulk）：主要是对索引的批量操作（默认是cached类型）
更新（refresh）：主要是更新操作（默认是cached类型）
可以通过给设置一个参数来改变线程池的类型（type），例如，把索引的线程池改成blocking类型：
threadpool:
index:
type: blocking
min: 1 ...
cluster.routing.allocation.allow_rebalance
设置根据集群中机器的状态来重新分配分片，可以设置为always, indices_primaries_active和indices_all_active，默认是设置成indices_all_active来减少集群初始启动时机器之间的交互。
cluster.routing.allocation.cluster_c ...
template的使用
刚开始的时候，每次实验都去改/etc/elasticsearch/elasticsearch.yml配置文件。事实上在template里修改settings更方便而且灵活！当然最主要的，还是调节里面的properties设定，合理的控制store和analyze了。
template设定也有多种方法。最简单的就是和存储数据一样POST上去。长期的办法，就是写成json文件放在配置路径里。其中，default配置放在/etc/elasticsearch/下，其他配置放在/etc/elasticsearch/templates/下。举例我现在的一个templates/tem ...
几个cpu
more /proc/cpuinfo |grep "physical id"|uniq|wc -l
每个cpu是几核（假设cpu配置相同）
more /proc/cpuinfo |grep "physical id"|grep "0"|wc -l
cat /proc/cpuinfo | grep processor
1. 查看物理CPU的个数
#cat /proc/cpuinfo |grep "physical id"|sort |uniq|wc -l
2. 查看逻辑CPU的个数
#cat ...
Lucene的索引文件，会包含很多个segments文件，每个segment中包含多个documents文件，一个segment中会有完整的正向索引和反向索引。
在搜索时，Lucene会遍历这些segments，以segments为基本单位独立搜索每个segments文件，而后再把搜索结果合并。
建立索引文件的过程，实际就是把documents文件一个个加入索引中，Lucene的做法是最开始为每个新加入的document独立生成一个segment，放在内存中。而后，当内存中segments数量到达一个阙值时，合并这些segments，新生成一个segment加入文件系统的segments列表中 ...
ES索引优化篇主要从两个方面解决问题，一是索引数据过程；二是检索过程。
索引数据过程我在上面几篇文章中有提到怎么创建索引和导入数据，但是大家可能会遇到索引数据比较慢的过程。其实明白索引的原理就可以有针对性的进行优化。ES索引的过程到相对Lucene的索引过程多了分布式数据的扩展，而这ES主要是用tranlog进行各节点之间的数据平衡。所以从上我可以通过索引的settings进行第一优化：
1 "index.translog.flush_threshold_ops": "100000"
2 "index.refresh_interval" ...
elasticsearch的config文件夹里面有两个配置文件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解 ...