미니옵빠의 code stubs

Disk 부족 시 unassigned shards 발생.복구를 위해서는 일단 디스크 용량 확보. 오래된 index 삭제한다던지. 참고로 기본 85% 이상 Disk를 사용하면 shard allocation 이 안됨ref: https://www.elastic.co/guide/en/elasticsearch/reference/5.3/disk-allocator.html 이 후 기존에 문제 발생된 unassigned shards 들은 자동으로 allocation 되면 좋겠으나 잘 안됨.이 경우 해당 인덱스를 close -> open 하면 다시 자리를 잡음

Elasticsearch > indices 의 settings 값을 변경하려고 할 때, 아래와 같은 오류 메시지를 뿌리며 적용 안되는 경우가 있음. "reason": "Can't update non dynamic settings [[index.codec]] for open indices [[......]]" 예를 들어, compression 설정 변경 등이 해당됨 PUT indexName/_settings"settings": { "index.codec": "best_compression"} 이 때는 해당 index 를 닫고, 변경 후 다시 오픈하면 됨. POST indexName/_close PUT indexName/_settings"settings": { "index.codec": "best_compr..

FileBeat 에서 Logstash로 전송 시, 정상 전송이 완료되었음에도 아래와 같이 오류 메시지가 뜨는 경우가 있음. 2018-01-22T17:23:44+08:00 ERR Failed to publish events caused by: write tcp xx.xx.xx.xx:xxxx -> x.x.x.x.:xxxx: write: connection reset by peer 데이터 전송에는 문제가 없는데 찝찝하니 없애보자. Logstash 내 beats plugin 버전이 낮아 발생하는 이슈로, 아래와 같이 Logstash 폴더에서 plugin 업데이트를 해주면 됨 bin/logstash-plugin update logstash-input-beats Ref: https://github.com/elast..

bootstrap.memory_lock 설정 후 Increase RLIMIT_MEMLOCK 오류가 뜨는 경우 log를 보면 아래와 같이 친절하게 설명해준다. 2017-04-21T20:37:39,605][WARN ][o.e.b.JNANatives ] Unable to lock JVM Memory: error=12, reason=Cannot allocate memory[2017-04-21T20:37:39,607][WARN ][o.e.b.JNANatives ] This can result in part of the JVM being swapped out.[2017-04-21T20:37:39,607][WARN ][o.e.b.JNANatives ] Increase RLIMIT_MEMLOCK, soft limit:..

List ALL Indicescurl -XGET -u elastic 'http://localhost:9200/_cat/indices?v' Match All Querycurl -XGET -u elastic 'http://localhost:9200/_search?pretty=true' -H 'Content-Type: application/json' -d '{ "query" : { "match_all" : {} }}'

초기 설치 후 ES를 실행, API 를 호출하면 외부에서 IP로는 접근되지 않음. loopback (127.0.0.1 or localhot)로 접속해야만 함이 경우는 개발모드이고, 상용모드로는 non-loopback address 를 bind하면 됨 (할당된 외부IP로 설정하라는 뜻) # config/elasticsearch.yml 파일 내# 이런 식으로network.host: 111.222.333.444 그런데 이러면 loopback으로는 접근할 수 없음. 이 땐 아래와 같이 설정하면 내부, 외부 다 접속 가능함 network.host: 0.0.0.0 참고:https://www.elastic.co/guide/en/elasticsearch/reference/5.2/important-settings.htm..

Elasticsearch 가 5.0으로 올라오면서 상용모드(config 내 network.host 값이 loopback이 아닌 경우)인 경우 bootstrap 체크가 까다로워짐 실행 시 아래와 같은 메시지가 뜰 경우 vm.max_map_count 값을 262144로 변경 bootstrap checks failedmax virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] 변경 명령 # 필요시 root 권한으로 실행/usr/sbin/sysctl -w vm.max_map_count=262144 기존 vm.max_map_count 값 확인 방법 cat /proc/sys/vm/max_map_count 참고ht..

묶여있는 제품군들 (elastic stack) 의 버전을 맞추기 위해.예를 들어 ES는 2.x , kibana는 4.x 라서 다음 major 버전을 5로 통일시킴. 이후부터는 관련 제품군의 버전이 동일하게 업그레이드됨. 참고: Why did Elasticsearch skip from version 2.4 to version 5.0?http://stackoverflow.com/questions/38404144/why-did-elasticsearch-skip-from-version-2-4-to-version-5-0 Elastic stack 설치할 때 제품별 버전 맞추기도 편함.ES를 5.1.2 설치, Kibana 를 5.2.0 으로 설치하면 동작 안함. 이럴 땐 ES를 5.2.0 으로 올리면 됨.