Java8 in Debian

For starting we need install add-apt-repository

apt-get install software-properties-common python-software-properties

Then install java8

sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer

To automatically set up the Java 8 environment variables:

sudo apt-get install oracle-java8-set-default

or

echo "deb http://ppa.launchpad.net/webupd8team/java/ubuntu xenial main" | tee /etc/apt/sources.list.d/webupd8team-java.list
echo "deb-src http://ppa.launchpad.net/webupd8team/java/ubuntu xenial main" | tee -a /etc/apt/sources.list.d/webupd8team-java.list
apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-keys EEA14886
apt-get update
apt-get install oracle-java8-installer

Запуск VNC сервера через SSH

На клиентской стороне:

ssh 10.10.10.1 -L 5900:localhost:5900 "x11vnc -display :0 -noxdamage"

После чего в VNC клиенте подключаемся к localhost:5900

Weathermap wont delete link

If you can’t delete link in editor make ine change in file editor.php

diff editor.php editor.php.old 
794c794
< 		if(isset($map->links[$target])) {
---
> 		if(isset($map->links[target])) {

Mysqldump: без блокировки InnoDB таблиц

Для InnoDB таблиц желательно использовать single-transaction

mysqldump --single-transaction -u <user> -p <database> <table1> <table2>  > backup.sql

Для myISAM

--lock-tables=false

Docker: очистка кэш

Если очень много раз собирать свой контейнер, то в папке aufs собирается очень много слоев одного и того же образа…
Почиистить за собой можно так

docker rmi -f $(docker images --filter dangling=true -q)

Добавление новой ноды в Chef Server

knife bootstrap {{address}} --ssh-user {{user}} --ssh-password '{{password}}' --sudo --use-sudo-password --node-name node1

From your workstation, run this command to bootstrap your node. Replace {{address}} with your remote node’s external address, {{user}} with your username, and {{password}} with your password.

Удаленный запуск chef-client

knife ssh 'name:mynode' 'sudo chef-client'

Hadoop – балансировка распределения блоков по кластеру

Балансировка блоков
Новые узлы могут быть напрямую доабвлены в кластер. На новом узле должна быть установлена та же версия Hadoop с той же конфигурацией, как в кластере (conf/hadoop-site.xml). Запуск демона DataNode заставит соединиться с NameNode и присоединиться к кластеру. (Также новый узел должен быть добавлен в файл slaves на главном сервере, чтобы сообщить мастеру, как вызвать команды на базе скрипта на новый узел.)
Но изначально у нового DataNode нет в себе данных; и поэтому свободное место зависит от существующих узлов. Новые файлы будут храниться на новом DataNode в дополнение к уже существующим, но для оптимального использования хранилище должно быть равномерно сбалансировано между всеми узлами.
Этого можно достичь с автоматическим инструментом балансировки от Hadoop. Класс Balancer будет разумно распределять блоки между узлами для достижения равномерного распределения блоков, начиная с определенного отправного пункта, выражая значение в процентах. (По умолчанию — 10%) Меньшее процентное содержание делает узлы более равномерно сбалансированными, но может потребовать больше времени на достижение этого состояния. Идеальная балансировка (0%) нежелательна к применению.
Скрипт балансировки может быть запущен путем старта bin/start-balancer.sh в каталоге Hadoop. Скрипт может обеспечить начало балансирующего процентного содержания, используя параметр -threshold ; например, bin/start-balancer.sh -threshold 5. Балансировщик автоматически закроется, когда достигнет своей цели, или когда случится ошибка, или когда не сможет найти больше перемещаемых блоков для улучшения баланса. Также балансировщик может быть безопасно выключен администратором, через запуск bin/stop-balancer.sh.
Скрипт балансировки может быть запущен когда никто больше не использует кластер (скажем, ночью), но также может быть запущен в модели «online», когда выполняется много иных задач. Чтобы предотвратить использование процессом ребалансировки всей ширины канала, тем самым значительно снижая производительность других процессов кластера, параметр конфигурации dfs.balance.bandwidthPerSec может использоваться для ограничения числа байт в секунду, которые может выделять каждый узел на восстановление равновесия.