-
Notifications
You must be signed in to change notification settings - Fork 1
Commit
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
Documenting main directory and subdirectories with README files
- Loading branch information
1 parent
71d265f
commit 3961951
Showing
4 changed files
with
92 additions
and
0 deletions.
There are no files selected for viewing
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Original file line number | Diff line number | Diff line change |
---|---|---|
@@ -1 +1,60 @@ | ||
# Slurm Swarm Cluster | ||
|
||
## Instruções para obtenção das imagens | ||
|
||
### Local | ||
|
||
A obtenção das imagens pode ser realizada localmente, através dos `Dockerfile` disponibilizados e do comando `docker build`. | ||
|
||
Existem 3 imagens que devem estar disponíveis antes de executar a aplicação no Swarm: [base](base), [controller](controller) (no nó controlador), [worker](worker) (nos nós de execução de aplicações). | ||
|
||
Em cada umas das páginas linkadas acima, encontram-se as instruções específicas para utilização do `docker build`. | ||
|
||
### Docker Hub | ||
|
||
As imagens estão disponíveis no Docker Hub e podem ser obtidas através dos comandos abaixo. | ||
|
||
``` | ||
docker pull lraraujo/slurm-swarm-base:19.05.4 | ||
docker pull lraraujo/slurm-swarm-controller:19.05.4 | ||
docker pull lraraujo/slurm-swarm-worker:19.05.4 | ||
``` | ||
|
||
## Instruções para execução | ||
|
||
Iniciar o Swarm, normalmente no nó controlador. | ||
|
||
``` | ||
docker swarm init | ||
``` | ||
|
||
Utilizar a saída do comando acima e executá-la nos outros nós, para que entrem no Swarm e possa ocorrer a execução de maneira distribuída. | ||
|
||
Para verificar a situação dos nós no Swarm, pode-se executar o comando `docker node ls`. Após todos estarem ativos, podemos iniciar a pilha de serviços, utilizando o nó ... do Swarm. Para tal, utilizar o arquivo [docker-compose.yml](docker-compose.yml) (o número de replicas de *workers* deve ser editado para corresponder a quantidade de nós). | ||
|
||
``` | ||
docker stack deploy -c docker-compose.yml slurm | ||
``` | ||
|
||
Para verificar a condição dos serviços, utilizar `docker service ls`. | ||
|
||
Para entrar em algum dos serviços, utilizar `docker ps` para obter o nome dos *containers* e utilizá-lo no comando abaixo. | ||
|
||
``` | ||
docker exec -ti <nome> /bin/bash | ||
``` | ||
|
||
## Comandos SLURM | ||
|
||
Alguns comandos podem ser executados para verificar a estrutura do *cluster* e outros aspectos do SLURM: | ||
|
||
* `sinfo` | ||
* `scontrol show node <hostname>` | ||
* `squeue` | ||
* `sbatch` (submeter jobs) | ||
|
||
### Exemplo | ||
|
||
Um pequeno exemplo ([slurm_test.job](base/slurm_test.job)) foi colocado na imagem para realizar um simples teste nos nós de processamento. | ||
|
||
Para execução do mesmo, utilizar o comando `sbatch -N <número-de-nós> slurm_test.job`. |
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Original file line number | Diff line number | Diff line change |
---|---|---|
@@ -0,0 +1,11 @@ | ||
# Slurm Swarm Cluster - Base | ||
|
||
Imagem contendo as dependências e configurações para possibilitar a execução do SLURM em um ambiente de *containers*. | ||
|
||
## Obtenção | ||
|
||
Para construir essa imagem, que é a base para nó controlador e nó de processamento, utilizar o comando abaixo. | ||
|
||
``` | ||
docker build -t slurm-swarm-base:19.05.4 . | ||
``` |
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Original file line number | Diff line number | Diff line change |
---|---|---|
@@ -0,0 +1,11 @@ | ||
# Slurm Swarm Cluster - Controller | ||
|
||
Imagem contendo um *script* de execução que configura arquivos e dirétórios do Munge e do SLURM, no nó controlador e nos nós de processamento, para possibilitar o funcionamento do SLURM em todos esses nós. | ||
|
||
## Obtenção | ||
|
||
Para construir essa imagem, utilizar o comando abaixo. | ||
|
||
``` | ||
docker build -t slurm-swarm-controller:19.05.4 . | ||
``` |
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Original file line number | Diff line number | Diff line change |
---|---|---|
@@ -0,0 +1,11 @@ | ||
# Slurm Swarm Cluster - Worker | ||
|
||
Imagem apenas executa `sshd` para aguardar a conexão do controlador, que realiza a configuração necessária (Munge e SLURM). | ||
|
||
## Obtenção | ||
|
||
Para construir essa imagem, utilizar o comando abaixo. | ||
|
||
``` | ||
docker build -t slurm-swarm-worker:19.05.4 . | ||
``` |