Condições de utilização

O Cluster SeARCH é um recurso computacional à responsabilidade de um consórcio de grupos de I&D de 3 Centros de Investigação da Universidade do Minho: Centro de Ciências e Tecnologias da Computação, Centro de Física e Centro de Matemática.

As condições de utilização do SeARCH estabelecem-se com base nos Grupos de I&D.

·         Cada Grupo de I&D é coordenado por um investigador doutorado. Cada um dos seus membros tem acesso individualizado ao cluster.

·         Actualmente integram o SeARCH 10 grupos de I&D, correspondendo a cada grupo uma quota de recursos do cluster.

·         A constituição de novos Grupos de I&D é viável em regime experimental, com uma quota reduzida e com o propósito de posterior integração no consórcio SeARCH.

·         Investigadores, incluindo estudantes, não integrados em grupos de I&D poderão ter acesso ao SeARCH por um período acordado caso a caso, sendo atribuída menor prioridade aos respectivos trabalhos.

·         A quota garante o mínimo de recursos disponíveis para os membros de cada grupo durante a janela temporal definida. Havendo disponibilidade de recursos a quota pode ser ultrapassada, no entanto enquadrada por limite superior proporcional à quota.

·         O acesso aos recursos é efectuado através de reservas previamente agendadas ou através de filas organizadas em função do tempo de cálculo dos trabalhos: interactivos, curtos, médios e longos. Os trabalhos podem ainda ser interactivos, paralelos ou sequenciais.

·         A cada Grupo de I&D, para além da quota, estão associados outros parâmetros que conjugados com a ordem de submissão, o tempo de espera em fila e o tempo de cálculo previsto, determinam a prioridade de execução dos trabalhos.

·         Licenças comerciais de programas ou bibliotecas que sejam necessárias ficarão, em princípio, a cargo do(s) Grupo(s) de I&D, a menos que esses programas sejam considerados úteis para um grande número de membros.

·         Anualmente, cada Grupo de I&D deve enviar até ao final de Dezembro, para search-ca@di.uminho.pt, um relatório sucinto (no máximo uma página A4) sobre a sua actividade desenvolvida com suporte do SeARCH, incluindo referências a publicações que resultem dessa actividade.

Toda a informação sobre o ambiente de programação e sistema de submissão do SeARCH encontra-se descrita na página Web do SeARCH.

Qualquer pedido de esclarecimento deverá ser dirigido para o endereço de correio electrónico search-admin@di.uminho.pt.

Acesso ao cluster

Cluster SEARCH apresenta ao utilizador um par de servidores centrais que são utilizador para o login do utilizadores, compilação dos programas, transferência de ficheiros e submissão de trabalhos

search.di.uminho.pt

Os servidores de acesso não devem ser utilizados para computação, que deverá ser sempre gerida através do sistema de gestão de filas (batch).

O acesso ao SEARCH só pode decorrer através de ligações SSH (Secure Shell).

Sistemas Unix e Linux

No sistemas Unix e Linux o acesso poderá iniciar-se através do comando ssh, como se apresenta no exemplo a seguir:

ssh search.di.uminho.pt -l nome

ssh nome@search.di.uminho.pt

A partir deste momento será solicitada a password de acesso ao sistema e, caso seja correctamente introduzida, será concedido o acesso ao sistema e aparecerá o prompt do sistema.

Caso o utilizador pretenda redireccionar a saída das aplicações X-Windows que correr no nó central poderá passar o parâmetro -X, que criará o túnel necessário para lhe dar suporte.

Da mesma forma, poder-se-á utilizar-se o parâmetro -L porta-local:ip-remoto:porta-remota para redireccionar as portas remotas para portas locais. Por exemplo, para ter acesso à porta de WWW remota (que está bloqueada pela firewall) deverá executar o comando "ssh -L 80:10.1.1.1:80".

Windows

O Windows não possui qualquer forma "nativa" de acesso ao cluster Search, mas existem diversas aplicações de acesso remoto por SSH. Deverá ter em atenção que deverá utilizar o protocolo SSH versão 2 apenas, uma vez que a versão 1 tem lacunas de segurança.

Entre os clientes de SSH disponíveis para Windows salientamos o PuTTY, que pode ser descarregado a partir do apontador

http://www.chiark.greenend.org.uk/~sgtatham/putty.

Submissão de trabalhos

A submissão de trabalhos deverá utilizar os comandos do Torque (baseado no PBS) e do escalonador Maui. O desafio de encontrar a configuração bem balanceada entre o requisição de máquinas, a duração dos trabalhos, as prioridades e a gestão do sistema nunca está completamente resolvido. Assim, as políticas de gestão das filas serão afinadas regularmente num esforço para maximizar a eficiência e a justiça no acesso aos recursos.

O sistema de gestão de filas deve ser utilizado em todos os trabalhos de computação. Em princípio não será necessário efectuar o login no nós de computação, excepto se for necessário terminar processos que, por algum motivo, tenham ficado pendentes.

Criar um trabalho

Ao criar trabalhos é uma boa prática colocá-los em directorias separadas. Novas directorias deverão ser criadas com o comando mkdir.

Para este exemplo iremos criar um trabalho chamado “exemplo”.

[xxxx@search xxxx]$ mkdir exemplo

[xxxx@search xxxx]$ cd exemplo 

[xxxx@search exemplo]$ _

Para criar um novo trabalho execute o editor de texto vi:

[xxxx@search exemplo]$ vi exemplo.scr

E introduza o seguinte texto:

#!/bin/sh

#PBS -l nodes=1

#PBS -l walltime=05:00

echo "Olá mundo!"

sleep 60 

Depois deverá gravar este script (com [Shift]Z+Z ou “:w”, por exemplo). 

Submeter o trabalho

Após a criação do script poderá submetê-lo para execução pelo sistema de gestão de filas através do comando qsub, utilizando o nome do script como parâmetro.

[xxxx@search exemplo]$ qsub exemplo.scr

41209.d1

Se o trabalho foi correctamente processado o identificador do novo trabalho será apresentado como resposta do comando (41209.dl no exemplo apresentado). Este identificador poderá ser utilizado para gerir em comando posteriores os trabalhos submetidos. Para obter informação sobre o progresso dos trabalhos poderá utilizar os comandos qstat ou showq, que apresentam a lista dos trabalhos em execução e em espera.

[xxxx@search exemplo]$ qstat

Job id           Name             User             Time Use S Queue

---------------- ---------------- ---------------- -------- - -----

36305.d1         Pol14            usr1             30:52:57 R workq

36311.d1         job.sh           fak              156:26:0 R workq

41209.d1         exemplo.scr      xxxx             00:00:00 R workq

A partir deste quadro podemos verificar que o trabalho 41209 está em execução (R). Quando o trabalho terminar deixará de aparecer nesta lista.

Apresentação dos resultados

Quando o trabalho terminar a directoria onde foi submetido conterá dois ficheiros adicionais, um contendo as mensagens de erro (stderr) e outro contendo a saída para a consola (stdout).

[xxxx@search exemplo]$ ls

exemplo.scr  exemplo.scr.e41209  exemplo.scr.o41209

Ao imprimir o conteúdo dos ficheiros aparecerá o seguinte resultado:

[xxxx@search exemplo]$ cat exemplo.scr.o41209

Olá mundo!

[xxxx@search exemplo]$ cat exemplo.scr.e41209

[xxxx@search exemplo]$ _

Referência rápida do Torque

Os comandos PBS mais frequentemente utilizados são:

Referência rápida do Maui

Os comandos maui mais frequentemente utilizados são:

Para obter informação adicional consulte os manuais do utilizador do torque e do maui, bem como as páginas do man dos diversos comandos.

Muita informação, incluindo listas de discussão, está disponível nas seguintes páginas: torque, maui.

Transferência de ficheiros

A transferência de ficheiros de/para o cluster Search assenta nos comandos scp e sftp, que são parte do conjunto de comandos do SSH.

Transferência de ficheiros em Linux/Unix

O SSH fornece duas ferramentas para transferência de ficheiros, o scp e o sftp.

O comando scp é um extensão do comando cp e tem a seguinte sintaxe:

scp [[user@]host1:]file1 [...] [[user@]host2:]file2

O exemplo seguinte mostra como é possível transferir um ficheiro local chamado exemplo.tgz, que será colocado na directoria /home/xxxx do cluster.

machine:~/... xxxx$ scp exemplo.tgz xxxx@search.di.uminho.pt:/home/xxxx

xxxx@search.di.uminho.pt's password: 

exemplo.tgz                                                               100%  173KB 172.9KB/s   00:00    

A localização do ficheiro destino tem de ser especificado, caso contrário será criado um ficheiro local com o nome xxxx@search.di.uminho.pt.

machine:~/... xxxx$ scp xxxx@search.di.uminho.pt:/home/xxxx/exemplo.tgz . 

xxxx@search.di.uminho.pt's password: 

exemplo.tgz                                                               100%  173KB 172.9KB/s   00:00    

É possível copiar directorias inteiras através do parâmetro -r.

machine:~/... xxxx$ scp -r programa-exemplo/ xxxx@search.di.uminho.pt:/home/xxxx

xxxx@search.di.uminho.pt's password: 

job-result-01.png                                                         100%  294KB 293.6KB/s   00:00    

logo.png                                                                  100%   26KB  26.4KB/s   00:00    

logo.xcf                                                                  100%  340KB 340.2KB/s   00:00    

logo_small.jpg                                                            100%   29KB  28.8KB/s   00:00    

logo_small.png                                                            100%   23KB  22.8KB/s   00:00    

...

users_guide.html                                                          100%   43KB  43.1KB/s   00:00    

A ferramenta SFTP é equivalente ao cliente FTP e utiliza os mesmo comandos para transferência de ficheiros.

machine:~/... xxxx$ sftp xxxx@search.di.uminho.pt

Connecting to search.di.uminho.pt...

xxxx@search.di.uminho.pt's password: 

sftp> cd web

sftp> ls

.                            ..                       

misc.html                    quick_start.sxw              quick_start_unix.html        

quick_start_windows.html     quick_start_windows.pdf      users_guide.html             

sftp> get exemplo.tgz

Fetching /home/xxxx/web/exemplo.tgz to exemplo.tgz

/home/xxxx/web/exemplo.tgz                                            100%  173KB 172.9KB/s   00:00    

sftp> quit

A transferência de ficheiros para o cluster Search através do comando SFTP deverá ser efectuada através do comando PUT.

machine:~/... xxxx$ sftp xxxx@search.di.uminho.pt

Connecting to search.di.uminho.pt...

xxxx@ search.di.uminho.pt 's password: 

sftp> cd web

sftp> put exemplo.tgz

Uploading exemplo.tgz to /home/xxxx/web/exemplo.tgz

exemplo.pdf                                                           100%  173KB 172.9KB/s   00:00    

Transferência de ficheiros em Windows

O Windows não possui os comandos scp e sftp. O pacote PuTTY fornece dois comandos que os substituem, o pscp e o psftp. A forma de transferência é a mesma que para os comandos apresentados na secção anterior.

Em alternativa poderá utilizar o pacote WinSCP (http://winscp.net) que implementa estas funcionalidades através de uma interface semelhante ao explorador do Windows.

Quando o WinSCP é iniciado é apresentada a caixa de diálogo seguinte:

Introduza o nome do sistema remoto, o nome do utilizador e a password. Caso os dados sejam introduzidos correctamente será apresentada a janela principal do WinSCP:

A janela é semelhante à apresentada pelo explorador (ou melhor, ao Norton commander), dividida entre a vista da directoria remota e da directoria local. Os ficheiros podem ser arrastados entre as janelas para os transferir, processo que se iniciará após a confirmação na caixa de diálogo que aparece.