Table des matières
Glacier
Le serveur de données départemental (glacier) est offert à tous les utilisateurs des laboratoires du DIRO. L'espace sur ce serveur doit servir à entreposer les données pour les calculs comme les corpus (datasets) et les résultats d'expériences. Ceux-ci ne devraient jamais être stockés dans l'espace accordé sur le serveur de fichiers personnels (home). Le serveur de données est spécifiquement construit et configuré pour offrir la rapidité d'accès et l'espace nécessaires pour les calculs sur une station de travail.
Quoi que le serveur de données offre les meilleurs accès réseau possibles, pour la majorité des situations, la solution la plus efficace pour le stockage des données activement utilisées par des calculs devraient être de les mettre dans l'espace local /Tmp de la station de travail. Mais il y a quand même des raisons de recopier ceux-ci sur le serveur de données du département. Par exemple:
- Les données sont nécessaires sur plusieurs stations de travail simultanément.
- Les données sont partagées avec d'autres utilisateurs.
- Une copie de sécurité est souhaitable (l'espace
/Tmpn'est pas sous archivage automatique).
Sur les stations de travail, les données d'un utilisateur sur le serveur se retrouve ici:
cd /data/rech/<nomUsager>
Notes: Les étudiants du bac ont leur propre serveur de données pour leurs travaux pédagogiques.
Recopie des données
À travers nfs
Pour une petite quantités de données réparties sur un petit nombre de fichiers, on peut simplement utiliser la commande rsync sur une station de travail, par exemple:
rsync -av /Tmp/<nomUsager>/<nomRepertoire>/ /data/rech/<nomUsager>/<nomRepertoire/
Ce type de recopie passant par nfs devient de plus en plus inefficace avec l'augmentation du nombre de fichier et de la taille de ceux-ci.
À travers ssh
Pour transférer un corpus (dataset) volumineux ou contenant un très grand nombre de fichiers, il est recommandé forcer le rsync à passer par le protocole ssh.
La forme générale est celle-ci.
rsync -av -e "ssh -A <nomUsager>@arcade.iro.umontreal.ca ssh" <nomRepertoire>/ glacier:<nomRepertoire>/
Pour que ça fonctionne, on doit avoir une clé ssh entre la station de travail et le serveur de données. Il est aussi utile d'avoir un ticket kerberos valide, parce que sinon, le système demandera un mot de passe.
Clé ssh
Si nécessaire, créer une nouvelle clé.
ssh-keygen -t ed25519 -f ~/.ssh/key_glacier -C nomUsager-glacier
Ensuite, la recopier vers le fichier ~/.ssh/authorized_keys à la racine de notre espace sur le serveur de données.
ssh-copy-id -i ~/.ssh/key_glacier nomUsager@glacier
Finalement, ajouter la correspondance entre la clé et le serveur dans le fichier ~/.ssh/config.
host glacier
user nomUsager
hostname glacier.iro.umontreal.ca
port 22
identityfile ~/.ssh/key_glacier
Kerberos
Pour vérifier si on a déjà un ticket, on utilise la commande klist et le résultat devrait ressembler à ceci:
Ticket cache: FILE:/tmp/krb5cc_50630_XX
Default principal: <nomUsager>@ADS.IRO.UMONTREAL.CA
Valid starting Expires Service principal
2026-01-26 13:47:35 2026-01-26 16:47:03 krbtgt/ADS.IRO.UMONTREAL.CA@ADS.IRO.UMONTREAL.CA
renew until 2026-02-20 10:39:29
Si ce n'est pas le cas, on peut demander un ticket.
kinit <nomUsager>@ADS.IRO.UMONTREAL.CA
