====== Glacier ====== Pour la recherche, le serveur de données départemental (''glacier'') est offert à tous les utilisateurs des groupes de recherche du DIRO. L'espace sur ce serveur doit servir à entreposer les données pour les calculs comme les corpus (datasets), les modèles et les résultats de calculs. Ceux-ci ne devraient //jamais// être stockés dans l'espace accordé sur le serveur de fichiers personnels (home). Le serveur de données est spécifiquement construit et configuré pour offrir la rapidité d'accès et l'espace nécessaires pour les calculs sur une station de travail. Quoi que l'espace est construit avec redondance, la taille de celui-ci implique qu'il n'est pas archivé. Bien que le serveur de données offre les meilleurs accès réseau possibles, pour la majorité des situations, la solution la plus efficace pour le stockage des données activement utilisées par des calculs devraient être de les mettre dans l'espace local ''/Tmp'' de la station de travail. Mais il y a quand même des raisons de recopier ceux-ci sur le serveur de données du département. Par exemple: * Les données sont nécessaires sur plusieurs stations de travail. * Les données sont partagées avec d'autres utilisateurs. * Une copie de sécurité est souhaitable (l'espace ''/Tmp'' n'est ni redondant et ni archivé). Sur les stations de travail, les données d'un utilisateur sur le serveur se retrouve ici: cd /data/rech/ **Notes**: Pour leurs exercices, travaux pratiques et expériences personnelles, les étudiants au Diro ont de l'espace sur le serveur de données d'enseignement. ===== Recopie des données ===== ==== À travers nfs ==== Pour une petite quantités de données réparties sur un petit nombre de fichiers, on peut simplement utiliser la commande ''rsync'' sur une station de travail, par exemple: rsync -av /Tmp/// /data/rech/// Ce type de recopie passant par ''nfs'' devient de plus en plus inefficace avec l'augmentation du nombre de fichier et de la taille de ceux-ci. ==== À travers ssh ==== Pour transférer un corpus (dataset) volumineux ou contenant un très grand nombre de fichiers, il est recommandé forcer le ''rsync'' à passer par le protocole ''ssh''. La forme générale est celle-ci. rsync -av -e "ssh -A @arcade.iro.umontreal.ca ssh" / glacier:/ Pour que ça fonctionne, on doit avoir une clé ssh entre la station de travail et le serveur de données. Il est aussi utile d'avoir un ticket kerberos valide, parce que sinon, le système demandera un mot de passe. === Clé ssh === Si nécessaire, créer une nouvelle clé. ssh-keygen -t ed25519 -f ~/.ssh/key_glacier -C nomUsager-glacier Ensuite, la recopier vers le fichier ''~/.ssh/authorized_keys'' à la racine de notre espace sur le serveur de données. ssh-copy-id -i ~/.ssh/key_glacier nomUsager@glacier Finalement, ajouter la correspondance entre la clé et le serveur dans le fichier ''~/.ssh/config''. host glacier user nomUsager hostname glacier.iro.umontreal.ca port 22 identityfile ~/.ssh/key_glacier === Kerberos === Pour vérifier si on a déjà un ticket, on utilise la commande ''klist'' et le résultat devrait ressembler à ceci: Ticket cache: FILE:/tmp/krb5cc_50630_XX Default principal: @ADS.IRO.UMONTREAL.CA Valid starting Expires Service principal 2026-01-26 13:47:35 2026-01-26 16:47:03 krbtgt/ADS.IRO.UMONTREAL.CA@ADS.IRO.UMONTREAL.CA renew until 2026-02-20 10:39:29 Si ce n'est pas le cas, on peut demander un ticket. kinit @ADS.IRO.UMONTREAL.CA