Outils pour utilisateurs

Outils du site


serveurdata

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

serveurdata [2026-02-19 16:34] – créée lauzonaserveurdata [2026-02-19 20:27] (Version actuelle) – précisions dans préambule lauzona
Ligne 1: Ligne 1:
 ====== Glacier ====== ====== Glacier ======
  
-Le serveur de données départemental (''glacier'') est offert à tous les utilisateurs des laboratoires du DIRO. L'espace sur ce serveur doit servir à entreposer les données pour les calculs comme les corpus (datasets) et les résultats d'expériences. Ceux-ci ne devraient //jamais// être stockés dans l'espace accordé sur le serveur de fichiers personnels (home). Le serveur de données est spécifiquement construit et configuré pour offrir la rapidité d'accès et l'espace nécessaires pour les calculs sur une station de travail.+Pour la recherche, le serveur de données départemental (''glacier'') est offert à tous les utilisateurs des groupes de recherche du DIRO. L'espace sur ce serveur doit servir à entreposer les données pour les calculs comme les corpus (datasets), les modèles et les résultats de calculs. Ceux-ci ne devraient //jamais// être stockés dans l'espace accordé sur le serveur de fichiers personnels (home). Le serveur de données est spécifiquement construit et configuré pour offrir la rapidité d'accès et l'espace nécessaires pour les calculs sur une station de travail. Quoi que l'espace est construit avec redondance, la taille de celui-ci implique qu'il n'est pas archivé.
  
-Quoi que le serveur de données offre les meilleurs accès réseau possibles, pour la majorité des situations, la solution la plus efficace pour le stockage des données activement utilisées par des calculs devraient être de les mettre dans l'espace local ''/Tmp'' de la station de travail. Mais il y a quand même des raisons de recopier ceux-ci sur le serveur de données du département. Par exemple: +Bien que le serveur de données offre les meilleurs accès réseau possibles, pour la majorité des situations, la solution la plus efficace pour le stockage des données activement utilisées par des calculs devraient être de les mettre dans l'espace local ''/Tmp'' de la station de travail. Mais il y a quand même des raisons de recopier ceux-ci sur le serveur de données du département. Par exemple: 
-  * Les données sont nécessaires sur plusieurs stations de travail simultanément.+  * Les données sont nécessaires sur plusieurs stations de travail.
   * Les données sont partagées avec d'autres utilisateurs.   * Les données sont partagées avec d'autres utilisateurs.
-  * Une copie de sécurité est souhaitable (l'espace ''/Tmp'' n'est pas sous archivage automatique).+  * Une copie de sécurité est souhaitable (l'espace ''/Tmp'' n'est ni redondant et ni archivé).
  
 Sur les stations de travail, les données d'un utilisateur sur le serveur se retrouve ici: Sur les stations de travail, les données d'un utilisateur sur le serveur se retrouve ici:
Ligne 12: Ligne 12:
     cd /data/rech/<nomUsager>     cd /data/rech/<nomUsager>
  
- +**Notes**: Pour leurs exercices, travaux pratiques et expériences personnelles, les étudiants au Diro ont de l'espace sur le serveur de données d'enseignement.
-**Notes**: Les étudiants du bac ont leur propre serveur de données pour leurs travaux pédagogiques.+
  
 ===== Recopie des données ===== ===== Recopie des données =====
Ligne 20: Ligne 19:
 Pour une petite quantités de données réparties sur un petit nombre de fichiers, on peut simplement utiliser la commande ''rsync'' sur une station de travail, par exemple: Pour une petite quantités de données réparties sur un petit nombre de fichiers, on peut simplement utiliser la commande ''rsync'' sur une station de travail, par exemple:
  
-    rsync -av /Tmp/<nomUsager>/<nomRepertoire>/ /data/rech/<nomUsager>/<nomRepertoire/+    rsync -av /Tmp/<nomUsager>/<nomRepertoire>/ /data/rech/<nomUsager>/<nomRepertoire>/
  
 Ce type de recopie passant par ''nfs'' devient de plus en plus inefficace avec l'augmentation du nombre de fichier et de la taille de ceux-ci. Ce type de recopie passant par ''nfs'' devient de plus en plus inefficace avec l'augmentation du nombre de fichier et de la taille de ceux-ci.
serveurdata.txt · Dernière modification : de lauzona