labs:grappe
Différences
Ci-dessous, les différences entre deux révisions de la page.
Les deux révisions précédentesRévision précédenteProchaine révision | Révision précédenteProchaine révisionLes deux révisions suivantes | ||
labs:grappe [2008-02-22 20:06] – arraslei | labs:grappe [2011-10-25 18:39] – re-ecriture par Claude Goutier derval | ||
---|---|---|---|
Ligne 1: | Ligne 1: | ||
====== Utilisation de la grappe de processeurs ====== | ====== Utilisation de la grappe de processeurs ====== | ||
- | Les machines de la grappe | + | <p>La commande < |
+ | par Jean-Louis Martineau pour gérer l' | ||
+ | les clacs. | ||
+ | |||
+ | </ | ||
+ | < | ||
+ | les accès à plusieurs grappes associées à un laboratoire de recherche | ||
+ | ou à tout le département. | ||
+ | </ | ||
+ | |||
+ | < | ||
+ | < | ||
+ | pour y exécuter un certain nombre de tâches | ||
+ | et de la libérer lorsque les tâches sont terminées. | ||
+ | C'est la raison d' | ||
+ | < | ||
+ | </ | ||
+ | <p>A cela s' | ||
+ | |||
+ | qui montrent respectivement les réservations | ||
+ | et la charge des machines. | ||
+ | </ | ||
+ | < | ||
+ | la soumission d'une tâche et la libération | ||
+ | </ | ||
+ | < | ||
+ | pour libérer une réservation orpheline. | ||
+ | Il faut aussi noter que l' | ||
+ | n'agit que sur la réservation de la machine | ||
+ | et n' | ||
+ | </ | ||
+ | |||
+ | < | ||
+ | |||
+ | <p>La syntaxe de la commande < | ||
+ | suit à peu près le schéma suivant: | ||
+ | un mot clé précédé de " | ||
+ | et possiblement suivi d'une ou plusieurs valeurs | ||
+ | séparées par des "," | ||
+ | Les mots clés peuvent être séparés des valeurs, | ||
+ | soit par un espace, soit par un " | ||
+ | </ | ||
+ | < | ||
+ | tant qu'il n'y a pas d' | ||
+ | et l' | ||
+ | En cas d' | ||
+ | dans le message d' | ||
+ | < | ||
+ | seule la dernière instance est utilisée. | ||
+ | Un des mots clés présents et un seul doit préciser | ||
+ | l' | ||
+ | </ | ||
+ | <p>Un mot clé absent | ||
+ | permet de stopper l' | ||
+ | et de spécifier à sa suite | ||
+ | les paramètres de la commande à exécuter. | ||
+ | On peut aussi spécifier la commande et ses paramètres | ||
+ | entre "" | ||
+ | </p> | ||
+ | < | ||
+ | < | ||
+ | </ | ||
+ | <pre class=" | ||
+ | |||
+ | cluster | ||
+ | cluster --os=fc14 --liste | ||
+ | cluster --execute uname --os=fc9 -- -a | ||
+ | cluster --mem 20 --execute "uname -nrp" | ||
+ | cluster --libere --id=1234567 | ||
+ | </pre> | ||
+ | |||
+ | < | ||
+ | < | ||
+ | de vie (8 heures par défaut). | ||
+ | L' | ||
+ | une nouvelle durée pour la réservation. | ||
+ | La valeur maximum est de 31 jours, | ||
+ | ce qui correspond à la durée de vie d'un ticket Kerberos. | ||
+ | </ | ||
+ | <p>En plus de la durée, on peut spécifier un certain | ||
+ | nombre de critères caractérisant les machines à réserver. | ||
+ | En particulier, | ||
+ | </ | ||
+ | <p>A l' | ||
+ | et réserver toute une machine pour un usager était acceptable. | ||
+ | Avec les machines récentes qui peuvent avoir des dizaines de processeurs, | ||
+ | ces machines ont été partitionnées en pseudo-machines distinguées | ||
+ | par une lettre majuscule ajoutée au nom | ||
+ | afin d' | ||
+ | Ce partitionnement est flexible et peut être ajusté au besoin. | ||
+ | </ | ||
+ | |||
+ | < | ||
+ | |||
+ | < | ||
+ | sont présentées en ordre alphabétique. | ||
+ | Les options facultatives sont mentionnées | ||
+ | Dans la liste qui suit, le préfixe < | ||
+ | Les chaines présentées entre < | ||
+ | spécifiées par l' | ||
+ | Ainsi, ' | ||
+ | ' | ||
+ | Le détail des valeurs est expliqué dans la section < | ||
+ | </ | ||
+ | <p>La notation < | ||
+ | |||
+ | qui a été choisie pour alléger la présentation, | ||
+ | représente un certain nombre d' | ||
+ | (' | ||
+ | précisant surtout le type de machine voulue. | ||
+ | </ | ||
+ | |||
+ | < | ||
+ | < | ||
+ | </ | ||
+ | |||
+ | < | ||
+ | < | ||
+ | Les options facultatives permettent de restreindre | ||
+ | l' | ||
+ | Il faut aussi noter que seules | ||
+ | l' | ||
+ | </ | ||
+ | <p>La sortie comprend: le nom de la machine, | ||
+ | l' | ||
+ | (load average) données par la commande 'uptime'. | ||
+ | </ | ||
+ | |||
+ | < | ||
+ | |||
+ | < | ||
+ | élaborée de la commande < | ||
+ | </ | ||
+ | < | ||
+ | fournis ('os', ' | ||
+ | Si la réservation échoue, un message d' | ||
+ | Cette action réserve automatiquement les processeurs | ||
+ | et les libère lorsque la commande se termine. | ||
+ | </ | ||
+ | <p>En cas de succès, la commande ' | ||
+ | comme suit sur la machine réservée: | ||
+ | </ | ||
+ | <pre class=" | ||
+ | cd ' | ||
+ | ' | ||
+ | </ | ||
+ | < | ||
+ | |||
+ | ou celui mentionné via l' | ||
+ | < | ||
+ | [format] indique une chaine facultative qui sera ajoutée | ||
+ | avant les paramètres (args) de la commande | ||
+ | si l' | ||
+ | < | ||
+ | Par défaut, la commande est lancée sur un seul processeur. | ||
+ | </ | ||
+ | <p>La commande n'est pas limitée à un seul programme. | ||
+ | En fait toute expression acceptée par le shell de l' | ||
+ | peut être utilisée. Il faut cependant faire attention | ||
+ | caractères d' | ||
+ | </ | ||
+ | |||
+ | < | ||
+ | < | ||
+ | |||
+ | </ | ||
+ | |||
+ | < | ||
+ | < | ||
+ | Attention, < | ||
+ | en cours d' | ||
+ | </ | ||
+ | |||
+ | < | ||
+ | < | ||
+ | Les options facultatives permettent de restreindre | ||
+ | l' | ||
+ | Il faut aussi noter que seules les machines auxquelles | ||
+ | l' | ||
+ | </p> | ||
+ | |||
+ | < | ||
+ | |||
+ | < | ||
+ | Si la durée est absente, | ||
+ | la valeur par défaut est utilisée. | ||
+ | </ | ||
+ | |||
+ | < | ||
+ | < | ||
+ | Par défaut, un seul processeur est réservé. | ||
+ | Si la réservation est réussie, la sortie contiendra les valeurs: | ||
+ | ' | ||
+ | le nombre de processeurs | ||
+ | </p> | ||
+ | <p> | ||
+ | Cette action n'est plus directement accessible. | ||
+ | </p> | ||
+ | |||
+ | < | ||
+ | < | ||
+ | permettant ainsi de spécifier à sa suite | ||
+ | les paramètres de la commande à exécuter. | ||
+ | </ | ||
+ | |||
+ | < | ||
+ | |||
+ | < | ||
+ | Certaines options ne sont utiles qu' | ||
+ | elles sont simplement ignorées autrement. | ||
+ | Dans la liste qui suit, le préfixe < | ||
+ | </ | ||
+ | |||
+ | < | ||
+ | < | ||
+ | Par défaut, un seul processeur sera requis. | ||
+ | </ | ||
+ | |||
+ | < | ||
+ | < | ||
+ | où sera exécutée la commande sinon c'est le répertoire | ||
+ | où la commande < | ||
+ | qui sera utilisé. | ||
+ | |||
+ | </ | ||
+ | |||
+ | < | ||
+ | < | ||
+ | Les suffixes ' | ||
+ | respectivement des minutes, des heures ou des jours. | ||
+ | La durée par défaut | ||
+ | La durée maximum est de 31 jours, | ||
+ | ce qui correspond à la durée de vie d'un ticket Kerberos. | ||
+ | </ | ||
+ | |||
+ | < | ||
+ | < | ||
+ | comme premier argument | ||
+ | Dans cette chaine, les séquences suivantes seront remplacées | ||
+ | par les valeurs correspondantes: | ||
+ | < | ||
+ | %n par le nombre de processus | ||
+ | < | ||
+ | %m par le nom de la machine | ||
+ | < | ||
+ | %M par les noms des machines | ||
+ | < | ||
+ | |||
+ | <div class=" | ||
+ | < | ||
+ | <p> | ||
+ | Option prévue mais pas encore implantée. | ||
+ | </ | ||
+ | </ | ||
+ | |||
+ | < | ||
+ | < | ||
+ | Ce numéro apparait dans la première section de l' | ||
+ | </ | ||
+ | |||
+ | < | ||
+ | |||
+ | < | ||
+ | d'une machine. | ||
+ | Ce nom permet de restreindre les actions < | ||
+ | < | ||
+ | < | ||
+ | </ | ||
+ | |||
+ | < | ||
+ | <p> | ||
+ | Cette option permet de spécifier la quantité de mémoire requise. | ||
+ | La mémoire est exprimée en méga-octets et la valeur par défaut est de 512. | ||
+ | </ | ||
+ | |||
+ | < | ||
+ | |||
+ | < | ||
+ | au nombre requis par l' | ||
+ | la réservation échoue. | ||
+ | Par contre, s'il y a au moins ' | ||
+ | la réservation s' | ||
+ | avec le nombre maximum de processeurs disponibles | ||
+ | jusqu' | ||
+ | </ | ||
+ | |||
+ | < | ||
+ | < | ||
+ | des machines à réserver en précisant la distribution voulue: | ||
+ | </ | ||
+ | < | ||
+ | fc7 pour des noeuds avec Fedora core 7 | ||
+ | fc9 pour des noeuds avec Fedora core 9 | ||
+ | fc14 pour des noeuds avec Fedora 14 | ||
+ | all pour des noeuds avec fc7 ou fc9 | ||
+ | </ | ||
+ | |||
+ | <p>La valeur par défaut est présentement ' | ||
+ | |||
+ | et ' | ||
+ | </ | ||
+ | |||
+ | < | ||
+ | < | ||
+ | La valeur par défaut est de un. | ||
+ | </ | ||
+ | |||
+ | < | ||
+ | < | ||
+ | l' | ||
+ | Cette option permet de connecter l' | ||
+ | s'il n'y a qu'un seul processeur requis (< | ||
+ | |||
+ | </ | ||
+ | |||
+ | < | ||
+ | < | ||
+ | s' | ||
+ | </ | ||
+ | |||
+ | < | ||
+ | <p>Par défaut, | ||
+ | l' | ||
+ | que l' | ||
+ | </ | ||
+ | <p> La sortie standard (stdout) et la sortie d' | ||
+ | En cas de longue exécution, il est recommandé de rediriger ces sorties | ||
+ | vers des fichiers pour éviter leur perte en cas d' | ||
+ | </ | ||
+ | |||
+ | < | ||
+ | |||
+ | < | ||
+ | <pre class=" | ||
+ | kiwi0g | ||
+ | kiwi0h | ||
+ | malaga01A, usagerxx : 5.00, 5.00, 5.00 | ||
+ | malaga01B, usagerxx : | ||
+ | malaga01C, usagerxx : | ||
+ | malaga01D, usagerxx : | ||
+ | </pre> | ||
+ | |||
+ | <h2>cluster --liste</h2> | ||
+ | <pre class=" | ||
+ | Liste des réservations: | ||
+ | ID : USAGER | ||
+ | 263560 : usagerxx :EX Thu Sep 29 04:41:57 2011: 1 : 64000 : ilar01A | ||
+ | |||
+ | Liste des machines: | ||
+ | MACHINE | ||
+ | ... | ||
+ | giga0h | ||
+ | ilar01A | ||
+ | ... | ||
+ | |||
+ | Sur 90 machines, 13 sont réservées et 77 sont disponibles. | ||
+ | </ | ||
+ | |||
+ | < | ||
+ | |||
+ | <pre class=" | ||
+ | Réserver une machine avec fc9 et 2 giga-octets | ||
+ | et y exécuter | ||
+ | </ | ||
+ | |||
+ | < | ||
+ | < | ||
+ | cluster --format "-FMT: n=%n m=%m-" --exec "uname -nrp; pwd; echo" -- " | ||
+ | <pre class=" | ||
+ | acgt01.iro.umontreal.ca 2.6.23.17-88.fc7 x86_64 | ||
+ | /tmp | ||
+ | -FMT: n=1 m=acgt01- etc. | ||
+ | </ | ||
+ | |||
+ | < | ||
+ | <p>Il n'y a pas de page de manuel | ||
+ | et la documentation donnée par < | ||
+ | |||
+ | </ | ||
+ | <p>On ne peut libérer qu'une réservation à la fois. | ||
+ | </ | ||
+ | <p>La valeur par défaut de l' | ||
+ | est source de confusion. | ||
+ | </ | ||
+ | <p>Il peut rester des réservations orphelines. | ||
+ | </ | ||
+ | <p>Le message BAD libere/ | ||
+ | </ | ||
+ | <p>Il y a une certaine confusion entre CPU et PROC | ||
+ | (processeur et processus). | ||
+ | </ | ||
+ | < | ||
+ | directement par la commande < | ||
+ | |||
+ | </ | ||
+ | |||
+ | < | ||
+ | < | ||
+ | 2001-2006 Jean-Louis Martineau. | ||
+ | 2006-2011 Claude Goutier. | ||
+ | </ | ||
===== Exemples ===== | ===== Exemples ===== | ||
Ligne 39: | Ligne 439: | ||
^ Laboratoire ^ Grappe ^ Caractéristiques des noeuds ^ Responsable ^ | ^ Laboratoire ^ Grappe ^ Caractéristiques des noeuds ^ Responsable ^ | ||
- | | DIRO | '' | + | | DIRO | '' |
| LBIT | '' | | LBIT | '' | ||
| LISA | '' | | LISA | '' |
labs/grappe.txt · Dernière modification : 2018-04-26 20:46 de 127.0.0.1