Mon cluster - premières impressions...

iManu a dit:
ne penses-tu pas que ça va être un chouia horrible de travailler dans des conditions pareilles?
Ben franchement... non...
D'abord j'ai 2 pièces: la mienne et celle de mes étudiants. Initialement je devais installer le cluster dans la 'salle de calcul', i.e. la pièce des étudiants (2 à 4 selon les saisons...). Mais ça aurait pas mal retréci leur espace vital - comparé à ma grande pièce où je suis tout seul. En plus, si ça doit faire suer, autant que ce soit qu'une seule personne (quelle abnégation !).
Mais surtout - et encore une fois en me donnant le droit de changer d'avis plus tard éventuellement - pour l'instant, ça va...
Dès la semaine prochaine je fais un essai de réseau/test de fonctionnement avec les 15 G5 + le Xserve et je vous dirais. Mais je suis moins inquiêt qu'au début...

PS comment tu fais quand tu cites quelqu'un pour avoir 'posté à l'origine par...' ? Tu utilises citation, mais après ?

OK j'ai compris
laugh.gif
 
krigepouh a dit:
Aaaah iManu !! Je vois enfin ton "antre"
laugh.gif
. C'est toi sur la photo ?
lol, salut Mr K
wink.gif

Non, c'est mon copain Charles, vendeur Mac de son état, qui m'aide à installer la bestiole.
Au fait, et si je lançais un grand jeu: trouvez un nom pour le cluster à iManu ?
BigMac, c'est déja pris, pis à 1085 G5 de moins qu'eux, je peux pas trop frimer...
QuickAndToast ? au moins c'est européen
laugh.gif


Au fait, depuis le patch 1.10 Dar-Dauprune est de nouveau sur Bnet. Tu reviens ?
wink.gif
 
decoris a dit:
je suppose que tu as commander tes powermac Bi 2GHz sans superdrive et sans modem...
Cette manip n'est pas 'recommandée' par Apple, pour diverses raisons (livraison par exemple)... Je suis donc l'heureux propriétaire (enfin, dépositaire, faut pas exagérer non plus
laugh.gif
) de 15 superdrives...
Ca fait un peu curieux.
Le seul truc sur lequel j'ai tenu bon (après m'être informé) c'est sur la mémoire, achetée directement chez un fournisseur tiers.
Dans le même ordre d'idée, il y a peu de possibilités de négocier un prix. Simplement (ça semble pourtant normal, non
confused.gif
) j'ai été en contact (enfin) directement avec des gens d'Apple. Faut dire qu'on est un des seuls labos INSERM de la ville équipé en Macs (80 !), et que bon, ça commence à bien faire de ne jamais être pris en compte ... J'ai eu de bons contacts avec les techs d'Apple, qui semblent compétents, et des prêts de machines pour tester. De même la livraison a été réalisée en un temps record.
A côté de ça ... comme pas mal d'utilisateurs, on n'a pas une très bonne image des commerciaux d'Apple, qu'en général on ne voit jamais.
Heureusement que le revendeur local (sur les photos) est compétent et sympa, sinon on aurait switché WinTell depuis longtemps.
crazy.gif
 
jaipatoukompri a dit:
Salut
smile.gif


Sinon, les étudiants, ils en disent quoi ? Ils connaissaient le mac ?
Ben on essaie de sélectionner à l'entrée si possible...
J'ai des thésards, qui s'y mettent petit à petit (un d'entre eux vient d'acheter son premier AluBook, l'est en pleine phase d'accoutumance rapide
laugh.gif
).
Les autres stagiaires par exemple ceux qui viennent d'école d'ingénieurs n'ont pas trop de souci, du moins quand ils connaissent déjà Linux ou Unix. Je trouve que les réactions sont plutôt bonnes. Bien sur, ceux qui ne connaissent que WinTell... j'essaie d'éviter, pour eux comme pour moi.
J'ai même eu un stagiaire cet été qui est venu de Lyon rien que pour le plaisir de faire son stage sur Mac (via MacStudent).

Bref: Avis aux amateurs
laugh.gif
laugh.gif
laugh.gif

Y a même une cafetière et une bouilloire pour les buveurs de thé
laugh.gif
 
Florent a dit:
J'ai sauté une étape là, un stage dans quel domaine ?

Informatique/physique médicale.
En gros, on doit pouvoir établir des sujets de stage à la demande, en fonction des compétences/désirs des étudiants, et en fonction du cursus (stage ingé, DEA, Master, etc... faut quand même que ce soit pour une durée intéressante pour le labo - si c'est trop court, c'est peu rentable). A savoir aussi que la politique de l'INSERM est de NE PAS rémunérer les stagiaires. J'ai des fois des possibilités (vac), mais c'est l'exception... Ici on travaille pour la gloire
crazy.gif

Ah, si, pour les diplômés des grandes écoles, il y a des possibilités d'accueil dans les unités INSERM sur des périodes de 1 an renouvelable une fois, après examen des dossiers + présentation d'un projet. Ca peut marcher, et le salaire dans ce cas est alligné sur celui des chercheurs - je vous dis pas combien pour pas vous faire rire/pleurer, c'est selon
frown.gif

Enfin, il est possible d'accueillir des post-docs, selon les modalités courantes (dossier, + bourse, 1 à 3 ans selon le type de poste).

Ce qui me manque:
Expérience en calcul parallèle,
Admin cluster,
Simulation numérique,
Imagerie médicale,
Calcul dosimétrique,
Portage de soft unix -> Mac
Je sais, ça fait pas mal, mais c'est justement un des intérêts de la chose je trouve:
Selon le profil des étudiants, on trouve toujours un sujet adapté...
Par contre, faut pas être allergique au Mac, mais sur ce forum ça doit pas être un souci...
laugh.gif
 
Bon, Jeudi on a effectué les branchements.
Pas de souci...
Je n'ai pas configuré l'accès internet sur toutes les machines, juste sur une, pour tester que le switch fonctionnait correctement.
En gros, la config sera la suivante:
Le Xserve a 2 ports gigabits. L'un ira vers l'extérieur (avec une adresse IP visible), l'autre vers le switch. Chaque G5 aura une adresse IP bidon, permettant de voir le Xserve, mais sans accès à internet.
Si tout se passe normalement, le Xserve pourra sortir et être vu, et les G5 ne communiqueront qu'avec le Xserve.

Bonne nouvelle: le bruit.
Je confirme qu'avec les 15 machines allumées, le bruit est quasi inaudible. Le Xserve est en gros équivalent à un G4 (et bien plus silencieux que les anciens Xserves).
En fait, ce qui fera le plus de bruit c'est la clim, qui sera sans doute nécessaire car en sortie des G5, ça chauffe un peu...

Voila, RV en cours avec Apple pour configurer le Xserve, plus de nouvelles à suivre...

Au fait, c'est la gloire!
Un filet en page 28 de SVMmac (c'est MOI le grand institut de recherche français
laugh.gif
)
Pis une dépêche sur Mag'Plus
Je cours m'acheter un press-book
laugh.gif
laugh.gif
laugh.gif
 
Ton expérience est intéressante. J'ai l'impression qu'Apple va faire chuter les coût d'un cluster et qu'on pourrait bientôt en voir pas mal. Pourras-tu partager ton expérience de la mise en place du cluster et de comment tu fais du calcul partagé ?
 
melaure a dit:
Pourras-tu partager ton expérience de la mise en place du cluster et de comment tu fais du calcul partagé ?
Oui, c'est un peu l'idée.
C'est vrai que ça fait rire, mais j'ai aucune expérience de gestion de cluster... C'est pour ça que des gens d'Apple vont bientôt venir au labo pour le set-up.

En fait, mes problèmes sont en général des 'embarrassingly parallel computations' en ce sens que le caractère parallèle des calculs est vraiment réduit:
Je simule des particules, elles sont indépendantes, de même que leur effet sur la matière: on a simplement sommation des effets.
RQ: le cas 'standard' du calcul massivement parallèle, c'est soit dans le domaine de la gestion de base de donnée lourde, soit quand les 'évènements' sont liés, exemple en hydrodynamique: par exemple dans un Y, ce qui arrive d'un coté du tuyau a un impact sur ce qui arrive de l'autre côté, et à la jonction faut tenir compte de l'ensemble, etc...

Dans mon cas, c'est simple: si je simule 100 milliards de particules en 10 jours sur une machine, j'obtiens strictement le même résultat en 1 jour si j'ai 10 machines équivalentes en baterie...
Reste quelques soucis:
comment gérer les tâches, par exemple lancer, depuis le Xserve, un job qui sera exécuté sur les 15 G5, en répartissant la charge de travail puis en récupérant les résultats (et en les mettant en forme). En gros, le but c'est de rendre la chose aussi transparente que possible pour l'utilisateur. Quand un programme est compilé dans cette optique (par exemple avec MPI), on a de jolis utilitaires pour faire ça (pooch par exemple). Si ce n'est pas le cas, soit on improvise (shell script - Applescript peut-être?), soit on transforme le code pour qu'il supporte MPI (pas ma tasse de thé, mais bon, si j'arrive à avoir des étudiants motivés, c'est sans doute un bon sujet de stage).
Dans ce second cas, il faut penser à la division du travail en batches exécutables sur les divers noeuds, mais le problème essentiel est la reconstruction d'un fichier de sortie unique à la fin des calculs.

J'ai d'autres contraintes, par exemple le cluster devra être attaquable à distance par les collègues qui viendront exécuter leurs codes chez nous. Faudra gérer ça aussi.

Je ne suis pas inquiet car je sais que des solutions existent (dans le monde Linux par exemple, Condor?). Reste qu'il faut les mettre en oeuvre, et essayer - si possible - de tirer au mieux profit du côté Mac de la chose (si en plus c'est convivial...).

Bon, c'est un résumé rapide du contexte. Je pense à terme faire une page dédiée au cluster, sa vie, son oeuvre, etc... Faut du temps, c'est tout...
Reste que pour moi c'est important, car si ça peut motiver des étudiants à venir chez moi, c'est tout bon...
wink.gif
 
Vi, j'ai vu...
' Little Big Mac ' c'est adopté..
wink.gif

Bon, quand c'est qu'ils viennent me l'installer, maintenant ?
confused.gif

Pasque c'est pas tout, mais faut que ça bosse maintenant !
laugh.gif