Superuser

Autor Thema: Cray anwenden + Visualisierung  (Gelesen 11993 mal)

Offline Tschokko

  • Unix Guru
  • *****
  • Beiträge: 2325
    • Profil anzeigen
    • tschokko.de - Server, Storage, Netzwerk und weiße Katzen!
Cray anwenden + Visualisierung
« am: 28. April 2008, 12:42:28 »
Was mich mal sehr interessiere würde, wie sah die Anwendung einer Cray aus? Ich weiß lediglich, dass die großen Crays mit Vektorprozessoren häufig in der Klimaforschung als Supercomputer angewendet wurden. Nur weiß ich nicht wie das genau abgelaufen ist. Ich hab nur eine wage Vorstellungen wie so was funktioniert hat, d.h. man hat in irgendeiner Form (in welcher Form würde mich sehr interessieren) Daten bereitgestellt. Daraufhin hat man wohl Programme laufen lassen die auf Basis dieser Informationen Berechnungen durchgeführt haben und vermutlich die Ergebnisse wieder in Form von Zahlen in Dateien (oder evtl auch Datenbanken???) abgelegt habe. Wie ging der Prozess dann aber weiter? Hat man diese Daten geschnappt und evtl. in ein Visualisierungssystem geladen der dann in 2D/3D die gewonnenen Informationen grafisch aufbereitet hat? Was waren das für Systeme zur Zeit der großen Crays? Etwa SGIs? Oder doch ganz andere Kisten?
Wie hat man so eine Cray eigentlich zur damaligen Zeit programmiert? Hackte man da mit nem seriellen Terminal drauf rum oder saß man bequem vor einer Workstation und programmierte in nem xterm die Maschine?

Ich würd einfach gern mehr wissen, wie derartige Geräte damals angewendet wurden, wie die Daten ein und ausflossen und wie diese wiederum weiter verarbeitet wurden.

Gruß Tschokko
RISC = Really Invented by Seymour Cray?
tschokko.de - Server, Storage, Netzwerk und weiße Katzen!

unixforum.net - Der Treffpunkt für UNIX-Fans

Cray anwenden + Visualisierung
« am: 28. April 2008, 12:42:28 »

Offline stiefkind

  • Unix Bachelor
  • ***
  • Beiträge: 186
    • Profil anzeigen
    • Synapseninferno
Re: Cray anwenden + Visualisierung
« Antwort #1 am: 28. April 2008, 14:43:55 »
Servus Tschokko!

Was mich mal sehr interessiere würde, wie sah die Anwendung einer Cray aus? Ich weiß lediglich, dass die großen Crays mit Vektorprozessoren häufig in der Klimaforschung als Supercomputer angewendet wurden. Nur weiß ich nicht wie das genau abgelaufen ist.

Mach' dich mal schlau zum Thema "Finite Elemente Methode", kurz FEM:
http://de.wikipedia.org/wiki/Finite_Elemente

Stark abstrahiertes Grundprinzip, komplett losgelöst von irgendeiner Rechnerarchitektur: Du hast einen Knoten, an dem es eine Anzahl n unterschiedlicher Parameter gibt, die den Knoten beschreiben. Um die Parameter alle auszurechnen, brauchst du auch eine Anzahl n Gleichungen. Diese Gleichungen sind üblicherweise von höherer Ordnung (welche auch wieder von der Anzahl n Variablen abhängt). Aus dem Mathematik-Unterricht sollte man wissen, wie man solche Gleichungssysteme löst: Du stellst alle so um, dass lauter Gleichungen der Art:

 ax + by + cz + d = 0

entstehen. Die Gleichung hat 3 Unbekannte x, y,z und 4 Konstanten a, b, c und d. Jetzt kannst du die Koeffizienten a, b, c und d von allen Gleichungen in eine Matrix setzen und darauf rechnen. Und schon arbeitest du mit Vektoren. Ein Vektorrechner hat nun spezielle Einheiten (Register, Rechenwerk etc.), die das Arbeiten mit Vektoren erleichtern.

Das heisst, alle Probleme, die man auf solche Gleichungssysteme -- und damit auf Vektorrechnung -- zurückführen kann, sind gut bis sehr gut geeignet als Last für eine Cray. In der Wettervorhersage und Klimaforschung legt man zB. ein Gitternetz über ein Stück Erdoberfläche und errechnet für jeden Gitterknoten die Parameter. Natürlich sind die einzelnen Knoten voneinander abhängig. Bei Crashtests legt man das Gitter über die Autokarosserie und errechnet ebenfalls die Parameter in den Knoten. Anspruchsvoll aber nach gleichem Prinzip ist alles, was unter den Begriff "Dynamik von Flüssigkeiten" fällt.

Je dichter das Gitternetz ist, desto genauer die Berechnung. Aber auch desto größer der Rechenaufwand, weil die Anzahl der Knoten exponentiell steigt. Ich meine, kürzlich gelesen zu haben, dass der Deutsche Wetterdienst in den 60er mit einem Gitter von um die 350km Seitenlänge anfing und im Moment wo bei 30km ist. Was insbesondere die Genauigkeit der Kurzfristprognose deutlich verbesserte.

wolfgang

Offline Tschokko

  • Unix Guru
  • *****
  • Beiträge: 2325
    • Profil anzeigen
    • tschokko.de - Server, Storage, Netzwerk und weiße Katzen!
Re: Cray anwenden + Visualisierung
« Antwort #2 am: 28. April 2008, 15:11:23 »
Hallo Wolfgang,

danke für die ausführliche Antwort. :) Neben dem fachlichen (dein Beitrag) würde mich aber inbesonders auch das drumm herum um eine Cray interessieren. Mit welchen Mitteln / Systeme hat man die Geräte programmiert? Etwa auf nem Terminal direkt auf der Cray, oder doch erst auf einer Workstation und dann die Jobs auf der Cray gestartet? Wie sahen / sehen die Inputs der Maschine aus, sprich hat man einfach lokal Dateien abgelegt in denen die Informationsgrundlage für die Berechnungen gespeichert waren? Was passierte nach der Rechnerei, lagen die Ergebnisse wieder in Form von Zahlen in Dateien vor? Wurde diese Datei dann auf ein Visualisierungssystem übertragen und dort grafisch aufbereitet? Was für Visualisierungssystem kamen zu der Zeit in Frage? SGI, Digital/Dec, Sun?

Fragen über Fragen... ;D

Gruß Tschokko
RISC = Really Invented by Seymour Cray?
tschokko.de - Server, Storage, Netzwerk und weiße Katzen!

freeman

  • Gast
Re: Cray anwenden + Visualisierung
« Antwort #3 am: 28. April 2008, 18:32:59 »
Passt ja grad zum Thema: Cray goes Intel  :o :( ...

http://investors.cray.com/phoenix.zhtml?c=98390&p=irol-newsArticle&ID=1135744&highlight=


Na super, musste ja so kommen  >:( ...

Offline Tschokko

  • Unix Guru
  • *****
  • Beiträge: 2325
    • Profil anzeigen
    • tschokko.de - Server, Storage, Netzwerk und weiße Katzen!
Re: Cray anwenden + Visualisierung
« Antwort #4 am: 28. April 2008, 19:41:47 »
Tja, das ist halt unsere heutige Zeit. Es geht nur noch ums Geld und das die Aktien gut da stehen. Auch Cray muss zusehen wo es bleibt und darum verwundert es mich kaum, dass man mit Intel zusammen arbeitet. Alles was man heute entwickelt gleicht immer mehr Wegwerfprodukten (typisch Amerikanisch halt), ein paar Jahre ist das Zeug gut und danach wandert es aufm Schrott. Schade eigentlich, jetzt wo ich mal gesehen hab, was es für erhaltenswerte Maschinen von Cray / CDC / usw. gibt und was da für ein Erfindergeist und eine Igenieursleistung drinn steckt. Ich bin immer noch schwer beeindruckt !

Trotzdem weiß ich immer noch nicht, worauf man eine Cray programmiert hat, mit welchen Geräten man visualisiert hat und wie in etwa der Ablauf war. ;)

Gruß Tschokko
RISC = Really Invented by Seymour Cray?
tschokko.de - Server, Storage, Netzwerk und weiße Katzen!

freeman

  • Gast
Re: Cray anwenden + Visualisierung
« Antwort #5 am: 28. April 2008, 21:35:40 »
Tja, das ist halt unsere heutige Zeit. Es geht nur noch ums Geld und das die Aktien gut da stehen. Auch Cray muss zusehen wo es bleibt und darum verwundert es mich kaum, dass man mit Intel zusammen arbeitet. Alles was man heute entwickelt gleicht immer mehr Wegwerfprodukten (typisch Amerikanisch halt), ein paar Jahre ist das Zeug gut und danach wandert es aufm Schrott. Schade eigentlich, jetzt wo ich mal gesehen hab, was es für erhaltenswerte Maschinen von Cray / CDC / usw. gibt und was da für ein Erfindergeist und eine Igenieursleistung drinn steckt. Ich bin immer noch schwer beeindruckt !

Trotzdem weiß ich immer noch nicht, worauf man eine Cray programmiert hat, mit welchen Geräten man visualisiert hat und wie in etwa der Ablauf war. ;)

Gruß Tschokko



Also ich bin ja leider auch nur privater HPC-Fan  ;), aber ich denke man hat hauptsächlich in Fortran und später C/C++ programmiert und das meiste "von Hand"  :D :D ...
Viele werden wahrscheinlich auch ihre eigenen, speziellen Applikationen selber geschrieben haben, direkt im COS bzw. Unicos.
Außer den beiden gab es scheinbar noch ein OS namens CTSS (http://en.wikipedia.org/wiki/Cray_Time_Sharing_System).
Also beim Earth Simulator in good-old Japan wird/wurde meines Wissens nach eine Onyx(2 oder 3k?) von SGI zur Visualisierung genommen.
Klar, vor der PC-Graka-Flut gab es ja außer SGI nicht viele die "3D" gut konnten, da kam auch keine HP/SUN/IBM Workstation mit  :) ...
Beim "Ablauf" spielt halt auch noch das Storage, bzw. die Sicherungsthematik eine Rolle (richtig schöne fette DLT/LTO-Silos/Libraries von Storagetek oder IBM oder ...), Plattentechnisch wird's wahrscheinlich nur FC-SANs gegeben haben wegen extrem viel I/O Bedarf  ;) ...

freeman

  • Gast
Re: Cray anwenden + Visualisierung
« Antwort #6 am: 28. April 2008, 21:36:43 »
Ach so: Danke noch für das SX-5 Bild Tschokko, hab die Unterhosen schon gewechselt  :D :D ;) ... Gruß!

Offline Tschokko

  • Unix Guru
  • *****
  • Beiträge: 2325
    • Profil anzeigen
    • tschokko.de - Server, Storage, Netzwerk und weiße Katzen!
Re: Cray anwenden + Visualisierung
« Antwort #7 am: 28. April 2008, 21:55:56 »
Ach so: Danke noch für das SX-5 Bild Tschokko, hab die Unterhosen schon gewechselt  :D :D ;) ... Gruß!
Oh ja, glaub mir da bin ich aber auch sabbernd davor gestanden. ;) Das ist schon eine echt schnittige Kiste. :) Bin mal gespannt, ob die auch mal in Betrieb gehen wird. ;D Ausgestattet ist die Kiste wohl gut...

Gruß Tschokko
RISC = Really Invented by Seymour Cray?
tschokko.de - Server, Storage, Netzwerk und weiße Katzen!

Offline stiefkind

  • Unix Bachelor
  • ***
  • Beiträge: 186
    • Profil anzeigen
    • Synapseninferno
Re: Cray anwenden + Visualisierung
« Antwort #8 am: 28. April 2008, 23:01:24 »
Oh ja, glaub mir da bin ich aber auch sabbernd davor gestanden. ;) Das ist schon eine echt schnittige Kiste. :) Bin mal gespannt, ob die auch mal in Betrieb gehen wird. ;D Ausgestattet ist die Kiste wohl gut...

Zur SX-5: Drei CPUs, ein vierter Sockel wäre noch da. Ich glaube 8GB RAM, aufgeteilt auf zwei Schränke. Was 1998 durchaus eine Menge war :-)  Wie die CPUs getaktet sind, weiß ich nicht. Sind soweit ich weiß auch Vektor-CPUs.

Inbetriebnahme: Wir sind dabei. Die Maschine ist luftgekühlt, das können wir -- zumindest halbwegs, vor allem im Winter -- im Keller hinkriegen. Problem ist, dass wir zu der Maschine fast keine Hardware-Doku geschweige denn Maintenance-Doku haben. Software ist zwar da (hat einen Console-Laptop und einen Maintenance-Laptop drin, beides installiert und funktionsfähig), aber ist halt weitgehend Blindflug  und reverse engineering. Im Moment laufen wohl grundlegende Tests beim Einschalten nicht durch, wir vermuten eine fehlende oder falsche Steckverbindung zwischen den Schränken. Die war zum Transport ja zerlegt in fünf Teile.

Zum Programmieren und Visualisieren mit Cray schreibe ich morgen noch was, da komme ich heute nicht mehr dazu. Zu Storage/SAN kann ich auch noch was schreiben. Die C90 zB. hatte in der Maschine eine Solid State Disk für Zwischenergebnisse (die Boards unter der CPU mit den Schläuchen dran) und eine T3D als "Vorrechner" für I/O (war aber eine eher untypische Kombination).

wolfgang

Offline Tschokko

  • Unix Guru
  • *****
  • Beiträge: 2325
    • Profil anzeigen
    • tschokko.de - Server, Storage, Netzwerk und weiße Katzen!
Re: Cray anwenden + Visualisierung
« Antwort #9 am: 29. April 2008, 10:21:12 »
Ach ja, mal eine Zwischenfrage. Gibt es auf UNICOS Seite sowas wie "top" ? Ich würde nämlich gerne sehen wie ich die CPUs der Y-MP auslaste. ;D

Gruß Tschokko
RISC = Really Invented by Seymour Cray?
tschokko.de - Server, Storage, Netzwerk und weiße Katzen!

Offline Fleedwood

  • Unix Guru
  • *****
  • Beiträge: 751
    • Profil anzeigen
Re: Cray anwenden + Visualisierung
« Antwort #10 am: 29. April 2008, 10:30:03 »
Passt ja grad zum Thema: Cray goes Intel  :o :( ...

http://investors.cray.com/phoenix.zhtml?c=98390&p=irol-newsArticle&ID=1135744&highlight=


Na super, musste ja so kommen  >:( ...

auch kein großer Stilbruch, immerhin hat Cray ja auch schon Opterons verbaut. Und im Endeffekt ist das konsequent
weitergemacht. Standard CPUs (bei der T3D waren es damals Alphas CPUs) ordentlich zusammenfügen, um möglichst
viel  Bumms rauszuholen.

Thomas.
life is too short to spend debugging Intel parts [Van Jacobson]

Offline stiefkind

  • Unix Bachelor
  • ***
  • Beiträge: 186
    • Profil anzeigen
    • Synapseninferno
Re: Cray anwenden + Visualisierung
« Antwort #11 am: 29. April 2008, 11:56:47 »
Passt ja grad zum Thema: Cray goes Intel  :o :( ...

auch kein großer Stilbruch, immerhin hat Cray ja auch schon Opterons verbaut. Und im Endeffekt ist das konsequent weitergemacht. Standard CPUs (bei der T3D waren es damals Alphas CPUs) ordentlich zusammenfügen, um möglichst viel  Bumms rauszuholen.

CPU-Entwicklung ist nochmal eine Größenordnung teurer, als Systementwicklung.

Und eine Sun Enterprise 10000 ist der direkte Nachfolger einer CS6400 (CS für Cray Server). Das war der Versuch der Firma Cray, ein SMP-System auf Basis von UltraSPARC-Chips aufzubauen. Ähnlich der T3D/T3E, die -- wie oben erwähnt -- auf DEC Alpha basiert.

Und: Auch aus Intel-CPUs kann man performante und aufgeräumte Systeme bauen, die auch nicht zwingend IBM-PC kompatibel sein müssen. Tut nur kaum jemand :)

wolfgang

Offline Tschokko

  • Unix Guru
  • *****
  • Beiträge: 2325
    • Profil anzeigen
    • tschokko.de - Server, Storage, Netzwerk und weiße Katzen!
Re: Cray anwenden + Visualisierung
« Antwort #12 am: 29. April 2008, 12:48:00 »
Und: Auch aus Intel-CPUs kann man performante und aufgeräumte Systeme bauen, die auch nicht zwingend IBM-PC kompatibel sein müssen. Tut nur kaum jemand :)
Fehlt nur noch, das man die Systeme auch schick verpackt. ;) Weil die aktuellen Dinger von Cray sehen auch nur aus wie bunte 19" Schränke. ;)

Zitat
Zum Programmieren und Visualisieren mit Cray schreibe ich morgen noch was, da komme ich heute nicht mehr dazu. Zu Storage/SAN kann ich auch noch was schreiben. Die C90 zB. hatte in der Maschine eine Solid State Disk für Zwischenergebnisse (die Boards unter der CPU mit den Schläuchen dran) und eine T3D als "Vorrechner" für I/O (war aber eine eher untypische Kombination).
Die unteren Boards in der C90 sind eine Solid State Disk? Ist ja stark. :) Und ich dachte das gehört irgendwie zu den CPUs dazu. :) Was hat die SSD für ne Kapazität in eurer C90 ?

Gruß Tschokko
RISC = Really Invented by Seymour Cray?
tschokko.de - Server, Storage, Netzwerk und weiße Katzen!

Offline Fleedwood

  • Unix Guru
  • *****
  • Beiträge: 751
    • Profil anzeigen
Re: Cray anwenden + Visualisierung
« Antwort #13 am: 29. April 2008, 13:49:51 »
Die unteren Boards in der C90 sind eine Solid State Disk? Ist ja stark. :) Und ich dachte das gehört irgendwie zu den CPUs dazu. :) Was hat die SSD für ne Kapazität in eurer C90 ?

32GB stand vorne dran, iirc.

Thomas.
life is too short to spend debugging Intel parts [Van Jacobson]

Offline Ebbi

  • Global Moderator
  • Unix Guru
  • *****
  • Beiträge: 2413
  • Ubergeek
    • Profil anzeigen
Re: Cray anwenden + Visualisierung
« Antwort #14 am: 29. April 2008, 15:11:26 »
WIMRE auch. ;D