Willkommen, Gast
Benutzername: Passwort: Angemeldet bleiben:

THEMA: Cyborg

Cyborg 30 Mai 2018 11:46 #34246

KI diagnostiziert Hautkrebs präziser als menschliche Ärzte Diese Art von KI ist mittlerweile Gegenwart. Ich bin mir nicht ganz sicher, aber ich glaube das CNN Diagnose-Programm baut auf Watson auf. Wie auch immer, wir haben diese selbstlernenden KI mittlerweile in sehr vielen Bereichen: Sie spielen Go, Schach, Shogi, sie helfen Physikern Experimente zu kreieren und sie kommen immer mehr in der Medizin zum Einsatz. In allen Bereichen erzielen sie nach einer kurzen Lernphase - Googles Alpha Zero brauchte 4 Stunden(!), um besser Schach als alle Menschen und alle bisherigen Engines zu spielen - übermenschliche Ergebnisse.

Sie sind besser als wir, und machen uns damit besser als wir es je ohne sie sein könnten.

S = k log W
S = k log W
Dieses Thema wurde gesperrt.

Cyborg 30 Mai 2018 12:36 #34250

  • stm
  • stms Avatar
  • Offline
  • Benutzer ist gesperrt
  • Benutzer ist gesperrt
  • Beiträge: 883
  • Dank erhalten: 173

Madouc99 schrieb: Sie sind besser als wir, und machen uns damit besser als wir es je ohne sie sein könnten.

In welcher Hisicht "besser"? Besser im Hinblick auf den Gegensatz gut-böse oder im Hinblick auf den Gegensatz gut-schlecht? Man hat ja manchmal den Eindruck, dass die technischen Fertigkeiten zunehmend mit moralischen Konnotationen aufgeladen sind.
Dieses Thema wurde gesperrt.

Cyborg 30 Mai 2018 16:01 #34270

stm schrieb:

Madouc99 schrieb: Sie sind besser als wir, und machen uns damit besser als wir es je ohne sie sein könnten.

In welcher Hisicht "besser"? Besser im Hinblick auf den Gegensatz gut-böse oder im Hinblick auf den Gegensatz gut-schlecht? Man hat ja manchmal den Eindruck, dass die technischen Fertigkeiten zunehmend mit moralischen Konnotationen aufgeladen sind.

Das geht doch eigentlich aus meinem Text hervor, besonders aus der Vokabel "übermenschlich". Sie sind besser im Sinne von leistungsfähiger. Keinesfalls im ethischen Sinne.

Edit sagt: Vielleicht könnten uns solche KIs doch irgendwann dahingehend unterstützen auch ethisch besser zu werden. Und zwar dann wenn durch sie Gesellschaftsformen entstehen können, in der der Mensch nicht nur entfremdender Arbeit nachgeht, sondern mehr Zeit und Gelegenheit für schöpferische Arbeiten hat. Vielleicht entwickeln sie auch völlig neue Wirtschaftstheorien, wie z.B. folgende Idee: Wieso zahlen wir eigentlich Arbeitslosenkassenbeiträge? Warum legt man diese Kosten nicht komplett auf alle Betriebe in Deutschland um, und zahlt jedem Arbeitslosen ein Mindestgehalt? So gäbe es keinerlei Anreiz für Wirtschaft und Industrie Menschen nicht zu beschäftigen, denn ob sie faul zu Hause sitzen oder brav in die Firma arbeiten kommen macht dann aus Kostensicht keinen Unterschied mehr.

S = k log W
S = k log W
Dieses Thema wurde gesperrt.

Cyborg 30 Mai 2018 16:11 #34271

.

Madouc99 schrieb: Sie sind besser im Sinne von leistungsfähiger.

Die Werkzeuge der Steinzeitmenschen waren auch schon leistungsfähiger als die Steinzeitmenschen. Wo liegt der Unterschied?
.

Ohne etwas wäre nicht einmal nichts

Ohne etwas wäre nicht einmal nichts

Dieses Thema wurde gesperrt.

Cyborg 30 Mai 2018 16:22 #34272

badhofer schrieb: .

Madouc99 schrieb: Sie sind besser im Sinne von leistungsfähiger.

Die Werkzeuge der Steinzeitmenschen waren auch schon leistungsfähiger als die Steinzeitmenschen. Wo liegt der Unterschied?
.

Interessante Theorie. Also wenn ich einen Faustkeil neben einen Granitblock lege, dann wird daraus von ganz alleine eine künstlerisch ansprechende Statue? Mal kurz nachdenken: Nein, die Werkzeuge der Steinzeitmenschen sind ohne den Steinzeitmenschen nichts. Die neuen KI und selbstlernenden Netzwerke werden sogar besser wenn sie nicht zuerst vom Menschen lernen, sondern nur von sich selbst (Siehe AlphaGo)

S = k log W
S = k log W
Dieses Thema wurde gesperrt.

Cyborg 30 Mai 2018 16:26 #34273

  • stm
  • stms Avatar
  • Offline
  • Benutzer ist gesperrt
  • Benutzer ist gesperrt
  • Beiträge: 883
  • Dank erhalten: 173

Madouc99 schrieb: Vielleicht entwickeln sie auch völlig neue Wirtschaftstheorien, wie z.B. folgende Idee: Wieso zahlen wir eigentlich Arbeitslosenkassenbeiträge? Warum legt man diese Kosten nicht komplett auf alle Betriebe in Deutschland um, und zahlt jedem Arbeitslosen ein Mindestgehalt? So gäbe es keinerlei Anreiz für Wirtschaft und Industrie Menschen nicht zu beschäftigen, denn ob sie faul zu Hause sitzen oder brav in die Firma arbeiten kommen macht dann aus Kostensicht keinen Unterschied mehr.

Mist. Jetzt hast du der KI ihre beste Idee schon geklaut. :)
Folgende Benutzer bedankten sich: Madouc99
Dieses Thema wurde gesperrt.

Cyborg 30 Mai 2018 17:08 #34276

.

Madouc99 schrieb: Nein, die Werkzeuge der Steinzeitmenschen sind ohne den Steinzeitmenschen nichts.

Und was ist AlphaGo ohne Menschen? Bring das Programm auf eine einsame Insel ohne Menschen und schau nach 10 Jahren nach, was daraus geworden ist?
.

Ohne etwas wäre nicht einmal nichts

Ohne etwas wäre nicht einmal nichts

Dieses Thema wurde gesperrt.

Cyborg 30 Mai 2018 18:35 #34290

  • Cyborg
  • Cyborgs Avatar
  • Offline
  • Benutzer ist gesperrt
  • Benutzer ist gesperrt
  • Beiträge: 1339
  • Dank erhalten: 321
Madouc99 schrieb:

Vielleicht entwickeln sie auch völlig neue Wirtschaftstheorien, wie z.B. folgende Idee: Wieso zahlen wir eigentlich Arbeitslosenkassenbeiträge? Warum legt man diese Kosten nicht komplett auf alle Betriebe in Deutschland um, und zahlt jedem Arbeitslosen ein Mindestgehalt? So gäbe es keinerlei Anreiz für Wirtschaft und Industrie Menschen nicht zu beschäftigen, denn ob sie faul zu Hause sitzen oder brav in die Firma arbeiten kommen macht dann aus Kostensicht keinen Unterschied mehr.

Funktioniert nicht in einer globalisierten Welt, die vom Kapitalismus dominiert wird. Jede Firma, die das macht bzw. von ihrem Gesetzgeber aufgezwungen bekommt, geht aufgrund des Wettbewerbsdrucks gnadenlos unter. Aber das ist dir sicher selber klar. Den Kommunismus wollen die Leute nicht.
Der Kapitalismus, so ambivalent er sein mag, so dunkel seinen Facetten sein mögen, wird mit seinem Konkurrenz- und Wettbewerbsdenken ein Garant, ein Säule für transhumanistische Entwicklungen und für den Durchbruch der KI sein. Er wird wohl auch einer der Geburtshelfer harter KI, neben Forscherdrang, Neugierde und dem Streben nach wissenschaftlicher Erkenntnis. Wissenschaft schreitet auch in Sachen KI voran, wenn neue Fakten, Daten und Möglichkeiten dazukommen, was laufend geschieht bzw. wenn zu gegebener Fakten- und Datenlage eine junge Generation von Wissenschaftlern ganz neue Fragen stellt. Beides sehe ich gegeben.
Und der Ehrgeiz der jungen Wilden in Silicon Valley etc. ist groß. Auch sie gehorchen wie Forscher zu allen Zeiten den Gesetzen der Aufmerksamkeitsökonomie und jagen nach Reputationsdividenden.
Die Frage ist nicht mehr, ob harte KI kommt, sondern nur noch wann es soweit sein wird - jedenfalls mein Einschätzung. Und jeder wird der Erste sein wollen. Dabei werden die Amerikaner Angst vor den Chinesen haben und umgekehrt. Auch Europa macht seine Anstrengungen, wird aber wohl aufgrund der restriktivsten Gesetze eher das Nachsehen haben. Die Russen werden auch nicht schlafen, auch nicht die Japaner oder Koreaner. Ob den guten Kim in Nordkorea schon mal einer auf das Potential einer dienlichen KI aufmerksam gemacht hat?
Ich verstehe Musk, Hawkings und co, wenn sie KI als weitaus größere Herausforderung und auch Bedrohung sehen als alle ABC-Waffen der Welt.

Das größte Glück und den tiefsten Sinn erfahren wir, wenn unser Sehnen, Suchen und Finden in einem einzigen Augenblick zeitgleich präsent sind. Der nächste Augenblick ist dann nur noch schnödes Haben. (Cyborg, am Innufer, 14. April 2018)
Das größte Glück und den tiefsten Sinn erfahren wir, wenn unser Sehnen, Suchen und Finden in einem einzigen Augenblick zeitgleich präsent sind. Der nächste Augenblick ist dann nur noch schnödes Haben. (Cyborg, am Innufer, 14. April 2018)
Dieses Thema wurde gesperrt.

Cyborg 30 Mai 2018 18:44 #34292

  • Ralf
  • Ralfs Avatar
  • Besucher
  • Besucher
Warum können wir uns nicht aus der Sichtweise unserer wohl beherrschenden Prioritäten lösen? Für mich steht immer an erster Stelle die Frage:
Was ist uns wirklich wichtig und wohin soll unser Weg gehen?
Ist der Mensch nicht viel mehr als nur ein biotechnisches Produkt?
Der Kapitalismus ist ein Dinosaurier, welcher untergehen wird.
Dieses Thema wurde gesperrt.

Cyborg 30 Mai 2018 18:57 #34296

  • Cyborg
  • Cyborgs Avatar
  • Offline
  • Benutzer ist gesperrt
  • Benutzer ist gesperrt
  • Beiträge: 1339
  • Dank erhalten: 321
Ralf schrieb:

Der Kapitalismus ist ein Dinosaurier, welcher untergehen wird.


Auf den Phönix, der dann der Asche des verbrannten und untergegangenen Dinosaurier namens Kapitalismus entsteigen wird, bin ich gespannt. Ob er dir so gefallen wird? Ich tippe eher auf ein Monster als einen friedlichen Geist. Klar, sein müsste das nicht, aber die menschlichen Rahmenbedingungen (Conditio humana) änderen sich nicht. Die künftige komplexe hochtechnologische Welt wird den heutigen Menschen überfordern, ihm über den Kopf wachsen. Da braucht es gar keine harte KI, da reicht es, die heutigen Entwicklungen mit weicher KI in die Zukunft zu extrapolieren und davon auszugehen, dass der Mensch sich selber nicht verändert (m.E. unrealistische Annahme).

Das größte Glück und den tiefsten Sinn erfahren wir, wenn unser Sehnen, Suchen und Finden in einem einzigen Augenblick zeitgleich präsent sind. Der nächste Augenblick ist dann nur noch schnödes Haben. (Cyborg, am Innufer, 14. April 2018)
Das größte Glück und den tiefsten Sinn erfahren wir, wenn unser Sehnen, Suchen und Finden in einem einzigen Augenblick zeitgleich präsent sind. Der nächste Augenblick ist dann nur noch schnödes Haben. (Cyborg, am Innufer, 14. April 2018)
Dieses Thema wurde gesperrt.

Cyborg 30 Mai 2018 20:41 #34302

.

Cyborg schrieb: Und der Ehrgeiz der jungen Wilden in Silicon Valley etc. ist groß.

Na ja, bei so einem Ehrgeiz der jungen Wilden muss es ja was werden B)
Der ist echt gut. Der ist fast so gut wie der vom Mann, der Garant für den Erfolg des Apolloprogramm war, weil er mit dem Besen in der Hand mitgeholfen hat, einen Mann auf den Mond zu bringen :) :) :)
.
.

Cyborg schrieb: Die Frage ist nicht mehr, ob harte KI kommt, sondern nur noch wann es soweit sein wird

Diesen Satz hast du hier im Thread und in einigen anderen sicher schon 200 x geschrieben. Weißt du, warum ein Pfarrer von der Kanzel immer dasselbe predigen muss? Damit er selber nicht vom Glauben abfällt :evil:
.

Ohne etwas wäre nicht einmal nichts

Ohne etwas wäre nicht einmal nichts

Dieses Thema wurde gesperrt.

Cyborg 30 Mai 2018 22:48 #34311

  • Cyborg
  • Cyborgs Avatar
  • Offline
  • Benutzer ist gesperrt
  • Benutzer ist gesperrt
  • Beiträge: 1339
  • Dank erhalten: 321
"Selbst Finnland ist bereits erheblich weiter“
China will den Vereinigten Staaten bis 2030 den Rang als führende KI-Nation ablaufen. Und Deutschland? Wissenschaftler appellieren an die Bundesregierung, eine Strategie für die Technologie vorzulegen.


Politik und Industrie sind gefordert, denn:

Doch es ist schwer, gute Leute zu halten. „Der Brain Drain findet statt: Die Leute gehen in die Vereinigten Staaten, weil sie dort riesige Gehälter bekommen und eine tolle Umgebung für Wissenschaftler“, sagt Gerhard Lakemeyer, Präsident der europäischen KI-Forschervereinigung EurAI. Er schlägt ein „CERN für KI“ vor analog zum gleichnamigen Spitzenlabor für Kernphysiker in Genf, an dem gut 20 europäische Staaten beteiligt sind.


www.faz.net/aktuell/wirtschaft/kuenstlic...-berge-15610327.html

Das größte Glück und den tiefsten Sinn erfahren wir, wenn unser Sehnen, Suchen und Finden in einem einzigen Augenblick zeitgleich präsent sind. Der nächste Augenblick ist dann nur noch schnödes Haben. (Cyborg, am Innufer, 14. April 2018)
Das größte Glück und den tiefsten Sinn erfahren wir, wenn unser Sehnen, Suchen und Finden in einem einzigen Augenblick zeitgleich präsent sind. Der nächste Augenblick ist dann nur noch schnödes Haben. (Cyborg, am Innufer, 14. April 2018)
Dieses Thema wurde gesperrt.

Cyborg 30 Mai 2018 23:16 #34313

Cyborg schrieb
"Selbst Finnland ist bereits erheblich weiter“


Nun ja, muss denn Deutschland überall führend sein ?
Hier leben ca. 1 Prozent der Menschheit.
Man kann ja auch anderen Nationen fortschrittliche Technologie gönnen.
Wir können nicht überall Markführer sein.

Internationale Kooperation ist für die Zukunft nötigt, um die Probleme der Menschheit zu lösen.
Wenn hierbei Feindbilder (wie in deinem Link) mit anderen Nationen im Wettlauf mit dem technischen Fortschritt aufgebaut werden, na dann Prost Mahlzeit Deutschland.

Wenn nämlich China oder Russland mit ihrem ungeheuren Potential erstmal richtig erwachen und genauso denken, dann kann es sehr schnell passieren, dass Deutschland zu einer unbedeutenden wirtschaftlichen Nation mutiert.

So einem Kräftemessen wäre Deutschland dann nicht mehr gewachsen.
Also lieber vorher die Weichen richtig stellen, nähmlich auf Kooperation und nicht Konfrontation.
Lieber auf dem Teppich bleiben und sich nicht überbewerten.
Ohne den Rest der Welt wären wir ein armes Land, und das im wahrsten Sinne des Wortes.

Gene brauchen Vielfalt und der Grips auch
Gene brauchen Vielfalt und der Grips auch
Dieses Thema wurde gesperrt.

Cyborg 30 Mai 2018 23:26 #34314


Ohne etwas wäre nicht einmal nichts

Ohne etwas wäre nicht einmal nichts

Dieses Thema wurde gesperrt.

Cyborg 31 Mai 2018 07:13 #34330

  • stm
  • stms Avatar
  • Offline
  • Benutzer ist gesperrt
  • Benutzer ist gesperrt
  • Beiträge: 883
  • Dank erhalten: 173
Hallo Badhofer,
ich bin zwar nicht Cyborg, aber was du da verlinkt hast, ist Wald- und Wiesenpsychologie. Da solltest du nicht zu viel drauf geben.
Dieses Thema wurde gesperrt.

Cyborg 31 Mai 2018 09:50 #34333

.
stm
Es zeigt aber doch, dass man sich da nicht so ganz so einig ist, ob man auf der Grundlage von Zahlen blind Entscheidungen treffen soll. Und das wird auch kaum gemacht.
.

Ohne etwas wäre nicht einmal nichts

Ohne etwas wäre nicht einmal nichts

Dieses Thema wurde gesperrt.

Cyborg 31 Mai 2018 10:29 #34334

Hallo Badhofer,
ich fürchte, dass wird eher so etwas wie eine Steilvorlage für Cyborg. Tatsächlich ist die Psychologie hier bestenfalls etwas oberflächlich. Ich finde, das hier Gerd Gigerenzer schon etwas bessere Einsichten liefert. Zusammengefasst lässt sich aus seinen Arbeiten ableiten, dass wir Heuristik-Macher sind. Wir könnten unser tägliches Leben überhaupt nicht meistern, wenn wir nicht ganz überwiegend selektiv wahrnehmen. Es ist darüber hinaus bis zu einem gewissen Grad schwierig festzustellen, welche Informationen in einem Sachverhalt relevant sind. Deswegen bringen bis zu einem gewissen Grad intuitive Entscheidungen mehr, weil sie eher von irrelevanten Informationen nicht berührt sind. Aber: Es gibt dennoch eine Grenze, ab der der Besitz von relevanten Informationen die Qualität der intuitiven Entscheidungen übertrifft.
Ich habe mal gelesen, dass Spitzenmanager/innen in ihrem Arbeitsbereich ca. alle 2 Minuten eine Entscheidung treffen müssen. Dass diese Entscheidung nicht wirklich Ergebnis eines tiefen Nachdenkens sein kann, ist offensichtlich. Jetzt beißt sich auch sozusagen die Aussage in dem Artikel in den Schwanz. Tiefe Nachdenker würden wohl kaum Spitzenpositionen belegen, weil sie mit großer Sicherheit als entscheidungsschwach eingestuft würden (es sei denn, sie bedienen sich Heuristiken).
Die Krux bei der Sache: Heuristiken leben vom Erfahren bzw. erlebtem Funktionieren und damit am Ende nicht unbedingt innovativ. Die Entscheidungen sind auch besser als Halbwissen und sind auch überzufallsfällig richtig, aber eben auch nicht immer richtig. Eine KI würde wohl eher keine Heuristik anwenden, weil sie deren nicht Bedarf. Sie hat die relevanten Informationen bzw. kann Informationen entsprechend werten.



Dieses Thema wurde gesperrt.

Cyborg 31 Mai 2018 10:58 #34336

  • stm
  • stms Avatar
  • Offline
  • Benutzer ist gesperrt
  • Benutzer ist gesperrt
  • Beiträge: 883
  • Dank erhalten: 173

badhofer schrieb: Es zeigt aber doch, dass man sich da nicht so ganz so einig ist, ob man auf der Grundlage von Zahlen blind Entscheidungen treffen soll.

Ich denke schon, dass man sich einig ist, dass man besser keine blinden Entscheidungen trifft, auf welcher Grundlage auch immer. Zum anderen gibt es viele Entscheidungen, die ethischen Abwägungen verlangen. Hier helfen Zahlen nicht unbedingt weiter. Häufig wird es auch so sein, dass beides ineinander greift: Fragen der Optimierung, die sich beziffern lassen, und ethische Relevanz. Und da entscheidet dann auch wieder das Bauchgefühl: welches Gewicht hat der Profit und welches der Mensch.

D.Rajic schrieb: Eine KI würde wohl eher keine Heuristik anwenden, weil sie deren nicht Bedarf.

Das wiederum glaube ich nicht. Das zurzeit wohl erfolgreichste Konzept der neuronalen Netze ist in meinen Augen nichts anderes als in Technik gegossene Heuristik. Entscheidungen werden getroffen und korrigiert, bis höchste Präzision erreicht ist. Auch die KI muss erst lernen, welche Informationen relevant sind.
Dieses Thema wurde gesperrt.

Cyborg 31 Mai 2018 11:16 #34337

.
In unserer komplementären Welt ist es nicht möglich, immer richtig zu entscheiden denn jede Entscheidung trägt auch immer das Gegenteil in sich.
Die Für und Wider einer Entscheidung abzuwägen ist dann eher eine Sache des Bauchgefühls. Und auch das Abwägen, welche Seite der Entscheidung menschlicher ist, wird wohl eine Maschine nie können.

Du hast eine Familie mit einem 10 Jahre alten Kind. Eine fremde Familie ebenso. Beide gebt ihr eure Daten einer KI. Diese entscheidet aufgrund der Auswertung der Daten, dass dein Kind wesentlich besser zur fremden Familie passen würde und umgekehrt. Würdet ihr tauschen?
.

Ohne etwas wäre nicht einmal nichts

Ohne etwas wäre nicht einmal nichts

Dieses Thema wurde gesperrt.

Cyborg 31 Mai 2018 12:00 #34341

  • Cyborg
  • Cyborgs Avatar
  • Offline
  • Benutzer ist gesperrt
  • Benutzer ist gesperrt
  • Beiträge: 1339
  • Dank erhalten: 321
badhofer zu #34314:
Da hat es D.Rajic ja schon auf den Punkt gebracht!
Schon seit langem weiß man, dass relativ übersichtliche Frage- oder Problemstellungen gut mit analytischen Verfahren gelöst werden können, während komplexe Sacheverhalte eben bessere und schnellere Ergebnisse zeitigen mit heuristischen Verfahren (da rechne ich jetzt im weitesten Sinne und mal ganz schlampig in einen Topf geworfen auch Bauchgefühle und Intuition sowie sponatane Kreativität des Menschen dazu).
Aufgrund der zunehmenden Mächtigkeit künftiger KI bis hin zu harter wird es ihr aber in immer höherem Grade möglich sein, die heuristische Komponente der Problemlösung zu reduzieren und durch analystische zu ersetzen. D.Rajic hat es wunderbar auf den Punkt gebracht: Letztlich ist immer die analystische Methode die Beste, wenn die Werkzeuge und vor allem die Zeit zur Verfügung stehen.
Madoucs Beispiele in #32246 verdeutlichen dies. Die Medizin ist ein Paradebeispiel. Bisher stelle meist ein sehr erfahrener Arzt eine bessere Diagnose bei schwierigen und komplexen Krankheitsbildern als ein junger unerfahrener Arzt frisch von der Uni, der aber mit den neuesten Erkenntnissen in seiner Disziplin vertraut war. Nun wird zusehens KI eine immer bessere Diagnose stellen und darauf aufbauend eine Heiltherapie ableiten als selbst in dem idealisiert gedachten Falle, dass sich der alterfahrende und der junge, mit neuestem Wissen ausgestatte Arzt als Team der Aufgabe widmen würden.
Freilich bleibt die Frage nach der Ethik spannend. Mein Bauchgefühl sagt mir, dass KI (sogar schon künftige fortgeschrittene weiche KI) durchaus ethische Aspekte wird miteinbeziehen können. Harte KI wird in meinem Verständnis ohnehin ihre eigene Ethik haben, denn sie ist definitionsgemäß eine Entität mit Bewusstsein. Voraussetzung für eine Entität mit Bewusstsein, das halbwegs dem unseren vergleichbar ist, ist eine entsprechend komplexe Struktur. Das Substrat spielt m.E. keine Rolle. Im Klartext: Ob C oder Si spielt keine Rolle. Entsprechend komplexe Strukturen auf Si Basis bzw. event. auch alternativer Basis entstehen zusehens (siehe KNN oder Memristoren) und werden immer komplexer und leistungsfähiger.
Die ganz, ganz spannende Frage wird sein, inwieweit die Ethtik einer harten KI noch dem gleichen wird, was die Mehrheit der Menschen bzw. der Humanismus (gibt es den einen Humanismus überhaupt?) darunter versteht. Das kann, muss aber nicht davon abhängen, inwieweit es gelingen wird, die Saat-KI, aus der dann die erste harte KI der Welt entstehen wird, mit unseren axiologischen Vorstellungen zu "infizieren".
Meine Vermutung: Die erste harte KI wird auch die sein, die dann alle weiteren Entwicklungen auf diesem Planeten und im Sonnensystem prägen wird, da sie innerhalb kürzester Zeit sich weiter exponentiell entwickeln wird, was ihr die Kontrolle über auch unsere Aktivitäten gestatten wird (ich halte es für eine Illusion, dass wir dauerhaft harte KI für unsere Zwecke kontrollieren und nutzbar machen können...und ich halte es ganz ehrlich gesagt auch nicht für wünschenswert, weil ich da in Bezug auf das Kollektiv Menschheit viel zu pessimistisch, viel zu sehr Misanthrop bin).
Im Grund will ich damit auch sagen, dass ich es für sehr wahrscheinlich halte, dass die allererste KI (der Chinesen, Amis oder von sonst wem) dafür sorgen wird, dass eine zweite harte KI, quasi eine alternative Lösung gar nicht mehr entstehen kann. Das scheint in der Natur der Sache zu liegen.
Auch Bostrom vermutet, dass es nach dem Take-off (der Zeitpunkt, wo harte KI in der Welt sein wird) zu einer Intelligenzexplosion kommen wird und sich dann aufgrund exponentieller Entwicklungssteigerungen Dinge und Prozesse ereignen werden, von denen wir heute noch annehmen, dass sie Jahrhunderte Zeit in Anspruch nehmen würden.
Ich gehe davon aus, dass wir kurz (was ist kurz: es können Monate, Jahre, Jahrzehnte sein, jedoch m.E. nicht mehr Jahrhunderte) vor einem Punkt stehen, wo nichts mehr so sein wird als es war.
Und ganz neutral ohne jede moralisch-ethische Wertung: Wir werden weiter eine Entwicklung vorantreiben, deren weiterer Verlauf dafür sorgen wird, dass wir uns als Menschen aus dieser großen evolutionären Gleichung rauskürzen werden (dabei denke ich jedoch in diesem Zusammenhang nicht nur an das Kommen einer postbiologischen Entität, also harte KI, sondern an die transhumanistischen Veränderungen durch Gentechnik, Neuro- und Bioenhancement).
Wer das alles mit größter Sorge sieht, weil er gerne hätte, dass die Menschheit noch viele Jahrtausende in ihrer momentanen Konditionierung mit entsprechender Conditio humana diesen Planeten beglücken darf, der wird mit ansehen müssen, wie sie sich selber zur Schlachtbank führt, vergleichbar dem Spinnenmännchen der Schwarzen Witwe, das einem inneren Drang folgend seine Paarungspflicht erfüllt, um dann gefressen zu werden.
Tja, mein lieber badhofer, auch wenn du es nicht gerne hörst, so bleibe ich bei meiner Überzeugung und sage nun ganz bewusst zum 201. Male:
Harte KI wird kommen, es ist nur eine Frage der Zeit. ;)

PS: Solange wir noch die Kontrolle über weiche KI haben werden, wird gelten:
Ihr Einsatz für medizinische Zwecke wird ein Segen für die Patienten sein. Ihr Einsatz für militärische Zwecke wird ein Fluch für die Gegner sein, der sich einem Feind ausgesetzt sieht, der über diese KI verfügt.
An einem Punkt sind wir uns wohl einig: Weiche KI gibt es schon und sie wird immer mächtiger werden, immer geeigneter für viele Einsatzwecke. Stellt sich nicht da ohnehin die Frage, ob es überhaupt wünschenswert wäre, wenn die heutige Menschheit mit all ihrer kollektiven Beschränkung und ihrem kollektiven Egoismus hinsichtlich wichtiger langfristiger Prozesse, die ihr weiteres Schicksal und das der Biosphäre betreffen, noch lange die Möglichkeit hat, mit Hilfe immer leistungsfähiger weicher, kontrollierbarer KI die Zukunft zu gestalten? Ganz abgesehen davon, dass leistungsfähige weiche KI zu furchbaren Zwecken missbraucht werden kann, stellt sich auch die Frage, ob da nicht ohnehin eine Welt entstehen wird, in der wir nicht mehr heimisch sein können und wollen, weil wir einerseits unfähig wären, mit Hilfe weicher KI die Welt so einzurichten, dass sie für das Gesamtkollektiv Menschen lebenswert wäre (allenfalls für die Reichen und Mächtigen, die in ihrem Sinne operieren), da der Prozess trotz einzelner individueller guter Absichten auf kollektiver Ebene völlig entartete und entglitte, und wir aber auch andererseits weder willens noch in der Lage wären, all die neuen Werkzeuge und Möglichkeiten durch eine globale und kollektive gemeinsame Entscheidung (eben weiche KI) wieder wegzulegen, selbst dann nicht, wenn sich immer verheerendere Folgen abzeichneten.
Ob es da nicht ohnehin besser ist, wenn es so kommt, wie ich es kommen sehe aufgrund der Tendenzen und Fakten? Im Klartext:
Der heutige Mensch verändert sich durch transhumanistische Prozesse zum Cyborg, dessen biologische Komponenten stetig abnehmen werden, und verschwindet mittel- und langfristig aus der Welt in seiner heutigen Form und Conditio humana. Parallel dazu zeichnet sich die Morgenröte postbiologischer Entitäten ab, denen die Zukunft gehört, denen auch das Sonnensystem, womöglich auch weite Teile der Galaxis langfristig als "Lebensraum" zur Verfügung stehen wird, denn mal ehrlich: Für uns Menschen ist doch selbst schon der Mars eine artfeindliche Umgebung. Ich halte nichts von seiner Kolonialisierung. Das sollten wir unseren "Nachfolgern" überlassen. Siehe Kardaschow-Skala

Das größte Glück und den tiefsten Sinn erfahren wir, wenn unser Sehnen, Suchen und Finden in einem einzigen Augenblick zeitgleich präsent sind. Der nächste Augenblick ist dann nur noch schnödes Haben. (Cyborg, am Innufer, 14. April 2018)
Das größte Glück und den tiefsten Sinn erfahren wir, wenn unser Sehnen, Suchen und Finden in einem einzigen Augenblick zeitgleich präsent sind. Der nächste Augenblick ist dann nur noch schnödes Haben. (Cyborg, am Innufer, 14. April 2018)
Dieses Thema wurde gesperrt.

Cyborg 31 Mai 2018 12:47 #34345

  • Cyborg
  • Cyborgs Avatar
  • Offline
  • Benutzer ist gesperrt
  • Benutzer ist gesperrt
  • Beiträge: 1339
  • Dank erhalten: 321
badhofer schrieb:

Du hast eine Familie mit einem 10 Jahre alten Kind. Eine fremde Familie ebenso. Beide gebt ihr eure Daten einer KI. Diese entscheidet aufgrund der Auswertung der Daten, dass dein Kind wesentlich besser zur fremden Familie passen würde und umgekehrt. Würdet ihr tauschen?

Natürlich macht das so gut wie niemand. Das würde auch ich nicht machen.
Aber ist dir klar, warum das so ist? Der Grund gibt einen tiefen Einblick in unser Wesen: Weil wir aufgrund unserer ganzen evolutionären phylogenetischen Entwicklung und tiefsten Prägung kognitive Dissonanzen und Verzerrungen in unser Erbgut "eingebrannt" haben. Deshalb würde wider besseres rationales Wissen kaum jemand den Tausch vornehmen.
Im Grunde ein wunderbares Beispiel, das zeigt: Was aus unserer ethischen Warte ein absolutes No-go ist, wird womöglich für transhumane Lebensformen oder auch postbiologische Entitäten die einzig richtige und auf allen Ebenen des Erkennens und Empfindens richtige Entscheidung sein.
Hier stellt sich auch die alte Frage nach dem, was normal ist. Wir können nicht wissen, was für Transhumanisten richtig und normal sein wird. Wie fragte doch Thomas Nagel in seinem ersten Buch von 1974: What Is It Like to Be a Bat? Wir wissen eben nicht, wie sich das Dasein einer Fledermaus anfühlt, werden es nie wissen.
Und was für die Spinne die Normalität oder sogar ein Fest ist, ist für die Fliege, also ihr Opfer, der Horror.

Das größte Glück und den tiefsten Sinn erfahren wir, wenn unser Sehnen, Suchen und Finden in einem einzigen Augenblick zeitgleich präsent sind. Der nächste Augenblick ist dann nur noch schnödes Haben. (Cyborg, am Innufer, 14. April 2018)
Das größte Glück und den tiefsten Sinn erfahren wir, wenn unser Sehnen, Suchen und Finden in einem einzigen Augenblick zeitgleich präsent sind. Der nächste Augenblick ist dann nur noch schnödes Haben. (Cyborg, am Innufer, 14. April 2018)
Dieses Thema wurde gesperrt.

Cyborg 31 Mai 2018 12:56 #34348

.

Cyborg schrieb: Natürlich macht das so gut wie niemand. Das würde auch ich nicht machen. Weil wir aufgrund unserer ganzen evolutionären phylogenetischen Entwicklung und tiefsten Prägung kognitive Dissonanzen und Verzerrungen in unser Erbgut "eingebrannt" haben.

Du und die andere Familie haben ihr Kind im Alter von 3 Monaten adoptiert. Also, kein eingebranntes Erbgut. Würdet ihr tauschen?
.

Ohne etwas wäre nicht einmal nichts

Ohne etwas wäre nicht einmal nichts

Dieses Thema wurde gesperrt.

Cyborg 31 Mai 2018 16:48 #34392

  • Cyborg
  • Cyborgs Avatar
  • Offline
  • Benutzer ist gesperrt
  • Benutzer ist gesperrt
  • Beiträge: 1339
  • Dank erhalten: 321
badhofer,
du scheinst nicht verstanden haben, um was es mir dabei geht. In dem Beispiel ist doch gar nicht entscheidend, ob das Kind biologisch von mir abstammtt. Mit eingebranntem Erbgut meinte ich nicht die Tatsache, dass das Kind biologisch von mir abstammt, sondern den Umstand, dass wir aufgrund unserer Prägungen gewisse Entscheidungen aufgrund kognitiver Dissonanzen und Defizite als zutiefst richtig, weil menschlich erachten, die aber aus einer Metaebene aus oder auch von einer objektiven Perspektive aus gesehen sogar falsch sein können. Und obwohl wir sogar um diese Dissonanzen wissen, sie intellektuell durchschauen, kommen wir nicht aus der Nummer raus und entscheiden uns objektiv gesehen falsch, was sich aber auf der subjektiven Ebene als durchaus richtig anfühlen kann.
Ich denke mal, dass es ein Ziel des Transhumanismus auch sein wird, diese Dissonanzen zu überwinden. Da mag es künftig betrachtet aus einer menschlichen Warte zu Ereignissen und Entscheidungen kommen, die als unmenschlich und befremdend erscheinen werden, aber im Erleben transhumaner Existenzen als stimmig und richtig, weil eben TRANSHUMAN erachtet werden (bedenke: "What Is It Like to Be a Bat": Das wirst du nie wissen :) ). Und logisch zu Ende gedacht wird diese transhumane Ethik, Moral und Axiologie wohl auch aus einer objektiven Warte der unseren überlegen sein, weil stimmiger, weil freier von kognitiven Dissonanzen. Aber ich gebe zu, dass es natürlich hier schwierig ist, eine objektive Warte zu definieren. Wer kann sie einnehmen? Gott? Aber ich gehe rein intuitiv davon aus, dass jenseits unseres axiologischen Wertesystems, das jedoch für uns mit unseren Begrenzungen und Widersprüchen gut und stimmig ist, noch eines gibt, das aus objektiver Sicht noch höherwertiger ist - eben das transhumane.
Ich erinnere noch mal an die Erkenntnis von Wilson:

Selbst unsere sozialen, moralischen und altruistischen Denk- und Verhaltensweisen, sogar die Forderung nach Erhalt der Menschheit, beruhen auf evolutionärer Selektion.


Aber ich will auch deine Frage beantworten: Auch ich würde ein 10 jähriges Kind, das ich mit 3 Monaten adoptiert habe, nicht eintauschen, selbst wenn ich wüsste, dass die beiden Kinder dann bessere Entwicklungschancen hätten. Mit dieser Entscheidung wäre ich mit mir im Reinen. Aus objektiver Sicht wäre sie jedoch falsch. Warum das so ist, versuchte ich oben zu erklären.

Nun will ich dir auch eine Frage stellen, auch ein hoch abstraktes Beispiel:
Du siehst einen Zug in den Bahnhof fahren, aber die Weichenstellung hat nicht funktioniert. So fährt er auf 5 dir fremde Kinder zu, die ihn nicht bemerken. Der Zugführer kann nicht mehr stoppen, die Kinder werden überfahren, wenn nichts passiert. Dann erfährst du obendrein (wir befinden uns in einem reinen Denkspiel) auch noch, dass es um 5 Kinder geht, die hochbegabt sind und in 20 Jahren bahnbrechende Erfindungen machen werden, mit denen ein Großteil der heutigen Probleme der Menschheit gelöst werden können. Kurzum: Das Leben der Kinder ist essentiell für den weiteren Verlauf der Menschheitsgeschichte.
Im nächsten Moment wird dir schlagartig klar, dass du den Zug stoppen kannst, wenn du dein eigenes Kind opferst und vor den Zug wirfst. Dich selber oder einen anderen Menschen zu opfern würde aus irgendwelchen mechanischen oder physikalischen Gründen nicht helfen.
Wie würdest du dich entscheiden?
Wie würde wohl eine KI entscheiden, wie ein Transhumanist?
Hinweis: Aus rein deontologischer Sicht wäre es richtig, nicht das Kind zu opfern. Aus utilitaristischer Sicht wäre das Opfer richtig. Beide Entscheidungen sind somit richtig.
Ich würde keine Sekunde zögern und das Opfer aufgrund meiner bewussten kognitiven Defizite, und zwar OBWOHL sie mir bewusst sind, NICHT bringen. Aber wie würde deine Entscheidung ausfallen?

Das größte Glück und den tiefsten Sinn erfahren wir, wenn unser Sehnen, Suchen und Finden in einem einzigen Augenblick zeitgleich präsent sind. Der nächste Augenblick ist dann nur noch schnödes Haben. (Cyborg, am Innufer, 14. April 2018)
Das größte Glück und den tiefsten Sinn erfahren wir, wenn unser Sehnen, Suchen und Finden in einem einzigen Augenblick zeitgleich präsent sind. Der nächste Augenblick ist dann nur noch schnödes Haben. (Cyborg, am Innufer, 14. April 2018)
Dieses Thema wurde gesperrt.

Cyborg 31 Mai 2018 16:51 #34393

  • stm
  • stms Avatar
  • Offline
  • Benutzer ist gesperrt
  • Benutzer ist gesperrt
  • Beiträge: 883
  • Dank erhalten: 173
Solche Fragen musste man seinerzeit beantworten, wenn man den Kriegsdienst verweigert hat. Ich habe nie viel davon gehalten, nicht vom Kriegsdienst und erst recht nicht von den Fragen.
Dieses Thema wurde gesperrt.

Cyborg 31 Mai 2018 17:30 #34401

  • Cyborg
  • Cyborgs Avatar
  • Offline
  • Benutzer ist gesperrt
  • Benutzer ist gesperrt
  • Beiträge: 1339
  • Dank erhalten: 321
stm:

Solche Fragen musste man seinerzeit beantworten, wenn man den Kriegsdienst verweigert hat. Ich habe nie viel davon gehalten.

Das sehe ich anders, denn sie erhellen die Rahmenbedingungen unserer Existenz.
Ein reales Beispiel, das passierte:
Im 2.WK musste eine aus HH abgezogene Polizeieinheit, normale Polizisten ohne große Vorbereitung auf solche Einsätze, in Russland ein Dorf von Partisanen und Juden "säubern". Auftrag war: Festnahme der Betroffenen und anschließende sofortige Massenhinrichtung.
Vor dem Einsatz stellte morgens der Einsatzleiter ernsthaft die Männer vor die Wahl, beim Einsatz nicht mit zu machen. Er sicherte zu, dass es für die Verweigerer folgenlos bleiben würde (anscheinend ahnte und erkannte er, dass einige maßlos moralisch überfordert waren).
Wer nicht wollte, konnte vor angetretener Mannschaft austreten und sich entfernen.
Das Angebot haben nur ganz wenige angenommen. Wir können aber sicher sein, dass die übrigen nicht deshalb freiwillig mit machten, weil sie eiskalte Massenmörder mit Lust am Töten waren, sondern weil fast alle solidarisch waren und ihre Kameraden nicht im Stich lassen wollten nach dem Motto: Ich lasse euch die Drecksarbeit machen und wasche meine Hände in Unschuld. Die Verweigerung wäre wohl für die meisten eine anscheinend größere moralische Belastung gewesen als die Erfüllung des Tötungsauftrages, der von höherer Stelle angeordnet wurde.
Diese wahre Begebenheit sagt viel über uns Menschen aus in solchen speziellen Situationen.
Wie hätten sich aber die Männer entschieden, wenn der Anführer die Frage anders gestellt hätte? Wenn er dazu aufgefordert hätte, jeder, der freiwillig aktiv mit machen will, soll einen Schritt vortreten? Wäre das Ergebnis das gleiche gewesen oder wäre es anders ausgegangen? Wir wissen es nicht, aber ich vermute, dass es nicht identisch gewesen wäre.

Das größte Glück und den tiefsten Sinn erfahren wir, wenn unser Sehnen, Suchen und Finden in einem einzigen Augenblick zeitgleich präsent sind. Der nächste Augenblick ist dann nur noch schnödes Haben. (Cyborg, am Innufer, 14. April 2018)
Folgende Benutzer bedankten sich: Philzer
Das größte Glück und den tiefsten Sinn erfahren wir, wenn unser Sehnen, Suchen und Finden in einem einzigen Augenblick zeitgleich präsent sind. Der nächste Augenblick ist dann nur noch schnödes Haben. (Cyborg, am Innufer, 14. April 2018)
Dieses Thema wurde gesperrt.

Cyborg 31 Mai 2018 21:13 #34445

.

Cyborg schrieb: Ich würde keine Sekunde zögern und das Opfer aufgrund meiner bewussten kognitiven Defizite, und zwar OBWOHL sie mir bewusst sind, NICHT bringen. Aber wie würde deine Entscheidung ausfallen?

Ich natürlich genau so, keine Frage. Es ist schon eigenartig, dass einerseits weltweit täglich tausende Eltern ein Kind verlieren, andererseits es jedoch gänzlich unvorstellbar ist, dass man sein Kind opfert, obwohl es genauso wäre, wie wenn man sein Kind bei einem Unfall verliert.

Ich glaube, sterbende Kinder sind nicht geeignet für unsere Frage. Ich frage einmal anders:

Du hast in deinem rechten Fuß leichte Schmerzen. Der Primar (Chefarzt) im Krankenhaus sagt dir, dass (auch laut Madouc) ein Diagnosegerät (nennen wir es KI) besser Diagnosen stellen kann als ich als Primar. Ich gehe jetzt nach Hause, die KI wird alles regeln. Diagnose der KI: Der Fuß muss abgeschnitten werden. Eine Tür öffnet sich automatisch, du setzt dich auf ein Förderband und erhältst noch über einen Bildschirm die Information, dass alles vollautomatisch von KI erfolgen wird und du erst nach dem Erwachen von der Operation mit dem Primar sprechen kannst.

Würdest du elektronisch zustimmen oder würdest du lieber doch noch vorher mit dem Primar über diese Diagnose sprechen wollen, obwohl er weniger vom Diagnostizieren versteht als die KI.
Was glaubst du?
.

Ohne etwas wäre nicht einmal nichts

Ohne etwas wäre nicht einmal nichts

Dieses Thema wurde gesperrt.

Cyborg 31 Mai 2018 23:17 #34465

  • Cyborg
  • Cyborgs Avatar
  • Offline
  • Benutzer ist gesperrt
  • Benutzer ist gesperrt
  • Beiträge: 1339
  • Dank erhalten: 321
badhofer,
in diesem Falle würde ich schon auch die Meinung des Chefarztes einholen. Es ist doch generell ratsam, sich hier mehrere Meinungen einzuholen, bevor man eine so schwierige Entscheidung trifft bezgl. einer Amputation. Vor allem wenn erst mal nur leichte Schmerzen vorliegen.
Schwierig wird es doch erst, wenn es hieße, dass keine Zeit mehr bliebe, dass nur eine sofortige Amputation das Leben retten könne. Dann würde mich interessieren, wie zuverlässig die KI in solchen Fällen in der Vergangenheit Entscheidungen getroffen hat. Wenn ich quasi ihr erster Patient wäre, dann würde ich auch noch lieber den Chefarzt fragen und das Risiko des Zeitverzuges in Kauf nehmen. Wenn ich aber wüsste, dass sie mit extrem niedriger Fehlerquote analysiert, dann würde ich auf ihr Urteil vertrauen, denn dann sähe ich keinen weiteren Sinn mehr in einer Rücksprache mit dem Chefartz (unnötiger Zeitverlust bei akuter Erkrankung mit Lebensgefahr).

Das größte Glück und den tiefsten Sinn erfahren wir, wenn unser Sehnen, Suchen und Finden in einem einzigen Augenblick zeitgleich präsent sind. Der nächste Augenblick ist dann nur noch schnödes Haben. (Cyborg, am Innufer, 14. April 2018)
Das größte Glück und den tiefsten Sinn erfahren wir, wenn unser Sehnen, Suchen und Finden in einem einzigen Augenblick zeitgleich präsent sind. Der nächste Augenblick ist dann nur noch schnödes Haben. (Cyborg, am Innufer, 14. April 2018)
Dieses Thema wurde gesperrt.

Cyborg 31 Mai 2018 23:33 #34467

  • Cyborg
  • Cyborgs Avatar
  • Offline
  • Benutzer ist gesperrt
  • Benutzer ist gesperrt
  • Beiträge: 1339
  • Dank erhalten: 321
Ein Gehirn denkt, aber ohne Körper ginge das nicht
Der Artikel fragt angesichts aktueller Entwicklungen in der Forschung:

Forscher verwenden menschliche Mini-Gehirne, um Entwicklungsstörungen zu untersuchen. Aber was, wenn diese Gehirne eines Tages ein Bewusstsein entwickeln sollten? Wissenschafter formulierten Richtlinien für diesen Fall. Das ist absurd.

www.nzz.ch/meinung/man-sollte-sich-ueber...nken-kann-ld.1389415
Interessant die Passage:

Unter Hirnforschern ist die Frage umstritten, ob ein Körper eine Voraussetzung für das Bewusstsein ist. Manche gehen davon aus, dass auch künstliche neuronale Netzwerke ein Bewusstsein entwickeln können, wenn sie einen gewissen Grad an Komplexität und die richtige Vernetzung besitzen. Andere nehmen an, dass auch ein Computer einen Körper brauchen würde, mit dem er die Welt erkunden könnte, um richtig denken zu können. Laut dieser als Embodiment bezeichneten These setzt das Bewusstsein einen Körper voraus, dies gilt für künstliche neuronale Systeme ebenso wie für biologische.

Hier geht es also gar nicht mehr um die Frage, ob harte KI möglich ist, sondern nur noch darum, unter welchen Umständen sie entsteht und ob dazu auch eine Interaktion mit der Umwelt nötig ist.
Meine Vermutung: Nicht das Substrat ist entscheidend, sondern die Struktur, die komplex genug sein muss. Hat diese Struktur die Möglichkeit über Aktoren und Sensoren mit der Umwelt in Beziehung zu treten, dann dürfte zwangsläufig das entstehen, das wir Bewusstsein nennen.

Das größte Glück und den tiefsten Sinn erfahren wir, wenn unser Sehnen, Suchen und Finden in einem einzigen Augenblick zeitgleich präsent sind. Der nächste Augenblick ist dann nur noch schnödes Haben. (Cyborg, am Innufer, 14. April 2018)
Folgende Benutzer bedankten sich: Madouc99
Das größte Glück und den tiefsten Sinn erfahren wir, wenn unser Sehnen, Suchen und Finden in einem einzigen Augenblick zeitgleich präsent sind. Der nächste Augenblick ist dann nur noch schnödes Haben. (Cyborg, am Innufer, 14. April 2018)
Dieses Thema wurde gesperrt.

Cyborg 01 Jun 2018 12:34 #34488

Brooder schrieb: Wir können nicht überall Markführer sein.


Waaaaaaaaas? :blink:

S = k log W
S = k log W
Dieses Thema wurde gesperrt.

Cyborg 01 Jun 2018 13:50 #34491

@ Madouc99

ich hoffe, du meinst nicht nur den vergessenen Buchstaben.
das wäre pingelig.
ansonsten stehe ich zu meinem Beitrag :angry: ;)

Gene brauchen Vielfalt und der Grips auch
Gene brauchen Vielfalt und der Grips auch
Dieses Thema wurde gesperrt.
AUF Zug
Powered by Kunena Forum