Relevant ist wohl eher der Faktor der Entscheidungsgewalt - solange die bei einem menschlichen Akteur bleibt, sind wir wohl vor dem Maschinenaufstand sicher
Du gehst also von einer KI aus, die man komplett selbst steuern muss? Im Sinne von, der Mensch entscheidet, welche Daten eingepflegt werden, und entscheidet dann, was die KI damit macht und welche Rechnungen ausgespuckt werden.
Das erscheint mir eher wie so ein Taschenrechner-Konzept, á la: Ich gebe zwei Zahlen ein und "addiere das" und bekomme so meine neue Zahl.
Ich denke, davon werden sich richtige KI-Systeme in Zukunft eher wegbewegen und sich tendenziell in eine Richtung entwickeln, vor der sogar Leute wie Stephen Hawking warnen. Weil sie eben nicht länger von außen gesteuert werden müssen, sondern sich autark fortentwickeln - möglicherweise auch in Richtungen, die uns nicht gefallen.
Für Ratschläge, auch im ethischen Sinne, könnte man allerdings tatsächlich eine hochentwickelte KI heranziehen. Vielleicht sind solche KI-Priester, Orakel und Philosophen in Zukunft der würdige Nachfolger unserer 'Denker' aus Fleisch und Blut. Das wäre mit Sicherheit inspirierender als irgendwelche Papst-Reden oder TV-Philosophen. Auch das Amt des Bundespräsidenten könnte gut von einer KI übernommen werden
Ja, es ist nicht sonderlich schwer, bestimmte Moralsysteme einzuprogrammieren oder Prinzipien wie "Frauen und Kinder zuerst", "kein Lärm zur Nachtruhe" usw. zu implementieren.
Und auch künstliche Intelligenzen können mal vor widersprüchlichen Bedürfnislagen stehen, die sie hierarchisch bewerten müssen, nur sind sie - im Gegensatz zu uns - dazu in der Lage, alle komplexen Details der Umstände in einem irren Tempo zu erfassen, gegeneinander abzuwägen und auszuwerten. Auf die Schnelle können einfach mehr Zusatzfaktoren einberechnet werden.
Gerade unter Zeitdruck würden wir Menschen mit deutlich weniger Informationen arbeiten, auch weil der Denkprozess viel länger dauert, und die Situation stark simplifiziert werden muss, um überhaupt zu einem Ergebnis zu kommen. Zwar ist die generelle Arbeitsweise mit den Hierarchiesystemen vermutlich mit einem biologischen Hirn vergleichbar - vielleicht sogar so etwas wie eine Grundvoraussetzung -, doch stehen wir unter so verdammt vielen Zusatzeinflüssen, dass die Anordnung und Bewertung letztlich sehr chaotisch abläuft und selten wirklich reproduzierbar ist.