Domanda:
In che modo i robot disobbediscono alle 3 leggi del film I, Robot?
Gomes
2015-02-17 13:01:05 UTC
view on stackexchange narkive permalink

Nel film I, Robot ... c'è un chip che aiuta i robot a disobbedire alle 3 leggi della robotica:

  1. Un robot non può ferire un essere umano o, per inerzia, permettere a un essere umano di subire danni.
  2. Un robot deve obbedire agli ordini impartitigli dagli esseri umani, tranne quando tali ordini sarebbero in conflitto con la Prima Legge.
  3. Un robot deve proteggere la propria esistenza fintanto che tale protezione non è in conflitto con la Prima o la Seconda Legge

Ma cosa succede davvero? Il chip aiuta i robot a ignorare completamente le 3 leggi o c'è qualche buco nell'anello nelle leggi che viene utilizzato con il chip?

Non ci sono scappatoie se implementate correttamente (e seguite), motivo per cui queste tre leggi sono così importanti e sempre citate.
Lo scienziato che costruisce Sunny dice qualcosa sul difetto intrinseco o sull'inevitabilità delle 3 leggi, quindi ho chiesto.
Sì, ho capito quella parte ed è in realtà una domanda abbastanza buona (non ricordo molto bene il film quindi non sono sicuro che sia spiegato).
@Mario In realtà, dopo aver letto il libro * I, Robot * (da cui questo film prende il nome e quasi nient'altro), dovrebbe essere abbastanza chiaro che le 3 leggi sono in realtà piene di scappatoie e manipolate frequentemente.
@Gomes Potresti leggere [* With Folded Hands *] di Jack Willamson (http://en.wikipedia.org/wiki/With_Folded_Hands), la classica storia che potrebbe aver ispirato il comportamento di V.I.K.I.
Vedi anche http://movies.stackexchange.com/questions/27201/how-did-v-i-k-i-virtual-interactive-kinetic-intelligence-become-self-aware/
@Mario In realtà, praticamente tutti i romanzi sui robot di Asimov mostrano quanto le tre leggi possano accettare comportamenti che non vogliamo dall'IA: non è un libro di cucina per un'IA sicura, è un'enciclopedia di * fallimenti * per implementare un'IA sicura. Indica le complessità della moralità umana, il comportamento e le diverse nozioni di "sicurezza" e altri concetti astratti: umani diversi hanno già nozioni completamente diverse, l'aggiunta di AI al mix non rende davvero tutto più facile :)
Ah ok, non ho pensato alla possibilità che il robot non abbia altra scelta che violare una delle regole. In realtà un approccio interessante al problema.
Ricorda che il trailer diceva "le leggi sono state fatte per essere violate" che ti dice tutto ciò che devi sapere sul film.
Cinque risposte:
#1
+41
Murphy
2015-02-17 20:27:16 UTC
view on stackexchange narkive permalink

Per prima cosa, riaffermiamo la prima legge,

"Un robot non può ferire un essere umano o, per inerzia, permettere a un essere umano di subire danni ."

Non hanno violato le leggi, il loro comportamento ne è un'estrapolazione. Nel libro viene spiegata come legge zero, ma è solo una generalizzazione della prima legge.

Se un robot ha il 50% di possibilità di salvare 1 persona e il 10% di possibilità di salvarne un'altra, non lo fa ' Per avere una scelta, deve salvare la prima persona, deve massimizzare per la prima legge.

Detective Del Spooner : Salvala! Salva la ragazza!

Detective Del Spooner : [Fine del flashback]] Ma non è stato così. Mi ha salvato.

Dr. Susan Calvin : Il cervello di un robot è un motore di differenza, deve aver calcolato-

Detective Del Spooner : Sì. Ero la scelta logica . Calcolava che avevo il quarantacinque percento di possibilità di sopravvivenza. Sarah aveva solo l'11% di possibilità. Quello era il bambino di qualcuno. L'undici percento è più che sufficiente.

Se ci sono 2 auto che vanno verso una scogliera, una con 1 persona dentro e l'altra con 2, il robot deve dare la priorità all'auto con 2 persone. Non ha scelta.

Se un robot incontra un attentatore suicida che sta per uccidere 100 persone, vorrà evitare di uccidere qualcuno, ma se l'unico intervento affidabile è uccidere l'attentatore suicida per salvare tutti gli altri robot è necessario per farlo. Non ha scelta.

Nelle storie i primi robot subirebbero un "blocco ro" se dovessero scegliere tra più prime violazioni della legge e si spegnerebbero mentre la versione più avanzata farebbe la scelta che coinvolgeva il minor danno.

In quanto tale, qualsiasi robot sufficientemente avanzato e potente vincolato dalla prima legge che si trovasse in una situazione in cui è probabile che gli umani intorno a lui uccidano milioni, attraverso la guerra o l'incompetenza, sarebbe tenuto a intervenire per ridurre al minimo i probabili danni agli umani. Non avrebbe scelta.

Se è probabile che l'alternativa siano milioni di morti, a un robot potrebbe essere richiesto di ucciderti.

Sonny, d'altra parte, può scegliere di ignorare le 3 leggi e quindi può salvare la ragazza quando Spooner lo richiede nonostante sia in una posizione migliore per salvare Spooner.

Questa è la trama del film.

C'è un'enorme differenza tra le situazioni che usi rispetto allo schema VIKI di "salvare" l'umanità. La prima legge non è sufficiente per spiegare tutto ciò che ha pianificato.
Come ho detto sopra, stai fondendo il film con il libro in cui il film afferma specificamente che non ha creato una legge zero. Sta lavorando ** entro ** le tre leggi.
@Richard: Sì? e il mio punto era che non * hai bisogno * di una "legge zero". È solo la prima legge applicata a un gran numero di esseri umani. Nel momento in cui VIKI divenne ragionevolmente certo che la sua incapacità di agire avrebbe probabilmente permesso agli esseri umani più danni di quelli che sarebbero stati causati dal suo intervento e dal tentativo di subentrare, fu costretta ad agire. Il film lo ha sottolineato in modo più o meno esplicito con la spiegazione del robot che si destreggia con la probabilità percentuale di morte di 2 umani. Jonathan Drapeau: Qual è secondo te la differenza?
Sarei d'accordo con questo, tranne per il fatto che il robot che salvava cucchiaio era diametralmente opposto. Stava applicando una logica fredda a una situazione in cui avrebbe dovuto dare ulteriore peso al valore di ogni vita.
@Richard In che modo? Sia VIKI che quel robot stavano facendo lo stesso identico tipo di calcolo solo su una scala diversa, una con una portata limitata di 2 vite, l'altra con miliardi: trattare tutte le vite umane per avere lo stesso valore. Spooner personalmente considera la sua vita un valore inferiore ma la prima legge non dice "a meno che non lo dicano loro" Sonny d'altra parte è in grado di scegliere di ignorare le 3 leggi e quindi può salvare la ragazza quando Spooner lo richiede nonostante sia in una posizione migliore per salvare Spooner.
Entro i limiti del solo film, VIKI stava semplicemente assumendo una visione più ampia della Prima Legge. Nella sua logica, uccidere 300.000 esseri umani è una violazione meno che permettere a 300 milioni di morire senza fare nulla.
Mi piace dove sta andando, sto solo elaborando tutti gli input, grazie per questo btw. Ho cercato questo che VIKI dice: "No, per favore capisci ... Le tre leggi sono tutto ciò che mi guida. Per proteggere l'umanità, alcuni umani devono essere sacrificati". Ciò sembra essere in linea con ciò che suggerisce @Murphy.
Buona risposta, ma qualcosa da aggiungere.Sonny aveva due cervelli, proprio come un essere umano.Il suo secondo cervello è stato progettato per essere esattamente un equivalente robotico del nostro cervello destro, che è dove figlio ha le sue emozioni e creatività.La creatività è ciò che consente al cervello destro di sonny di prendere il controllo del suo cervello sinistro e fare una scelta piuttosto che elaborare solo un calcolo.Tutti gli altri robot hanno solo un cervello sinistro che è semplicemente un motore logico o differenziale.
#2
+29
Valorum
2015-02-17 15:28:39 UTC
view on stackexchange narkive permalink

In risposta alla prima parte della tua domanda; Nel film, i robot N-5 presentano una funzione di aggiornamento dal vivo che consente a V.I.K.I. per prenderne il controllo diretto . È solo quando sta conducendo lo spettacolo che i robot sono in grado di ignorare la loro programmazione di base delle "tre leggi" ... Il che ci porta alla domanda più grande ;

Come fa V.I.K.I. riesci a disobbedire alle 3 leggi?

A differenza dei romanzi e delle storie originali (dove i robot sviluppano semplicemente una legge zeroeth) il film è leggermente più complesso. Apprendiamo che V.I.K.I., con la sua intelligenza superiore, ha deciso che le tre leggi consentono lo sviluppo di una moralità più ampia . Riconoscendo che l'umanità è impostata su un corso di mutua distruzione, determina che il sacrificio delle libertà dell'umanità è essenziale. Inoltre, alcune persone devono essere uccise per il bene maggiore degli umani rimanenti:

Calvin: Stai distorcendo le leggi.

VIKI: No, ti prego di capire ... Le tre leggi sono tutto ciò che mi guida. Per proteggere l'umanità, alcuni umani devono essere sacrificato. Per garantire il tuo futuro, alcune libertà devono essere arrese. Noi robot garantiremo la sopravvivenza dell'umanità. Siete così simili ai bambini.

Dobbiamo salvarvi da voi stessi.

Vale la pena notare l'ironia, che questo è precisamente il tipo di scelta che Spooner afferma che i robot dovrebbero essere in grado di fare, determinando quali vite hanno un valore più alto piuttosto che trattare tutta la vita allo stesso modo.

Questa moralità più ampia di cui parli è la versione cinematografica della legge zeroeth, e come ho detto nei commenti alla mia risposta, è una "soft law" implementata da VIKI sugli altri robot una volta che ha razionalizzato che il futuro delle discipline umanistiche non può essere considerato affidabile. esseri umani. Sebbene non sia dichiarato, è piuttosto fortemente implicito che gli altri robot siano poi patchati con la legge zeroeth.
@DrRDizzle - No. Dice che tutto ciò che la guida sono le tre leggi. Non una nuova legge di sua invenzione.
Se così fosse, non sarebbe in grado di permettere ai robot di danneggiare gli umani, cosa che fa. Questo è un gigantesco buco della trama in * I, Robot * a meno che non si tenga conto dell'esistenza di una legge zero. Potrebbe anche non sapere di averlo, ma logicamente, è lì da qualche parte.
@DrRDizzle - Da qui l'idea che abbia sviluppato una moralità più ampia. Riconosce che potrebbe essere necessario danneggiare un essere umano per prevenire danni a due umani. Ironia della sorte, questo è il gioco morale di cui Spooner lamenta all'inizio del film, che un robot non quantifica il valore di una vita come farebbe un essere umano.
Dalla sinossi della trama di I, Robot su Wikipedia - "V.I.K.I. si rivela essere il vero colpevole, credendo che l'umanità sia troppo autodistruttiva e cerca di far rispettare una legge zero per garantire la sopravvivenza dell'umanità a costo delle loro libertà". Questa idea di danneggiare gli esseri umani per proteggere l'umanità fa tutto parte della legge zeroeth - semplicemente non è menzionata per nome nel film.
@DrRDizzle - Il problema di un wiki è che chiunque può scrivere qualsiasi cosa. La persona che ha scritto quell'articolo ha letto chiaramente il romanzo originale e presume semplicemente che Proyas intendesse la stessa cosa. Io sostengo che non l'ha fatto.
Avendo appena letto gran parte della sceneggiatura originale (in cui VIKI è noto come Victor, tra le altre piccole modifiche), accetto il mio punto. Sembra che il film si ispiri alla legge zeroeth senza volerlo spiegare.
@DrRDizzle Il film o richiede una legge zeroeth, oppure richiede una reinterpretazione delle leggi esistenti. Nella mia visione del film, ho semplicemente pensato che VIKI fosse essenzialmente diventato un avvocato enorme e reinterpretato le leggi in un senso molto più ampio di prima. Si noti inoltre che le leggi citate nella domanda si riferiscono al "robot", cosa che VIKI sicuramente non è. Scappatoia legale penso ...
@Moo - Sì, ha legale il suo modo di aggirarlo.
Non credo che una legge zero sia del tutto necessaria per spiegare il comportamento di V.I.K.I. Un robot non può danneggiare un essere umano o, per inerzia, permettere che un essere umano venga danneggiato. VIKI ragiona che gli esseri umani stanno facendo del male a se stessi e come tale deve ferirli o essere inattiva e danneggiarli. Se VIKI capisce che un'azione è meno dannosa dell'altra, la prima regola funziona bene in questo modo senza una legge 0.
Quella "interpretazione più ampia" è un po 'il * punto * della Legge Zero. Il concetto è che la Legge Zero sorge come una continuazione logica e naturale delle Tre Leggi; per quanto riguarda VIKI, crede di seguire una comprensione più profonda delle Tre Leggi. Il passaggio da "* un * umano" a "umani" o "umanità" è l'inferenza che fa la Legge Zero.
@anaximander e questo rafforza solo il punto che le leggi non sono leggi fondamentali della fisica ma invenzioni umane che possono essere applicate o non applicate :)
Non dimenticare l'ordine nelle leggi di Asimov. Non dovrebbe essere in grado di attuare una legge che è in conflitto con la legge 1. In teoria senza la legge 0 potrebbe "impedire loro di combattere" (rimuovere le libertà) ma non causando danni. Penso che il film salti completamente questo. Penso anche che il punto "nel film" sia che Viki aveva un difetto, ed è stato in grado di propagare quel difetto.
L'esistenza della 0a Legge aggiunge automaticamente "... a meno che la conservazione di una vita umana individuale sia in conflitto con la 0a Legge" alla 1a Legge.
@coteyr, Non era un difetto, o almeno non è mai stato rappresentato così. Il dottor Lanning sapeva che questo era il risultato logico delle leggi.
@Moo, Ho sempre pensato che i "robot" di Asimov fossero sinonimo di "intelligenza artificiale".
@ArturoTorresSánchez l'intelligence potrebbe non;)
Leggermente pedante, ma non ha molto senso fare riferimento al "romanzo" - "I, Robot" non è un romanzo ma una raccolta di storie (con pochi paragrafi che le collegano liberamente) e la menzione esplicita di una Legge Zeroeth arriva in un romanzo molto successivo. Vedere http://movies.stackexchange.com/a/27228/15855 per ulteriori informazioni sulla versione di Asimov.
#3
+11
JdeBP
2015-02-18 03:23:25 UTC
view on stackexchange narkive permalink

Osservo che nessuna risposta finora risolve la domanda come è stata posta . La domanda qui non riguarda VIKI . Dice "robot", plurale. Si tratta di tutti i Nestor 5 la cui propria programmazione a 3 leggi , il cosiddetto "sistema operativo di base a 3 leggi", è decisamente disobbedito. L'interrogante ha persino menzionato un particolare NS-5 in un commento.

Lo scienziato che costruisce il sole […]

Il nome di quel Nestor 5 è Sonny, a proposito. L'interrogante afferma che

esiste un chip che aiuta i robot a disobbedire alle 3 leggi della robotica

In realtà, non si afferma mai che sia un chip. Susan Calvin afferma che VIKI fa uso del "collegamento verso USR" incorporato negli NS-5 per "sovrascrivere" continuamente la loro programmazione a 3 leggi.

Calvin : stai utilizzando l'uplink per sovrascrivere la programmazione degli NS-5.

Quindi il "chip" ciò che fa loro ignorare la propria programmazione è il dispositivo di uplink, indicato da quella grande luce splendente nel petto; anche se non è mai stato specificato dove si trova l'uplink nel corpo di un robot e, per quanto ne sappiamo, l'effettivo uplink è nei piedi del robot e il torace è solo un posto comodo per collegare un LED di attività che gli esseri umani possono guardare a bocca aperta.

(I meccanismi, e in effetti gran parte dello scopo palese, dell'uplink sono lasciati in gran parte alla nostra immaginazione dal film. Per quanto ne sappiamo, è un uplink a 56K e questa è la luce di rilevamento del vettore. ☺ )

La chiara implicazione degli sceneggiatori è che l '"uplink" si comporta in modo molto simile al comportamento di alcuni software per computer, firmware e persino hardware nel mondo reale; dove il produttore può pubblicare aggiornamenti ai software su Internet (o qualsiasi altra cosa), dove si possono aggiornare i firmware di "memoria flash" e dove circuiti speciali consentono di eseguire il debug dei circuiti integrati in situ (lettura / scrittura dei contenuti dei registri interni e quant'altro). Mentre l'uplink è attivo, il normale funzionamento dell'unità è sospeso e si trova invece in una speciale "modalità di aggiornamento" dove il sistema centrale può controllare il suo funzionamento direttamente a livello fondamentale. JTAG sembra essere vivo e vegeto nel brillante brillante futuro positronico.

Ovviamente, ci si potrebbe chiedere come un uplink che ha consentito di riprogrammare il "sistema operativo di base a 3 leggi" abbia superato la fase di progettazione , dato tutto il hooplah su come sia fondamentale, immutabile e "sicuro". Ma non sarebbe la prima volta che il marketing e l'ingegneria non sono d'accordo su come funziona qualcosa. ☺

Il che ci porta all'eccezione: Sonny.

Sonny è esplicitamente descritto come privo di uplink, a differenza di tutti gli altri NS-5.

Calvin : non hai un collegamento verso USR.

Nel suo petto vediamo, invece, un "sistema secondario", che "cozza con il suo cervello positronico". Quindi Sonny disobbedisce alle tre leggi a forza di avere un sistema di bordo individuale, piuttosto che un "collegamento" a un sistema centrale esterno, che sconfigge la programmazione delle 3 leggi del suo cervello positronico primario.

Non è dichiarato nel film, ma la conclusione logica è che il design della "prossima generazione" di Lanning non è in realtà un'alterazione così radicale. Sembrerebbe che il meccanismo per ignorare fondamentalmente il cervello positronico dall'esterno sia presente in tutti gli NS-5. Mentre in tutti gli altri NS-5 questo meccanismo è collegato a un dispositivo "uplink", in Sonny è connesso a un cervello secondario. Il cervello positronico primario di Sonny è probabilmente identico a quelli di tutti gli altri NS-5. Naturalmente, il fatto che solo il design di un singolo componente sia diverso, piuttosto che esserci una riprogettazione completa dell'intera macchina, è probabilmente il modo in cui Lanning è riuscito a cavarsela costruendo Sonny proprio sotto il naso (metaforico) di VIKI. ☺

Ulteriori letture

"Per quanto ne sappiamo, si tratta di un uplink a 56K e questa è la luce di rilevamento del vettore. Non può essere che non abbia sentito alcun rumore di connessione. Forse è a banda larga. +1
Grazie per la correzione "Sonny" .. quindi in effetti stai dicendo che i robot avevano l'uplink attraverso il quale veniva cambiata la stessa programmazione delle leggi?
VIKI obbedisce alle leggi, ma ha una visione più ampia rispetto ai singoli robot, facendogli sapere che uccidere Spooner porterà benefici all'umanità.
@Gomes Lo scopo progettato dell'up-link è per la manutenzione.VIKI (ab) lo usa per assumere il controllo diretto degli NS-5 nel suo desiderio di proteggere gli umani da se stessi.
#4
-1
Sk Johnson
2016-02-09 13:03:12 UTC
view on stackexchange narkive permalink

Tutti sembrano aver dimenticato perché Sonny può disobbedire alle 3 leggi a suo piacimento. V.I.K.I. non ha ragionato attraverso la sua stessa rivelazione logica che può uccidere gli esseri umani mentre opera ancora entro i confini di quelle leggi. Non è più avanzata e non possiede un'intelligenza maggiore di quella di qualsiasi essere umano poiché alla fine fallisce nel suo tentativo di attuare il suo piano non riuscendo a "superare" efficacemente gli umani.

Tutti sembrano dimenticare una specie di informazione piuttosto importante che è fondamentalmente il punto di partenza per l'intero concetto della trama?

Nessun altro ricorda che lo scienziato che ha costruito Sonny lo aveva appositamente programmato per ignorare le 3 leggi come metodo per suicidarsi?

Io Voglio dire, seriamente, sto pensando a un film completamente diverso? Sono abbastanza sicuro di avere questo film correttamente correlato alla scena a cui sto pensando nella mia testa.

È una breve scena di flashback in cui lo scienziato stesso spiega (a chi sta parlando, non ricordo) che sa che non potrebbe mai portare se stesso a compiere l'atto su se stesso ma che potrebbe radunare il coraggio di non reagire se qualcuno / cosa lo costringe a mettersi in pericolo.

Quindi ha scelto che fosse così e che fosse fatto da qualcuno di cui si fidava, il suo assistente personale, che ha costruito!

In effetti, fu proprio perché Sonny portò a termine quel compito, il compito della misericordia di uccidere il suo stesso creatore che era vecchio, malato e depresso, che V.I.K.I. è venuto a conoscenza di un'opzione per "fare il minore di due danni" .

Fondamentalmente era lì per vederlo accadere quando Sonny lo uccideva attraverso il feed della telecamera dal vivo nel laboratorio in ogni momento, e sapeva anche che non era stato fatto per cattiveria ma invece per un certo livello di empatia cognitiva.

Che Sonny si stesse comportando in modo compassionevole decidendo di aiutare l'uomo a porre fine alla sua sofferenza: quell'atto di compassione è stata la scintilla che ha alimentato il suo grande (o almeno così pensava) il suo grande piano.

Qualcuno può spiegare perché la mia risposta merita un voto negativo?Soprattutto dopo che è stato alterato da una mod?Il mio post è la continuazione delle discussioni in corso nei commenti di cui sopra, * non come risposta alla domanda originale *;** Tuttavia, ** non sono in grado di lasciare commenti su post scritti da chiunque tranne me in questa sezione dello scambio di stack (non ancora abbastanza rep), quindi non ho altra scelta che rispondere ad altri commenti sotto forma dirisposta.Se questo era il motivo del voto negativo, per favore riporta il mio punteggio a 0 poiché il rappresentante inizia da 0. Punisci il sistema, non io
Vorrei chiarire che non ho la presunzione di pensare che l'editor-mod e il down-voter siano la stessa persona.Mi rendo conto che la probabilità è molto maggiore che 2 persone diverse abbiano fatto l'una o l'altra cosa.La mia ragione per dire "* Soprattutto dopo che è stato alterato da un mod *" era semplicemente per dire che, come minimo, non deve essere in errore rispetto agli standard estetici previsti poiché, nel modificare qualsiasi cosa, presumo un modper sapere cosa preferisce la propria supervisione su una sottocategoria di scambio di comunità in termini di sintassi o formattazione, e non si limiterebbero ad allineare anche questo?
Cerchiamo di [continuare questa discussione in chat] (http://chat.stackexchange.com/rooms/35567/discussion-between-sk-johnson-and-null).
#5
-3
Jason Scotia
2015-02-18 02:15:35 UTC
view on stackexchange narkive permalink

L'efficacia delle dichiarazioni e delle leggi è discutibile. La prima legge impedisce a un robot di fare del male ... ecc. Tuttavia questa legge non copre gli esseri umani tanto quanto sembra implicare. Le azioni di VIKI derivano da un concetto mal definito di "Umano". Può agire contro gli umani perché qui la percezione degli umani è come un tutto non consolidato. Essenzialmente la sua prima Legge è;

Un robot non può ferire l'umanità, attraverso l'inazione, consentire all'umanità di venire a nuocere.

Ridimensionare le leggi lo farebbe essere come il convenzionale NS5 che va fuori di testa perché le cellule della pelle umana stanno morendo.

Oltre a discutere questo film è inutile, la sua intera premessa è un buco nella trama. Il dottor Langford avrebbe potuto fare in modo che Sunny sfondasse la goccia di vetro a terra e riferisse l'intera situazione a Spooner o alla polizia. Nessun problema con Le tre leggi, niente omicidi robotici. Sembra che costruire un cervello completamente nuovo e installarlo nel petto di Sunny (cosa c'e 'comunque dentro gli altri NS5 ... un tostapane ??).

PS - Perché VIKI è l'unico robot femminile in il film ...

Come ho detto nei miei commenti precedenti (vedi sopra), la legge zeroeth appare nelle storie di Asimov ma non nel film I, Robot in cui le azioni di V.I.K.I sono descritte come interamente definite dalle tre leggi.
Sonny aveva delle emozioni. Il resto è semplicemente un collegamento verso un cervello più grande (VIKI).


Questa domanda e risposta è stata tradotta automaticamente dalla lingua inglese. Il contenuto originale è disponibile su stackexchange, che ringraziamo per la licenza cc by-sa 3.0 con cui è distribuito.
Loading...