In primo luogo, tieni presente che quando è stato pubblicato Lo Hobbit , era essenzialmente una storia a sé stante. Tolkien ebbe l ' idea degli hobbit indipendentemente dal suo lavoro già ben sviluppato ma non pubblicato su quella che ora è conosciuta come la Prima Era. In termini moderni, diremmo che Il Signore degli Anelli è un gigantesco retcon. Il testo ormai comune di Lo Hobbit è esso stesso una edizione rivista dell'originale del 1937, realizzata per adattarsi meglio al seguito.
Appendice A di Il Signore degli Anelli include la storia Popolo di Durin . Questa storia è la risposta canonica alla tua domanda. Racconta brevemente la storia del tempo dei Nani a Erebor prima e dopo l'arrivo di Smaug, il desiderio di una riconquista di Khazad-dûm (Moria) e il destino di Thráin (il padre di Thorin). Fornisce anche un resoconto dell'incontro di Gandalf con Thorin. Gandalf voleva che Smaug venisse distrutto in preparazione di una guerra a tutti gli effetti contro Sauron, in modo che i Nani nelle Colline di ferro non dovessero combattere su due fronti.
Tra le tante preoccupazioni [Gandalf] era tormentato in mente dal pericoloso stato del Nord; perché sapeva già che Sauron stava tramando la guerra e intendeva, non appena si fosse sentito abbastanza forte, attaccare Gran Burrone. Ma per resistere a qualsiasi tentativo da est di riconquistare le terre di Angmar e i passi settentrionali nelle montagne c'erano ora solo i Nani delle Iron Hills. E al di là di loro c'era la desolazione del Drago. Il drago Sauron potrebbe usare con effetti terribili. Come si potrebbe quindi raggiungere la fine di Smaug?
Tolkien iniziò a scrivere una storia più dettagliata del background di Lo Hobbit , ma non la finì mai. È pubblicato in Unfinished Tales con il titolo The Quest of Erebor .
Dopo l'incontro di Gandalf con Thorin, non era convinto dal piano di quest'ultimo di combattere direttamente Smaug. Pensava che i Nani non avessero una possibilità e avrebbero sacrificato le loro vite in un'impresa sciocca. Quando Gandalf visitò la Contea in seguito, pensò di mandare uno hobbit con lui, per contribuire furtivamente alla festa.
Improvvisamente nella mia mente queste tre cose si unirono: il grande drago con la sua lussuria , e il suo acuto udito e profumo; i robusti Nani dagli stivali pesanti con il loro vecchio rancore ardente; e lo Hobbit veloce, dai piedi morbidi, malato di cuore (immaginai) per uno sguardo al vasto mondo.
Gandalf si rende conto inoltre di aver ottenuto dal morente Thráin nella prigione di Sauron un modo per entrare in Erebor inosservato (la mappa e la chiave). Non è chiaro da quella versione se Gandalf abbia una reale premonizione che la partecipazione di Bilbo sia necessaria, o se questa sia semplicemente una valutazione realistica delle possibilità del partito e un argomento per convincere Thorin ad accettare Bilbo. Nelle parole di Gandalf:
Sapevo nel mio cuore che Bilbo doveva andare con lui, altrimenti l'intera ricerca sarebbe stata un fallimento. (...) 'Ascoltami, Thorin Scudo di Quercia!' Ho detto. 'Se questo hobbit viene con te, avrai successo. In caso contrario, fallirai. Una previsione è su di me e ti avverto. "