Giovanni Ansaldo nasce a Genova nel 1819 da Antonietta Traverso e Giovanni Battista, discendente da una famiglia attiva nella manifattura della lana. Giovanni si distingue nel corso degli studi arrivando alla laurea prima in ingegneria civile nel 1840 e, poi, in ingegneria idraulica nel 1841.Subito dopo la laurea lavora come architetto per alcune nobili famiglie genovesi, interessandosi anche all’edilizia religiosa con Giovanni Battista Resasco, progettista del cimitero di Staglieno. Sebbene ben avviato in questa attività, Giovanni sceglie di intraprendere la carriera accademica e lascia la professione per ricoprire la cattedra di Calcolo infinitesimale presso l'Ateneo genovese. Giovanni dimostra, infatti, spiccate doti di studioso: nel 1847 ottiene la libera docenza per l'insegnamento della Geometria descrittiva e nel 1850 è nominato professore di Analisi infinitesimale.In questi stessi anni, sposa Giuditta Muratori, figlia di un imprenditore tessile, da cui avrà quattro figli.Parallelamente alla carriera accademica, l'attenzione di Giovanni si rivolge ai problemi della tecnologia e della produzione.
Nel 1846, infatti, diventa membro della Società economica di manifatture e commercio, nata per organizzare l'VIII Congresso degli scienziati italiani, tenutosi a Genova nel settembre dello stesso anno. Il coinvolgimento in queste iniziative testimoniano la sua condivisione degli ideali liberali e l'impegno per rendere concreto il rapporto tra cultura scientifica e tecnologia.Inoltre, Ansaldo ricopre incarichi pubblici entrando a far parte di diverse commissioni urbanistiche, dove si occupa in particolare di sistemazione urbanistica e delle comunicazioni. In seguito alla decisione del governo sabaudo di costruire la ferrovia Torino - Genova, Ansaldo viene incaricato, insieme agli urbanisti Stefano Grillo e Ignazio Gardella, della realizzazione di un piano di fattibilità per la costruzione di uno scalo ferroviario, la futura stazione di Porta Principe. Nel territorio emerge, quindi, una nuova esigenza di manodopera specializzata sia per la costruzione della strada ferrata, sia per la nascente grande officina meccanica Taylor e Prandi: nel 1846 la Camera di Commercio di Genova istituisce una scuola tecnica serale per adulti. La cattedra di Meccanica applicata alle arti viene affidata al giovane Ansaldo.Contemporaneamente viene eletto nel consiglio comunale e si impegna insieme all’economista Gerolamo Boccardo, esponente di punta del mondo intellettuale genovese, sul tema dell'istruzione tecnica e della divulgazione delle conoscenze tecnologiche, per fondare a Genova un istituto tecnico navale.Giovanni si afferma come uno studioso di tecnologia più importanti del Regno, al punto che nel 1851 viene chiamato dal Ministro dei Lavori Pubblici, Paleocapa, a far parte del Consiglio speciale per le strade ferrate.
Nel 1852 lo stabilimento metallurgico di Sampierdarena della Taylor e Prandi, ormai in crisi, passa allo Stato che stabilisce un’intesa con alcuni esponenti genovesi per avviare un'impresa moderna. I soci sono Raffaele Rubattino, Giacomo Filippo Penco, Carlo Bombrini e Giovanni Ansaldo che costituiscono la Gio. Ansaldo e Co., società in accomandita semplice, di cui Ansaldo è accomandatario. A questa società il Governo cede formalmente lo stabilimento di Sampierdarena.Ansaldo muore a Genova nell'aprile del 1859 a causa di un'infiammazione cerebrale.