
Nacio en Brooklyn y al principio de su vida, tras graduarse en Harvard, ejerció como abogado.
Al estallar la guerra se unió voluntario al 12º regimiento de la milicia de NY como "private". Unos días después se casó. Como es natural no estuvo mucho tiempo como simple soldado y a las dos semanas de alistarse ya era primer teniente de la compañía de ingenieros del regimiento. Cuando finalizó su periodo voluntario en su puesto decidió continuar y fue nombrado teniente coronel del 61º de infantería de NY. Cuando el regimiento fue enviado a la campaña Peninsular en mayo del 62, Barlow ya era su coronel. Allí comenzó a distinguirse entre sus hombres por su heroismo y sangre fría.
Resultó herido en Antietam pero como premio fue ascendido a brigadier general de voluntarios. Mandaba una brigada del XI cuerpo en la batalla de Charcerlorsville por lo que tuvo el "dudoso" honor de ver correr para salvarse a su brigada cuando Thomas Jackson golpeó su flanco y ganó la batalla para el sur.
Continuaba al mando de una brigada cuando fue herido, esta vez de mucha mayor gravedad, cuando defendía Cementery Ridge en Gettysburg. Fue capturado durante los estadios finales del combate pero intercambiado poco después.
A mediados de 1864 se había recuperado de sus heridas y fue nombrado general de división, adscrito al II Cuerpo, en el frente de Spotsylvania. Tras otra forzada ausencia al caer enfermo durante el asedio de Petersburg, volvió justo a tiempo para distinguirse en la batalla de Sailor's Creek y estuvo presente en la capitulación de Appomatox.
Tras la guerra se dedicó a la política en su Nueva York natal, donde murio el 11 de enero de 1896.