En el límite oeste, de lo que en aquel entonces se conocía como New Harlem, Manhattanville se incorporó como pueblo en 1806.
Harlem era utilizada por los indígenas como campo de cultivo gracias a sus fértiles tierras. El gobernador holandés Peter Stuyvesand, fue el fundador de la aldea "Nieuw Harlem"
Desde 1920, Harlem ha sido el centro de la cultura afroamericana.
Debido a las revueltas de la década de 1960-con ideólogos revolucionarios como Malcom X- casi la mitad del barrio, quedó reducido a cenizas, elcrack trajo la desolación a familias enteras, y potenció las bandas callejeras.
Afortunadamente esto ya es historia , y Harlem ha estado viviendo un resurgimiento económico, generando puestos de trabajo y atrayendo al turismo.