Le film commence avec un écran totalement blanc et, alors que le Soleil se couche, l'image de l'Empire State Building apparait. L'éclairage extérieur de la tour s'enclenche et les lumières des bureaux s'allument et s'éteignent à différents étages pendant les six heures et demie qui suivent. Puis l'éclairage extérieur s'éteint et le reste du film est pratiquement noir. On aperçoit parfois Andy Warhol et Jonas Mekas, qui opérait la caméra, par réflexion sur les vitres du bureau.
filmer l'Empire State Building en plan fixe depuis le coucher du soleil jusqu'au noir complet. Le film a été tourné durant la nuit du 25 au 26 juillet 1964 de 20 h 6 à 2 h 42 du matin depuis les bureaux de la Rockefeller Foundation situés au 41e étage du Time-Life Building.
Tourné en 24 images par seconde, le film a été ralenti par Warhol pour être projeté en 16 images par seconde. 6 heures et 36 minutes de film furent tournées et la projection ainsi ralentie dure environ 8 heures et 5 minutes. Warhol en a toujours refusé la diffusion abrégée, la difficulté de visionnage étant un élément intégral de l'œuvre