Берущая начало практически в центре Харькова улица Клочковская длительное время считалась городской окраиной. В XVIII веке в черте города находилась небольшая слобода Клочковка, основанная, как утверждают краеведы, харьковским полковым судьей Тимофеем Клочко. Дорога, которая начиналась от Университетского сада (ныне – район каскадной лестницы) и вела в слободу, называлась Песковской или Клочковской. Со временем прижилось второе название.
Развитие улицы началось в первой половине ХХ века. В 1909-м здесь была проложена трамвайная линия. На улице практически не сохранились дома, которые можно было бы отнести к старой застройке. Лишь несколько зданий рубежа ХIХ- ХХ веков остались в районе Соборного и Бурсацкого спусков, хотя еще в 70-х годах прошлого века здесь была плотная одноэтажная и двухэтажная застройка. Но большинство домов пришли в аварийное состояние и были снесены. В доме номер 38 жила семья Людмилы Гурченко, но здание тоже не сохранилось.
Часть улицы, расположенная от Клочковского спуска до окружной, застраивалась в послевоенное время и в начале нового столетия.