Da bei der Verlaufsform ja ohnehin ein Hilfsverb vorhanden ist, wird die Verneinung über dieses Hilfsverb (to have), realisiert.

Beispiele
He had been reading a letter, when the telephone rang. He had not (hadn't) been reading a letter, when the telephone rang.
She had been studying for her exam, when somebody invited her to a party. She had not (hadn't) been studying for her exam, when somebody invited her to a party.
We had been watching TV, before we went to bed. We had not (hadn't) been watching TV, before we went to bed.
They had been building a house. They had not (hadn't) been building a house.
They had not (hadn't) been building a house. You had not (hadn't) been planning a trip, so the accident couldn't destroy your plans.

Obwohl es eine theoretische Möglichkeit gibt, auch über ein Modalverb das past perfect continuous zu verneinen, stellen wir das nicht mehr dar, da es in der Praxis keine Anwendung findet. Will man nun unbedingt eine Handlung verneinen, deren Verlauf im Vordergrund steht und die mit einem Modalverb versehen werden muss, und vor einer anderen Handlung ausgeführt wurde, bleibt nur die bekannte Form des present perfect continuous mit Modalverben. Allerdings muss man dann die "Vorzeitigkeit" mit einer Präposition deutlich machen.