Henrik Pontoppidan havde tre ældre brødre: lægen Erik (1847-1919), præsten og forfatteren Morten (1851-1931) og psykiateren og retsmedicineren Knud (1853-1916). De tre var – med Mortens udtryk i Minder og Oplevelser – vokset op "i sejrrusen fra Treårskrigen" (1848-50), der holdt sig helt indtil tømmermændene kom i 1864. De havde haft en far der endnu havde kræfter og overskud til at være kammeratligt sammen med sine "store drenge". Henrik voksede op i slagskyggen fra krigen 1864 og blev midterbarn med tre yngre brødre: præsten Hans Peter, boghandleren Valdemar og mekanikeren Holger. De to yngste døde tidligt.
Det blev flytningen til Randers i 1863 der kom til at sætte vandskellet i søskendeflokken mellem de "store" og de "små". De tre store blev alle studenter, fra Randers Latinskole, og de fik alle en klassisk akademisk uddannelse, omend der ikke var noget særligt gejstligt ved de to lægers faglige eller personlige holdning. Det må være Erik om hvem Pontoppidan skriver [hvor ????] at religionen slet ikke bed på ham, endskønt han var gift med en stærkt troende kone.
Knud Pontoppidan var altså Henrik Pontoppidans nærmeste ældre bror. Vi har bevaret et øjebliksbillede af den 16-årige, lidt sarte og overintellektuelle Knuds opfattelse af sin 12-årige lillebror. I et brev til den ældre ven Karl Povlsen i København skriver han:
Henrik vedbliver at være en slemme Dreng og udmærker sig som Skolens værste Spilopmager med tg i Opførsel, og Anmærkning for 'at være kaad og forstyrrende'. Degener! (hvis du har glemt din Latin underrettes du om, at degener betyder Vanslægtet, hvorfor jeg nødig vilde hedde Degner.)"
Da Henrik som 17-årig kom til København, boede han en tid sammen med Knud. Trods deres store forskellighed, fortæller Pontoppidan i Hamskifte (1930, s. 6-7), gik det meget godt, især takket været Knuds sans for humor. Det blev Henriks meget dårlige forhold til Erik (Hamskifte s. 24-26) der efter et halvt år gjorde en ende på bofællesskabet.
I offentligheden blev Knud Pontoppidan især kendt på grund af de angreb en af hans patienter, forfatteren Amalie Skram (1846-1905), udsatte ham for, bl.a. i romanerne Professor Hieronimus og Paa Sct. Jørgen (begge 1895).
I den første, store, af Pontoppidans selvbiografier fortæller han i bindet Hamskifte (1936) først om sit forhold til Knud som han ved sin ankomst til København var flyttet sammen med i Ravnsborggade på Nørrebro:
Det var for saa vidt en mindre heldig Ordning, som han og jeg var et ret umage Par. Han — den senere saa ansete Psykiater og Universitetsprofessor — havde fra Barn været skrøbelig af Helbred og var under Opvæksten bleven værnet med en Omhu, som vi andre Børn ikke kendte; og denne Særstilling i Hjemmet havde paa flere Maader præget hans Forhold til os og vort Forhold til ham. Min mere robuste Natur og mit endnu temmelig drengeagtige og ubeherskede Væsen maa vistnok ofte have været hans sarte Nerver til stor Plage. Vi boede hos en aldrende Enke ude i en af Nørrebros Sidegader og havde her en fælles Opholdsstue og et lille Soveværelse. Naar Samlivet trods alt artede sig ganske fredeligt, var det fordi vi forskaffede os en billig Underholdning ved at gøre os lystige over hinandens Egenheder, og med al sin Sygelighed sad Knud inde med et rigt Fond af Lune. Naar jeg paa min Side smilte af hans mange Særheder og for mig saa latterlige Vaner, havde han sin Morskab af mine storagtige Indbildninger om en Gang at skulle imponere Verden med en epokegørende Opfindelse. Til Fredens Bevarelse bidrog desuden, at Knud det meste af Dagen var optaget af Hospitalstjeneste og Forelæsninger; og imens sad jeg alene hjemme, saa andægtigt fordybet i Logarithmetabellen som en abbate i sit Breviar.
(Hamskifte, 1936, s. 6-7)
Længere fremme i Hamskifte hedder det:
Foruden Morten og Knud levede ogsaa en tredje af mine ældre Brødre paa den Tid i København. Det var Erik, den ældste af hele Søskendeflokken. Han var allerede Læge og havde Ansættelse som Kandidat paa et af Byens Hospitaler, hvor han ogsaa boede. Paa Grund af den store Aldersforskel — over ti Aar — kendte jeg, da jeg kom til Byen, ikke meget til ham personlig, og han endnu mindre til mig. Men under hele min Opvækst havde han sysselsat min Fantasi paa lignende Maade som Livingstone og Stanley, al eventyrlysten Ungdoms store Forbilleder i den Tid. En Fjerdingvej øst for Randers, hvor Landevejen var ført over et bredt og vandrigt Bækkeløb, havde jeg som Barn ofte staaet bøjet over Broens Rækværk og med Tanken paa denne store Broder stirret drømmende ned paa de glidende Vande. Af mine ældre Søskende blev Bækken nemlig altid kaldt "Eriks Bæk", og det var blevet mig fortalt, at han som ung Student sammen med en Kammerat var draget ud for at opsøge dens Kilder og efter flere Dages Vandring ogsaa havde fundet dem i en Mose højt oppe i Jylland. Da han havde taget Kandidatexamen var han med den samme Ven rejst ned gennem Evropa, helt ned til Middelhavet, og hans Breve fra disse lange Vandringer var altid bleven læst højt for os Børn derhjemme. Senere havde han et Aar som Skibslæge deltaget i et af Marinens Vintertogter til dansk Vestindien, og en af de faa Gange, jeg mindedes at have set ham hjemme i Præstegaarden, var efter hans Tilbagekomst fra denne Troperejse. At han ved den Lejlighed optraadte i Søofficersuniform bidrog sandsynligvis yderligere til i mine Drengeøjne at omstraale hans høje Skikkelse med en blændende Glorie.
Her i København skete der nu det, at mine Følelser for ham slog saa fuldstændig om, at jeg næsten ikke kunde taale at se ham, naar han nu og da kom ud til os for at besøge Knud. I min ungdommelige Selvfølelse følte jeg mig blodig krænket ved, at han altid maatte tænke sig om for at komme paa, hvad jeg hed og hvorfor jeg i Grunden opholdt mig i København. En Polytekniker var endnu den Gang et ret taaget Begreb for mange Mennesker, og bestandig gjorde han mig de samme Spørgsmaal om, hvad det var for en Examen, jeg laa herovre og forberedte mig til og om den førte til noget. Jeg havde mange Gange ondt ved at lægge Baand paa min Irritation, og nu, da jeg i nedslaaet Stemning var vendt tilbage fra Julebesøget i Randers, kom det et Par Gange til saa alvorlige Sammenstød imellem os, at Knud og jeg blev enige om for Fredens Skyld at flytte fra hinanden.
Marie Oxenbøll skriver om han i brev til søsteren Margrethe 27.11.1878:
Der er ogsaa en anden Ting, der fylder mig med adskillige Tanker, nemlig at Valdemar til 1ste Decbr forlader Skolen. Han har været saa led og kjed af den, at vi Alle syntes, han gik og fortærede saa mange onde Tanker ind i sig, at han maatte have Skade deraf; det er derfor bestemt, at han til Foraaret skal i en Boghandel, rimeligviis til Mansa, og indtil da skal lære Bogtrykkerie hos Jensen. Han er selv glad ved det og vi Andre ogsaa; naar Studeringen ikke gaaer let og med alvorlig Villie er det altfor kostbar og møisommelig en Vei.
Marie Oxenbøll skriver om ham i brev til søsteren Margrethe 28.3.1885:
Valdemar er Fyr og Flamme. Da han for flere Dage siden meldte sig ind i Skytteforeningen fik han No. 5200 og siden den Tid er der vist kommet mange Tusinde. Alle Høirefornemmelser har Valdemar ladt blive i Aalborg og er fuldblods Venstremand.