Kopparstick ur Erik Dahlberghs Suecia Antiqua Foto: Kungliga Biblioteket
Förvaltningen av grevskapet skedde från Visingsborgs slott på Visingsö. Grunden till slottet lades på 1560-talet. Då hade tre byar - Ströja, Vallby och Husaby - avhysts från området. Tegel från klosterbyggnaderna i Alvastra togs bl a till bygget, och i Gränna startades ett tegelbruk. Under Per Brahe d ä:s tid uppfördes den västra längan, sonen Magnus Brahe uppförde den södra längan, som med sina salar och gemak var slottets ståtligaste del, samt östra längan som innehöll köks- och ekonomiutrymmen. Magnus Brahe var också byggherre för ombyggnaden av Ströja kyrka.
Under Per Brahe d y:s uppfördes slottets norra länga som var avsedd för betjäningen. Sex torn med förgyllda spiror höjde sig över tak och trappgavlar. Bland inventarierna fanns ett imponerande bibliotek, en rustkammare med vapen för uppåt 800 man. Vallar och bastioner var bestyckade med kanoner. Till slottet hörde bl a också ett antal karpdammar, ett par av dem finns att beskåda ett par kilometer norr om slottsruinen, samt fem trädgårdar med runt 2 000 fruktträd.
År 1642 invigdes en hamn strax nedanför slottet. Per Brahe var också mycket intresserad av landets historia och lät uppföra minnesstenar vid flera historiska platser på Visingsö.
Visingsborg var den första hörnstenen i den Braheska slottstriangeln. Brahe uppförde nämligen också Brahehus på bergskammen strax norr om Gränna, slottet var tänkt som änkesäte för hans hustru Christina Catharina Stenbock, och han förvärvade Västanå säteri på berget söder Gränna.
Per Brahe d y var den av Brahegrevarna som var mest inflytelserik. Han förärades genom åren enorma rikedomar för sina insatser för landet, han var också denna tids förmögnaste svensk. Han innehade det högsta ämbetet, Svea rikes drots från 1640 fram till sin död 40 år senare. Dessutom var han generalguvernör över storhertigdömet Finland under ett par perioder. Där grundade ett antal städer, bl a Brahestad, Kristinestad, Tavastehus och Kajana. Han förbättrade också väsentligt skolväsendet, bl a genom att grundlägga Åbo universitet och ett antal lägre skolor. Talesättet "i grevens tid" anspelar ursprungligen på hans lyckosamma förvaltning i Finland.
Hemma i sitt grevskap grundade han Brahe-Grenna 1652 - Grännas privilegiebrev är dessutom unikt då det inte är undertecknat av den svenska regenten, utan av greven till Visingsborg. På Visingsö grundade han Visingsborgs trivialskola 1636, och anslog ett 50-tal gårdar till dess underhåll. Medeltidskyrkan i Kumlaby byggdes om och fick fungera som skolhus. Skolan utökades senare också med ett gymnasium, som fick lokaler i det utrymda tingshuset söder om kyrkan. Intill skolan inrättades också ett boktryckeri 1667. Antalet kända verk tryckta på ön är endast 35 och därför rariteter idag. Papperet togs från det grevliga pappersbruket i Röttle. »Schola Brahea« pågick i 175 år, elever var huvudsakligen ynglingar från omkringliggande trakter.
När skolan lades ner på 1800-talet överflyttades större delen avkastningen från grevens donationer till läroverket i Jönköping, nuvarande Per Brahegymnasiet. Braheskolan på Visingsö lever dock fortfarande - numera som folkhögskola.
I det gamla tingshusbyggnaden, som uppfördes 1663, finns ett museum över ön. Vid gången till museisalen finns öns enda bevarade runstenar. De flyttades 1800-talet hit från Kumlaby kyrka.
Efter Per Brahes död 1680 drogs grevskapet in till kronan genom Karl XI:s reduktion. En liten del av inventarierna från Visingsborgs slott finns idag på Skokloster, men mängder av äkta mattor, konst, vapen och annat slumpades bort på auktioner i Jönköping kring sekelskiftet 1700, silverföremål fördes till myntverket för nedsmältning.
Under Karl XII:s tid - mellan åren 1716 och 1718 - hyste slottet uppåt 2 000 krigsfångar, den större delen av dem var ryssar, många av dem avled under vistelsen av svält och umbäranden och begravdes på den s k rysskyrkogården ett par kilometer in på ön. Vid juletid 1718, då budet om kung Karls död nått Visingsö, ödelades slottet av en eldsvåda, enligt traditionen anlagd av krigsfångarna.
