Kumlaby ligger mitt på ön. Byn gränsar i söder till Tunnerstad, i väster till Torp och i öster till Vrixlösa.
      Här ligger Kumlabyskolan, öns låg- och mellanstadieskola, som även inhyser dagis. Snett över vägen ligger Visingsö Folkhögskola - Braheskolan. Här grundade Per Brahe d y sin trivialskola 1636. År 1663 uppfördes även ett tingshus på området, tingshusbyggnaden kom senare att husera Braheskolans gymnasium. Numera inrymmer byggnaden Visingsö Museum, öppet för besök sommartid. På Braheskolans område finns också Visingsö Bibliotek. Strax norr om Braheskolan ligger, i tur och ordning, prästgården, hembygdsgården och Kumlaby kyrka.
      I Kumlaby hittar man också Kumlabybadet, med sina två tempererade bassänger, samt VAIS hemmaplan med klubbstuga.
      Under århundraden, fram till 1860-talet, var Kumlaby öns allmänna landningsställe. Den lilla bryggan "Parola Malm" med kronobåthuset på östra sidan var utgångspunkt för kronorodden, som innebar en skyldighet för öns bönder att frakta ämbetsmän, krigsfolk etc på tjänsteresa. För att avlasta bönderna inrättades 1783 den sk "Paquet-båten" som varje onsdag under 80 år upprätthöll en reguljär förbindelse med Gränna.