Byn Asby är belägen på öns sydvästra del. Den innefattade i forna tider betydligt större areal än idag, bl a ingick den del av Kronoparken som kallas Asby-skogen. I söder gränsar Asby till Näs, i öster till Stigby och i norr till Rönäs.
     Byn ansågs länge som avlägset belägen, detta på grund av att byns tillfartsvägar var i dåligt skick. Varje jordägare utmed vägen var underhållsskyldig för den vägsträcka som löpte genom hans ägor och detta ledde till att vägstandarden växlade starkt. På vissa sträckor var vägen i gott skick medan det på andra sträckor helt och hållet saknades vägfyllnad. Vägen bestod endast av gräs med uppkörda, djupa hjulspår efter de järnskodda trähjulsvagnarna. Spåren kunde ibland vara djupare än vägdiket!

Gamla ladugården vid Asby Södergård, bilden är tagen i samband med rivningen 1938.

Till följd av byns avskilda läge döptes den under, 1930-1940-talen, av folkhumorn till »sydvästra Kongo«, vilket väl närmast åsyftade Asby Södergård, som med sin snåriga träd- och buskvegetation gav associationer till Afrikas regnskogar. Numera har emellertid Asby goda vägförbindelser med resten av ön, och man njuter av sitt vackra läge på ön.
      Vid Asby byggdes 1902 en ny brygga för ångbåtstrafik. Denna brygga hade en imponerande längd och angjordes av ångaren Svedudden under dess reguljära turer Jönköping - Hjo två dagar i veckan. Islossningen gick emellertid ibland illa åt bryggan, och 1917 förstördes den helt och blev aldrig återuppförd.