Andorsjøen ligger rett øst for Andorfjellet, som er en fjelltopp som vises godt fra bygda. Andorsjøen er et relativt stort vann med bra fisk, og den ligger i fine omgivelser med glissen furuskog rundt og med Nordaksla og andre snaufjell i øst og nord. Andorsjøhytta ligger rett ved Blåfjella - Skjækerfjella nasjonalpark.
Fra parkeringsplassen i Almoseterdalen er det ca. 5 km å gå i slakt terreng inn til Andorsjøen og hytta.
Om vinteren kan bilen parkeres ved Skromoen. Avstand fra parkering til hytte blir da 15 km.