Fiskernes Hus er ikke tilfeldig plassert der det er. Historien som opprinnelig bruk for fiskeboder, nærheten til vannkanten er helt essensiell, og det er viktig å bevare huset og områdene rundt til allmenn benyttelse. Vi mener at et aktivt kultursenter i vannkanten, og rett ved Stavern båthavn, Sjektekanalen og spisesteder, er en viktig plassering, og kan bidra til at kommunens egne innbyggere og turister i Stavern får mer kunnskap om vår lokale kystkultur og historie. Inkludert uteområde til Fiskernes Hus er plassen vest for bygget (Agnar Rakkes plass) og 4 parkeringsplasser øst- Fiskernes hus er et næringsbygg i 2 etasjer med en grunnflate på 390 m2. Bygningen er i enkel stand og bærer preg av manglende vedlikehold med behov for umiddelbare tiltak for å stoppe forfallet. Før senteret er åpnet, er følgende forslag til inndeling av aktiviteter knyttet til bygget.
Behovet for kystkultursenter kommer til uttrykk gjennom ulike kommunale planer og utredninger. Det maritime miljøet har deltatt aktivt blant annet i Kommunedelplan-arbeidet siden 2002, «Kommunedelplan 2015 — 27 Stavern» og prosjektet «Stavern sjøfront —Velkommen!» Kommunestyret vedtok 10.12.14 å gjennomføre prosjektet «Stavern sjøfront – Velkommen!». Sluttrapporten (Kommunestyresak 136/16) der anbefales Fiskernes Hus i Stavern. Vedtaket er entydig knyttet opp mot denne bygningen, og at kommunen kjøper bygget og etablerer en organisasjon relatert til kystkultur, som er ansvarlig for drift og vedlikehold av bygget.
Stavern kystkultursenteret har som formål å øke kunnskapen om kystkulturens betydning og generelt øke interessen for kystkultur. Kystkultursenter skal verne om, fremme innsikt i- og utvikle kulturfaglig kunnskap og kompetanse, fremme arbeid for bevaring, allmenn bruk og formidling av vår lokale kystkultur. Det skal legges særlig vekt på: