Secondo alcuni storici locali nella propaggine centro settentrionale del Colle della Concezione era localizzato un antico insediamento, che una leggenda farebbe risalire a 907 anni prima della fondazione di Roma, denominato successivamente Vicus Elacensis. Secondo altre fonti esso fu fondato invece verso il 1500 a.C.. Nel 292 a.C. tale centro passò sotto il dominio di Roma per essere poi distrutto da Alarico nel 408. Sempre secondo gli storici locali dopo la distruzione del Vicus Elacensis gli abitanti superstiti si ritirarono più in alto e più a sud, sul declivio del colle più ripido e quindi meglio difendibile. Il nuovo nucleo abitato prese il nome di Visse. Tra il 494 e il 526 fu un presidio gotico e nel 579 passò ai longobardi del Ducato di Spoleto. Nel 740 il re Liutprando pose Visso sotto il Castaldo di Ponte, tenendo sul luogo alcuni soldati con a capo uno sculdascio coadiuvato da sottufficiali. Nel secolo successivo Visso restò sotto i duchi di Spoleto e fu governato da un conte feudatario la cui residenza era posta in cima al colle.
Difficile dire cosa resti oggi di questo antico insediamento. Alla fine del IX secolo il conte feudatario di Visso, temendo le incursioni dei Saraceni che si erano spinti nella Sabina e nell’Umbria, trasferì la sua residenza in un castello meglio difeso costruito nei pressi di Nocria di Castelsantangelo sul Nera. Tra il X e l`XI secolo gli abitanti di Visso, concentrati sempre sul declivio del Colle della Concezione, costruirono in cima all’abitato la torre di avvistamento (detta poi torre di S. Giovanni o Torre della Rocca ). Tale struttura faceva parte di un più ampio sistema difensivo del feudo dei Signori di Nocria, realizzato in quel tempo. Fin dai secc. X-XI gli abitanti di Visso iniziarono quel lungo processo che portò, all’inizio del sec. XIII alla nascita del Comune. Verso la fine del XII secolo alcune famiglie di Visso incominciarono ad insediarsi nel fondovalle. La borgata prese il nome di Castel S. Giovanni perché in tale luogo esisteva già da tempo una cappella dedicata al santo, accanto alla quale venne poi costruita l’attuale Collegiata. Il colle fu definitivamente abbandonato dopo il 1328 a causa di un forte terremoto che rese inabitabili la maggior parte delle case. Castel S. Giovanni da quel momento fu definitivamente chiamato Visso, mentre il nome del suddetto santo rimase alla piccola borgata di Vallopa (attuale Borgo S. Giovanni). Sul colle abbandonato, presso la torre di vedetta già esistente, si costruì una rocca a protezione da eventuali nemici provenienti dal passo Appennino e dalla valle di Ussita. Tale rocca era a pianta quadrata con mura e quattro torri. Difficile individuare con precisione oggi tale edificio. La ricostruzione potrebbe essere fatta sulla base di una veduta di Visso con tutto il sistema difensivo completato che Cipriano realizzò nel 1565 (il disegno è pubblicato in `Piante e ritratti delle città e delle terre dell’Umbria`, Istituto Nazionale di Archeologia e Storia dell’Arte, Roma 1964). Nella prima metà del sec. XIII fu costruita la cinta muraria della zona sud. Dalla rocca furono prolungate le mura castellane fino al fiume Nera in modo da racchiudere lo spazio ritenuto sufficiente per le nuove abitazioni. Furono costruiti ventiquattro antemurali e quattro torrioni tra cui quello a sud est attualmente trasformato in Monumento ai caduti. Nel 1232 tale Adamo Tenaggio ed il notaio vissano Bonagiunta fecero una ricognizione delle mura probabilmente ancora in costruzione, mentre, con la costruzione di Porta Pontelato avvenuta nel 1283, i lavori poterono dirsi conclusi. Dai primi anni del sec. XVII le mura incominciarono a cadere in disuso e iniziò il loro degrado che fu maggiore nella parte a nord ben presto sommersa dalla vegetazione. Nella parte a sud esse furono invece generalmente inglobate in nuovi edifici, costruiti a ridosso delle stesse, o demolite. La Torre di S. Giovanni fu danneggiata nel 1944 da eventi bellici, mentre nel 1965 si staccarono alcuni elementi lapidei, finchè nel 1972 una scossa tellurica provocò ulteriori danni. Solamente nel 1974 iniziarono lavori di restauro della torre e dei manufatti adiacenti. Nel 1976 i lavori furono estesi alla prima torre nord ovest e al muraglione adiacente. Nel 1987 si verificarono distacchi di pietre dalla sommità e nel 1991 vennero effettuati altri interventi di restauro e consolidamento.
