Não conhecida a sua história de fundação, é apenas conhecido que esta região foi habitada desde o Paleolítico, devido a vestígios encontrados em escavações arqueológicas em 2008, realizadas junto ao castelo, apresentando artefactos da pré-história, tendo sido herdeira de um castro-luso-romano, com o nome Castra Leuca.

Após a reconquista, em 1165, D. Afonso Henriques que doou à Ordem do Templo, sendo mais tarde, confirmado por D. Sancho I, em 1198, portanto esta região, da Beira foi promovida para povoamento e linha de defesa contra ataques. No século XIII, comparece um documento que relata a doação aos Templários, retratando uma herdade denominada de Vila Franca da Cardosa, emitido por D. Fernando Sanches, sendo que em 1214, D. Afonso II doa a restante parte da herdade, e assim esta ficou totalmente sob poder dos Templários, ficando reconhecida a régia doação pelo Papa Inocêncio III, cuja vila fortificaram e apelidaram de Castelo Branco.

Com um rápido desenvolvimento, Castelo Branco ganhou importância, sendo realizada nesta capítulos da Ordem do Templo, porém com a extinção da Ordem dos Templários, os seus bens passaram para a Ordem de Cristo, que fizeram uma comenda a essa ordem extinta, permitindo a residência de comendadores e jurisdição em outras comendas.

Apesar do solo não ser tão generoso, os espaços agrícolas eram bastante abundantes, mas a sua fertilidade pecava juntamente com a autoridade pesada que os Templários exerciam, não sendo algo apelativo para a fixação do povoado, assim grande parte das terras foram entregues a ordens militares, que não tinham um desenvolvimento tão próspero como os terrenos vizinhos, sendo que aplicaram chacinas aos seus vizinhos, apesar da punição aplicada pelo rei, estes aterrorizavam o povo vizinho da Covilhã.