Het huis Assumburg wordt voor het eerst vermeld in 1322. De leenman is dan Jan van Rietwijk, zoon van Willem van Rietwijk van Velsen. Het huis van Rietwijk onder Velsen, wellicht gelegen tegenover huis Beeckestein, is tot op heden nog niet getraceerd.
Op het huis heeft de familie Van Assendelft gewoond. Twee gelijknamige telgen, beide Gerrit van Assendelft de één van ca. 1415-1486 de ander van 1487-1558, vervullen belangrijke functies in Den Haag. Zo wordt de jonge Gerrit raadsman (1515-1528), later president van het Hof van Holland (1528-1558). Daarnaast vervulde hij nog tal van belangrijke functies in het graafschap Holland.
Het huis Assemburg is verheven tot de hoge jurisdictie: een baljuwschap. Dit betekende dat op het slot recht gesproken mocht worden, ook als het ging om zware zogenaamde halsmisdrijven.