Era la casa más extraña para un pueblo fronterizo. El edificio de estilo Segundo Imperio Francés en 400 W. 11th Street en Vancouver, construido alrededor de 1866, todavía se caracteriza hoy por su techo plano y una extraña puerta que da al exterior desde el segundo piso sin balcón.

Conocida como la Casa de Charles Brown, nadie está seguro de quién la construyó. Podría haber sido el padre de Charles, Samuel W. Brown (1819-1908). Por una escritura de 1874 se transfirió a Charles el domicilio de Alonzo Cook, un abogado de Vancouver. Tal vez Cook lo construyó. Su historia original se perdió en el incendio del Palacio de Justicia del Condado de Clark en 1890.

El anciano Brown trajo a su familia de Illinois, donde se desempeñó como alguacil del condado de Knox, representante estatal (1854-1856), alcalde de Galesburg (1857), editor de periódicos y fundador de Lombard College. Como alcalde, conoció al futuro presidente cuando debatió con Stephen Douglas en Knox College en septiembre de 1858. Después de su elección, Abraham Lincoln nombró a SW Brown «Receptor de fondos públicos» y en 1861 lo envió al condado de Clark. La familia Brown cruzó el Istmo de Panamá y llegó a Vancouver ese verano. SW Brown se involucró de inmediato en la política de la ciudad y fue elegido alcalde de Vancouver.

Su hijo Charles Brown (1850-1901) recibió su formación en el lugar, pero pasó un tiempo en San Francisco aprendiendo el oficio de la imprenta. Cuando regresó a Vancouver en 1874, se casó con Rebecca Slocum (1844-1910) en Brown House. Como su padre, estaba en el centro político de la ciudad.

El joven Brown se desempeñó como concejal de la ciudad, tesorero del condado durante cuatro mandatos y auditor. Vancouver lo eligió alcalde en 1887. Cuando su padre y LM Hidden fundaron Vancouver, Klickitat y Yakima Railroad, Charles Brown se convirtió en secretario, vicepresidente de Hidden y presidente de SW Brown. Los inversionistas construyeron 13 millas de vías hasta Brush Prairie antes de vender el tren.