We wspomnianej już charakterystyce wsi z 1961 roku zawarto przypuszczenie, że nazwa Brzustowa "powstała najprawdopodobniej od lasów brzozowych wśród lasów Spalskich (...)".

W dokumencie lokacyjnym z 1367 podana jest nazwa "villa Brzosthov", czyli wieś Brzustów. Ta sama nazwa Brzosthow występuje w dokumentach z roku 1527 i 1623.

W okresie 1511-1523 wieś wymieniana jest jako Brzostowa lub Brzostow. Podobnie nazwa Brzostow wykazywana jest w dokumentach z lat: 1534, 1567, 1577, 1582, 1598 i 1604. We wszystkich tych nazwach Brzosthow (Brzosthov), Brzostowa, Brzostow wyraźnie widać, że rdzeń nazwy to Brzost- i zmieniające się w różnych dokumentach i latach końcówki: -how, -owa, -ow. Gloger charakteryzując pochodzenie nazw wsi i miast podobne nazwy zalicza do grupy nazw wiosek pochodzących od położenia topograficznego – „od rzek, gór, lasów, drzew, błot, pól, kamieni, rodzaju ziemi, wreszcie wyników pracy ludzkiej". Dalej podaje, że od nazwy drzewa dębu powstało 50 różnych form nazw miejscowych, a od olchy, lipy, sosny, brzozy, gruszy, jabłoni i brzostu po kilka lub kilkanaście. Także w monografii Tomaszowa Mazowieckiego znajdujemy informację, że stosunkowo duża liczba nazw wsi nawiązuje do znajdujących się tutaj lasów.

Kozierowski badając nazwy wsi Brzustów, Brzustówka i Brzustówek twierdzi, że: „Wszystkie te trzy między Opocznem a Tomaszowem położone miejscowości dowodzą, że w tej okolicy był brzost po lasach rozpowszechniony”. Wreszcie Olaczek i Tranda opisując drzewa rodzime w lasach dorzecza Pilicy podają, że pojedynczo w lasach spotyka się wszystkie trzy gatunki wiązów – brzost, limak i wiąz polny, a także klon pospolity i rzadko klon polny.

Tak więc nazwa Brzustów pochodzi od brzostu (nie od brzozy), gatunku spotykanego w lasach liściastych całej Polski, czyli wiązu górskiego (łac. Ulmus glabra Huds). Podobnie od nazw gatunków drzew leśnych pochodzą nazwy sąsiadujących z Brzustowem wsi: od dębu – Dęba i Dęborzeczka, a od modrzewia – Modrzew i Modrzewek.