Prvá písomná zmienka o obci Kozí Vrbovok pochádza z roku 1262, kedy uhorský panovník Belo IV. daroval obec rodine Kaza, od ktorej sa dostala do majetku Bzovíka. Obec sa spomína od roku 1415 ako majetok tunajších zemanov, neskorši patrila panstvu Bzovík. V roku 1241 sa chotár obce ocitol v rukách Tatárov, ktorí napadli kláštor v Bzovíku. V roku 1433 napadli tento kláštor husiti a vyplienili jeho majetky. Zaoberali sa poľnohospodárstvom a vinohradníctvom. Obcou preteká potok Vrbovok. V roku 1644 V Kozom Vrbovku a na okolí zúri mor. Nepodarilo sa zistiť koľko obyvateľov tejto strašnej chorobe podľahlo. Strašný bol rok 1681, kedy Bzovík a jeho okolie obsadil další kurucký veliteľ Imrich Tokoly.
Čo bolo na tom najstrašnejšie, že všetkých obyvateľov pevnosti- kláštora povraždil a zariadil tu obilný sklad. Sem museli poddaní z okolia a teda aj z Kozieho Vrbovka odovzdať 300 meríc pšenice a 300 meríc ovsa. Až do roku 1848 Kozí Vrbovok žil pomerne kľudným životom.Mobilizačnú vyhlášku o vypuknutí 1. sv vojny do obce nočnou hodinou doniesol kuriér z Krupiny začiatkom júla 1914 . Ešte v noci dal starosta vybubnovať smutnú spávu o narokuvovaní všetkých bojaschopných mužov. Aj Kozí Vrbovok musel zaplatiť krutú daň, domov sa nevrátili 5 občania. Aj 2.sv. vojna zanechala tvrdú daň do Nemecka na prácu boli odvlečení 6. občania, vojna spôsobila veľa ľudskej biedy. Frontovné udalosti prinútili občanov obce k evakuácií na Opavu. Po ťažkých bojoch bola obec úplne zničená a niektoré domy vypálené. Pre Kozí Vrbovok 2. sv. vojna skončila 10. februára 1945. Keď sa obyvatelia vrátili do svojích domovov, hneď sa pustili do obnovy svojho majetku a svojich domov.
V 2. sv. vojne padli 5 občania. Novodobé dejiny sa začali písať v roku 1947 kedy sa do obce zaviedol elektrický prúd. Obec sa začala meniť na nepoznanie, zmizli slamené strechy a tým sa zmenil celkový vzhľad obce. Začala sa výstavba nových družstevných objektov a nových rodinných domov v novej ulici. V roku 1964 sa v rámci "Z" začala výstavba obecného vodovodu, otvorila sa predajňa Jednoty Krupina, ktorá trvá dodnes.
V tomto roku sa dokončila regulácia potoka a tiež výstavba vodnej nádrže -priehrady, ktorá prispela k zlepšeniu celkovej klímy a k zavlažovaniu poľnohospodárskej pôdy stavba zabrala plochu 20 ha. Netreba zabudúť na výstavu materskej školy s kapacitou pre 30 detí a stavbu domu smútku a úprava cintorína, oplotenie, prístupová cesta. V roku 1964 sa začala stavať nová školská budova s jednotriedkou od ročníka 1. až 5. a s bytom pre učiteľa. Rok 1980 bol smutný pre obec, kedy sa zrušila ZŠ a ročníky integrovali na Bzovík. Nepomohli žiadne protesty občanov, prišlo nariadenie a obec ostala bez školy. Žial toho času je zrušená aj materská škola. Z bývalej ZŠ sa zrekonštruoval kultúrny dom.
