На просторот каде, според одредени научни претпоставки, некогаш постоела населбата Козјак, на десетина километри североисточно од градот Штип, во месноста Горни Козјак и во близина на археолошкиот локалитет Баргала, подигната е средновековната црква Св. Ѓорѓи.

Постојат различни теории и претпоставки за времето на нејзиното настанување. Одредени мислења го посочуваат периодот од XI-XII век, но поголем број научници ја датираат во периодот од IX-X век, односно во времето на покрстувањето на Словените по долината на Брегалница. Станува збор за црква изградена од кршен речен камен со варов малтер и со многу доцноантички сполии од Баргала. Таа е со основа на впишан крст и со купола чиј тамбур е осмостран. Нартексот е со камен свод и преку трибелонот е поврзан со наосот.

По една голема бифора има на северната и јужната страна. Извршените истражувања укажуваат дека во XIV век црквата е обновена, при што на јужната страна на нартексот е доѕидан параклис со квадратна основа и полукружен тамбур, горните делови на бифорите се затворени и извршено е третото по ред живописување. Од првиот слој на живопис од двете полукружни ниши, само од јужната е сочуван фрагмент од фреска на која бил претставен лик на светител. Вториот слој на живопис е датиран во третата четвртина од XIII век, од кога потекнува старата фреска од северозападниот пиластер на која, со архаичен изглед, е претставен Исус Христос Антифонитис. Третиот слој на живопис е од XIV век и, според разликите во стилските особености и уметничките квалитети, се претпоставува дека потекнува од најмалку четворица сликари.

Како најуспешни се издвојуваат мајсторот што ги насликал композициите од северниот и јужниот ѕид, како и оној кој се јавува како автор на композицијата што се наоѓа јужно од влезната врата, на западниот ѕид, а на која е насликан непознатиот ктитор (обновувач) на црквата, неговата жена и син, сите во цел раст, поставени анфас и во молитвена поза. Од сочуваните фрагменти од живописот во припратата може да се забележи дека таму биле претставени сцени од животот на светецот на кого е посветена црквата. Светители и воини во цел раст се насликани во првата зона во наосот, а од нив се сочувани Св. Петка, Св. Недела, Св. Димитрие, Св. Кузман и Дамјан и др.

Сцени од Големите празници се насликани во горните зони, а од нив се издвојуваат: “БлаговеШтението” на источниот ѕид, на јужниот “Крштењето” и “Сретењето” со “Раѓањето на Христа” над нив, “Успението Богородичино” и над него “Преображението” на западниот ѕид, и на северниот “Лазаревото воскресение”, “Влегувањето во Ерусалим” и др. Архиереи во цел раст се насликани во првата зона во олтарот, а над нив се претставени архиереи во попрсја.

Од источниот крак на крстот, на јужниот ѕид претставена е Богородица со Христос, над неа Св. Ана во попрсје, а на северниот ѕид, исто така во попрсје, насликан е Св. Јоаким. Во внатрешноста на црквата има гроб за кој не се знае од кога потекнува, дали постоел пред нејзиното подигнување или пак некој покојник е погребан во нејзината внатрешност. Исто така околу црквата е откриена некропола со гробни дупки и камени гробни конструкции каде погребувањето се извршувало во периодот од VII па се до втората деценија на XX век.