Kristoffer Nygård, Byggnadsarbetare