I was working yesterday all day. Де помилка?

У вашому реченні є помилка в порядку слів — часові обставини стоять у неправильному порядку. Правильно сказати:

I was working all day yesterday - Я працював вчора цілий день

В англійській мові кілька обставин часу розташовуються від більш конкретного до менш конкретного.

All day (тривалість) ставимо перед yesterday (конкретний день).