You need to use the te-form of a verb plus すみませんでした to show your apology.

We often say すいませんでした instead of すみませんでした for the easy pronunciation.

おくれて　すみませんでした。(formal)

おくれて　ごめん。(casual)

I'm sorry for being late.

まちがえて　すみませんでした。(formal)

まちがえて　ごめん。(casual)

I'm sorry for making a mistake.

パーティ　に　まにあわなくて　すみませんでした。(formal)

パーティ　に　まにあわなくて　ごめん。(casual)

I'm sorry for not coming to the party by the time.

パーティ　に　こなくて　すみませんでした。(formal)

パーティ　に　こなくて　ごめん。(casual)

I'm sorry for not coming to the party.

References:

Te-forms

https://anchor.fm/yuya-sato/episodes/Te-forms-enfaqj

The Expressions of Te-forms

https://anchor.fm/yuya-sato/episodes/The-Expressions-of-Te-forms-engt2g

Te-forms for adjectives and nouns with です

https://anchor.fm/yuya-sato/episodes/Te-forms-for-adjectives-and-nouns-with-enmm5n

Instagram:

https://www.instagram.com/yuyaman1986