Основа фамилии мало распространенное православное крестильное имя Олимпий (от греческого Олимп — название горы, считавшейся местопребыванием богов). В акающих говорах начальное о заменилась на а, такая замена могла произойти как на стадии имени так и на стадии фамилии.