re 패키지를 사용한 병렬처리 시의 주의사항

상황

 

re 패키지를 사용하여 정규표현식을 통해 병렬처리로 수 많은 문장을 검수해야 하는 상황이 있었습니다.

 

문제 발생

 

지속적으로 몇몇 문장에서 코드와는 전혀 다른 문제가 발생했고, 디버깅을 하다보니 결국 정규표현식의 문제라고 판단했습니다.

 

해결책

 

re 패키지에 대한 정보를 검색하던 도중 알아낸 사실은

 

re.compile으로 만들어진 패턴들은 cache에 저장되며, 이는 최대 100개까지고 이보다 많아질 경우 초기화된다는 것입니다.

 

수 많은 패턴들이 동시에 생성되는 형태의 병렬처리의 경우 초기화되면서 문제가 발생할 수 있습니다.

 

이 부분에 대해서 유의하면서 병렬처리를 진행해야 합니다.

 

re.compile이 모든 상황에서 필요한 것은 아닙니다.