一个关于多线程对象释放的问题

最近做一个项目，碰到一个对象释放问题：

模型是这样的，多个线程操作一个对象，对象提供出来的接口是线程安全的，然后多个线程将对象加到线程池队列中等待执行，

然后问题就出来了，代码如下。

	while(t->m_running){
		
		if(__SEMTAKE(j->m_semaphoreQue, 500)){
			continue;
		}

		if(!t->m_running){
			break;
		}

		IStream * s = NULL;
		{
			__LOCK(j->m_mutexQue);
			if(!j->m_queTask.empty()){
				s = j->m_queTask.front();
				j->m_queTask.pop_front();
			}
		}
		
		if(s){
			(s)->TransferStream();
		}
	}

IStream就是那个对象，当别的线程进行删除操作时，怎么保证这个对象可以安全删除，也就是这个对象没有别的线程在引用了。

智能指针似乎可以解决这个问题，除了智能指针，

有人说com技术的引用计数器，那个操作起来比较复杂，计数器需加锁，

会导致程序的架构有点改动，还有别的方法吗？