为了满足基于群组通信方式的应用的飞速增长，移动组播成为了下一代移动通信网络中不可或缺的一部分。本课题将分布式多天线、网络编码和跨层优化、中继和协作通信理论引入了移动组播的性能优化，进行了以下方向的研究：.1）在多中继条件下的虚拟MIMO和随机分布式空时编码(Randomized Distributed Space Time Codes, RDSTC) 的组播,我们的研究表明，使用RDSTC的中继可以显著地改善组播业务的中断概率，而其中固定中继的组播中断概率性能仍比用户协作中继略高。.2）提出了一种基于网络编码（Network Coding, NC）的组播ARQ技术,用于解决组播中使用ARQ的可扩展性问题。在此基础上，我们提出了基于平均误包率（Packet-Error-Ratio, PER）的联合优化NC-ARQ和AMC的跨层设计，仿真结果证明我们的设计相对现有的组播ARQ和AMC技术具有显著地频谱效率增益。进一步的时延分析表明相应的时延代价对实际系统是可以接受的。 3）研究了多中继节点的协作组播算法,在平均中断概率约束下联合优化基站发射和中继转发两个阶段的数据传输速率，给出了最大组播信道容量的闭合解及对应的最优中继位置。.移动组播用户之间的协作中继本身是一种终端直通通信（D2D）方式，该方式可以复用蜂窝系统频率资源而提高频谱利用率，减少总的能量消耗。因此我们开始研究D2D通信方式：.1）我们分析了D2D用户和蜂窝用户间的系统干扰和传输速率，提出了D2D用户和蜂窝用户的一个配对组合准则；进一步研究了采用FFR技术的多小区场景下该配对方案的性能，数值结果证明该准则的采用降低了蜂窝用户对D2D用户的干扰以及中断概率。.2）为了研究非规则分布的多小区蜂窝与D2D混合网络的系统性能，我们利用随机几何模型对该混合网络中的四类干扰进行了建模。对于上行复用和下行频谱复用的场景，我们都使用了隔离区（ER）来限制配对的DUE和CUE的位置，并导出了CUE和DUE覆盖率和面积频谱效率的近似表达式。数值结果揭示了隔离区的半径、D2D对的最大允许通信距离和D2D对的密度三者之间的密切的关系，运营商可以参考该结果进行相应的参数设定。