书: https://pan.baidu.com/s/1o53U8DJYBlzPKes4X47C8Q?pwd=ymj8
笔记如下：
- “深度学习的本质是‘用层次化的神经网络逼近复杂函数’，激活函数（如ReLU）引入非线性。”
- “TensorFlow的计算图（Graph）模式：定义静态计算流程，
tf.function自动转换为高效图运算。” - “张量（Tensor）是多维数组的抽象，
tf.constant创建常量，tf.Variable管理可训练参数。” - “梯度下降的核心：
tf.GradientTape()自动记录前向计算，tape.gradient()反向传播求导。” - “
tf.keras.Sequential快速堆叠模型，Functional API（输入输出显式连接）支持复杂拓扑。” - “卷积神经网络（CNN）的三大特性：局部感知、权重共享、池化降维，
tf.keras.layers.Conv2D实现。” - “循环神经网络（RNN）的
tf.keras.layers.LSTM解决长程依赖，return_sequences控制输出序列。” - “注意力机制（Attention）的
tf.keras.layers.MultiHeadAttention动态加权关键信息，提升Seq2Seq性能。” - “损失函数选择：分类用交叉熵（
tf.keras.losses.CategoricalCrossentropy），回归用MSE。” - “优化器调参：
Adam自适应学习率，tf.keras.optimizers.schedules实现学习率衰减。” - “数据管道（
tf.data.Dataset）的map预处理、shuffle打乱、batch分批，提升GPU利用率。” - “过拟合对策：
Dropout随机失活神经元，L2正则化惩罚大权重，EarlyStopping监控验证集。” - “模型保存与部署：
model.save()导出H5格式，tf.saved_model生成PB文件适配TF Serving。” - “分布式训练：
tf.distribute.MirroredStrategy单机多卡，MultiWorkerMirroredStrategy多机并行。” - “混合精度训练：
tf.keras.mixed_precision组合FP16和FP32，加速计算并节省显存。” - “自定义层：继承
tf.keras.layers.Layer重写call()，build()初始化可训练参数。” - “
tf.debugging检查张量值，tf.profiler定位性能瓶颈（如GPU利用率低）。” - “生成对抗网络（GAN）的博弈训练：判别器（
D）和生成器（G）交替优化。” - “强化学习集成：
tf_agents库实现DQN、PPO等算法，Environment和Agent分离设计。” - “算法设计心法：‘理解数学原理（如梯度消失）比调参更重要；小数据集先过拟合，再正则化’。”