基本信息 Information

大规模语言模型开发基础与实践

丛书名

作者王振丽 编著

版次1

书号35259

ISBN9787301352595

字数572千字

开本

页数368

出版年2024

定价¥89

第1章 大模型基础1.1人工智能1.1.1 人工智能的发展历程1.1.2 人工智能的研究领域1.1.3 人工智能对人们生活的影响1.2机器学习和深度学习1.2.1 机器学习1.2.2 深度学习1.2.3 机器学习和深度学习的区别1.3大模型简介1.3.1 大模型的作用1.3.2 数据1.3.3 数据和大模型的关系1.4大模型开发与应用的技术栈第2章 数据集的加载、基本处理和制作2.1数据集的加载2.1.1 PyTorch加载数据集2.1.2 TensorFlow加载数据集2.2数据集的基本处理2.2.1 转换为Tensor格式2.2.2 标准化处理2.2.3 调整大小和裁剪2.2.4 随机翻转和旋转2.3数据集的制作2.3.1 自定义数据集2.3.2 制作简易图片数据集2.3.3 制作有标签的数据集第3章 数据集的预处理3.1数据清洗和处理3.1.1 缺失值处理3.1.2 异常值检测与处理3.1.3 重复数据处理3.2数据转换与整合3.2.1 特征选择与抽取3.2.2 特征变换与降维3.2.3 数据集成与关联3.3数据标准化与归一化3.3.1 标准化及其重要性3.3.2 特征缩放和归一化3.3.3 数据转换和规范化3.3.4 “最小-最大 ”缩放3.4数据增强技术3.4.1 数据增强的意义3.4.2 图像数据增强3.4.3 自然语言数据增强第4章 卷积神经网络模型 4.1卷积神经网络简介4.1.1 卷积神经网络的发展背景4.1.2 卷积神经网络的结构4.2卷积神经网络模型开发实战4.2.1 使用TensorFlow创建一个卷积神经网络模型并评估4.2.2 使用PyTorch创建手写数字模型第5章 循环神经网络模型5.1文本处理与循环神经网络简介5.1.1 循环神经网络基础5.1.2 文本分类5.2循环神经网络模型开发实战5.2.1 使用PyTorch开发歌词生成器模型5.2.2 使用TensorFlow制作情感分析模型第6章 特征提取6.1特征提取简介6.1.1 特征在大模型中的关键作用6.1.2 特征提取与数据预处理的关系6.2特征的类型和重要性6.2.1 数值特征和类别特征6.2.2 高维数据的挑战6.3特征选择6.3.1 特征选择的必要性6.3.2 特征选择的方法6.4特征抽取6.4.1 特征抽取的概念6.4.2 主成分分析6.4.3 独立成分分析6.4.4 自动编码器6.5文本数据的特征提取6.5.1 嵌入6.5.2 词袋模型6.5.3 TF-IDF特征6.6 图像数据的特征提取6.6.1 预训练的图像特征提取模型6.6.2 基本图像特征:边缘检测、颜色直方图等第7章 注意力机制7.1注意力机制基础7.1.1 注意力机制简介7.1.2 注意力机制的变体7.1.3 注意力机制解决的问题7.2TensorFlow 机器翻译系统7.2.1 项目简介7.2.2 下载并准备数据集7.2.3 文本预处理7.2.4 编码器模型7.2.5 绘制可视化注意力图7.2.6 解码器7.2.7 训练7.2.8 翻译7.3 PyTorch 机器翻译系统7.3.1 准备数据集7.3.2 数据预处理7.3.3 实现Seq2Seq 模型7.3.4 训练模型7.3.5 模型评估7.3.6 训练和评估7.3.7 注意力的可视化第8章 模型训练与调优8.1模型训练优化8.1.1 底层优化8.1.2 样本权重和分类权重8.2损失函数和优化算法8.2.1 损失函数和优化算法的概念8.2.2 TensorFlow损失函数和优化算法8.2.3 PyTorch损失函数和优化算法8.3批量训练和随机训练8.3.1 批量训练和随机训练的概念8.3.2 小批量随机梯度下降8.3.3 批量归一化8.3.4 丢弃8.4模型验证和调优8.4.1 训练集、验证集和测试集8.4.2 交叉验证优化8.4.3 超参数调优第9章 模型推理和评估9.1模型推理9.1.1 模型推理的步骤9.1.2 前向传播和输出计算的过程9.1.3 模型推理的优化和加速9.2模型评估9.2.1 模型评估的方法和指标9.2.2 交叉验证和统计显著性测试的应用第10章 大模型优化算法和技术10.1常见的大模型优化算法和技术10.2梯度下降法10.2.1 梯度下降法简介10.2.2 TensorFlow梯度下降法优化实践10.2.3 PyTorch梯度下降法优化实践10.3模型并行和数据并行10.3.1 模型并行和数据并行的基本概念10.3.2 TensorFlow模型并行和数据并行实践10.3.3 PyTorch模型并行和数据并行实践10.4学习率调度10.4.1 学习率调度的方法10.4.2 TensorFlow学习率调度优化实践10.4.3 PyTorch学习率调度优化实践10.5权重初始化策略10.6迁移学习10.6.1 迁移学习的基本概念10.6.2 TensorFlow迁移学习优化实践10.6.3 PyTorch迁移学习优化实践10.7其他大模型优化算法和技术10.7.1 分布式训练10.7.2 正则化10.7.3 梯度裁剪10.7.4 混合精度训练优化10.7.5 量化优化技术10.7.6 剪枝优化技术第11章 AI智能问答系统(TensorFlow+TensorFlow. js+SQuAD 2.0+Mobile-BERT)11.1背景简介11.1.1 互联网的影响11.1.2 问答系统的发展11.2问答系统的发展趋势:AI 问答系统11.3技术架构11.3.1 TensorFlow.js11.3.2 SQuAD 2.011.3.3 BERT11.3.4 知识蒸馏11.4具体实现11.4.1 编写HTML文件11.4.2 脚本处理11.4.3 加载训练模型11.4.4 查询处理11.4.5 文章处理11.4.6 加载处理11.4.7 寻找答案11.4.8 提取最佳答案11.4.9 将答案转换回原始文本11.5调试运行第12章 AI人脸识别系统(PyTorch+OpenCV+Scikit-Image+MobileNet+ArcFace)12.1 系统简介12.1.1 背景简介12.1.2 人脸识别的发展历史和现状12.2系统需求分析12.2.1 系统功能分析12.2.2 技术分析12.2.3 实现流程分析12.3数据集12.3.1 准备数据集12.3.2 提取人脸12.4训练模型12.4.1 ArcFace算法12.4.2 MobileNet算法12.4.3 开始训练12.5评估模型12.5.1 评估的重要性12.5.2 评估程序12.6人脸识别12.6.1 图像预处理12.6.2 人脸识别模型12.6.3 开始识别

版权所有 © 北京大学出版社 北京大学音像出版社

京ICP备09072562号-1 京公网安备 11010802024978号 出版物经营许可证新出发京批字第版0160