深度学习笔记】用深度学习推荐 Spotify 上的音乐
最编程
2024-06-18 16:56:04
...
主要内容:
Spotify是个类似酷我音乐的音乐站点。做个性化音乐推荐和音乐消费。作者利用deep learning结合协同过滤来做音乐推荐。
详细内容:
1. 协同过滤
基本原理:某两个用户听的歌曲都差点儿相同,说明这两个用户听歌的兴趣、品味类似。某两个歌曲,被同一群人听,说明这两个歌曲风格类似。
缺点:
(1)没有利用歌曲本身的特征(信息)
(2)无法对“层级”的item进行处理,对于歌曲来说,这样的层级关系体如今:专辑—主打歌—副歌,上面,这几种因素并非同等重要的
(3)冷启动问题:协同过滤的方法用用户行为来进行推荐,没有行为的用户和item怎么办?
2. 基于内容的推荐
spotify正在进行的尝试,用内容之间的关系(相似度)来进行推荐。content-based recommendation,除了用用户行为信息之外,歌曲内容的信息也能够被用来计算item之间的相似度。
而作者在这里要尝试的是,依据歌曲本身的音频信号来计算歌曲之间的相似度。
DL擅好处理音频、图像等原始信息,作者用DL在这里来处理歌曲的音频信息,从而计算歌曲之间的相似度。(个人补充:同一时候,用户听得歌曲列表,也能够看做是一首歌曲,这首歌曲也能够计算和其它歌曲的相似度。这样就计算了用户和某个歌曲的相似程度。进一步作为给当前用户做推荐的理由)
3. predicting listening preference with deep learning
将歌曲音频信息、以及歌曲的其它标记信息(专辑、作者等)通过深度神经网络的方式映射到一个低维latent space中,用这个低维空间向量来表示歌曲。
神经网络的结构例如以下:
最左端是音频输入层。然后是连个卷及网络,然后是几个全连接的正常神经网络。作者并没有解释为什么是这种网络结构。最后一层40个节点。输出是vector_exp算法的结果,不是softmax。只是从名字上看貌似他俩都差点儿相同,可能一个实现性函数。还有一个是非线性的函数。
用神经网络的一个问题就是:神经网络的输出是定长的,而歌曲音频(不管从时间还是从文件大小来看)都是变长的,怎样把边长的原始输入映射到定长的神经网络输入其中?——这个也是NLP领域在用神经网络的时候遇到的问题。作者的作法非常粗糙也非常干脆:把音频文件分成3秒钟一个段,然后各段的输入数值取平均值,作为整个歌曲的输入向量。
对于一个用户。历史上听过非常多歌曲,也是这么处理,终于得到用户的歌曲向量。
4. 训练
用MSE准则来训练。
另一个问题,DL是有监督学习方法。那么神经网络的标准输出是什么?也就是。对于一个给定歌曲,最后40维的标准输出结果是什么?我理解。文章中的意思是标准协同过滤模型、通过LDA等降维之后。当前歌曲相应的维度输出结果。那么,接下来的问题,既然用矩阵分解的结果作为标准,作者为什么还费事训练DL呢?一方面是解决冷启动问题(对于新歌的预測),另一方面,对音频信息与矩阵分解结果做映射,可能就像作者文章最開始说的。也能利用音频本身的信息吧。
在模型应用上面。训练好神经网络之后,对于一个新歌。可以通过既定的网络參数计算得出这个歌曲的相应的latent representation(40维输出结果);而对于一个用户,通过对他历史听歌习惯来进行计算。也能计算这样一个40维的结果,两个向量夹角就能计算这个用户是否是对这个歌曲感兴趣。
5. 其它尝试
作者还做了其它尝试。包含用不同的协同过滤模型分别训练出来40维结果。然后将这些向量拼起来。或者尝试用很多其它层的神经网络。
6. what is it learning?
分析详细的学习结果:音频片段等等。
完。
转载请注明出处:http://blog.****.net/xceman1997/article/details/38475083
本文转自mfrbuaa博客园博客,原文链接:http://www.cnblogs.com/mfrbuaa/p/5196199.html,如需转载请自行联系原作者
推荐阅读
-
深度学习笔记】用深度学习推荐 Spotify 上的音乐
-
[姿势估计] 实践记录:使用 Dlib 和 mediapipe 进行人脸姿势估计 - 本文重点介绍方法 2):方法 1:基于深度学习的方法:。 基于深度学习的方法:基于深度学习的方法利用深度学习模型,如卷积神经网络(CNN)或递归神经网络(RNN),直接从人脸图像中学习姿势估计。这些方法能够学习更复杂的特征表征,并在大规模数据集上取得优异的性能。方法二:基于二维校准信息估计三维姿态信息(计算机视觉 PnP 问题)。 特征点定位:人脸姿态估计的第一步是通过特征点定位来检测和定位人脸的关键点,如眼睛、鼻子和嘴巴。这些关键点提供了人脸的局部结构信息,可用于后续的姿势估计。 旋转表示:常见的旋转表示方法包括欧拉角和旋转矩阵。欧拉角通过三个旋转角度(通常是俯仰、偏航和滚动)描述头部的旋转姿态。旋转矩阵是一个 3x3 矩阵,表示头部从一个坐标系到另一个坐标系的变换。 三维模型重建:根据特征点的定位结果,三维人脸模型可用于姿势估计。通过将人脸的二维图像映射到三维模型上,可以估算出人脸的旋转和平移信息。这就需要建立人脸的三维模型,然后通过优化方法将模型与特征点对齐,从而获得姿势估计结果。 特征点定位 特征点定位是用于检测人脸关键部位的五官基础部分,还有其他更多的特征点表示方法,大家可以参考我上一篇文章中介绍的特征点检测方案实践:人脸校正二次定位操作来解决人脸校正的问题,客户在检测关键点的代码上略有修改,坐标转换部分客户见上图 def get_face_info(image). img_copy = image.copy image.flags.writeable = False image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) results = face_detection.process(image) # 在图像上绘制人脸检测注释。 image.flags.writeable = True image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR) box_info, facial = None, None if results.detections: for detection in results. for detection in results.detections: mp_drawing.Drawing.detection = 无 mp_drawing.draw_detection(image, detection) 面部 = detection.location_data.relative_keypoints 返回面部 在上述代码中,返回的数据是五官(6 个关键点的坐标),这是用 mediapipe 库实现的,下面我们可以尝试用另一个库:dlib 来实现。 使用 dlib 使用 Dlib 库在 Python 中实现人脸关键点检测的步骤如下: 确保已安装 Dlib 库,可使用以下命令: pip install dlib 导入必要的库: 加载 Dlib 的人脸检测器和关键点检测器模型: 读取图像并将其灰度化: 使用人脸检测器检测图像中的人脸: 对检测到的人脸进行遍历,并使用关键点检测器检测人脸关键点: 显示绘制了关键点的图像: 以下代码将参数 landmarks_part 添加到要返回的关键点坐标中。
-
墙裂推荐|GitHub上最受欢迎的57个深度学习开源项目