简介
一 推荐系统简介
1.1_推荐系统简介
1.2_推荐系统架构设计
1.3_推荐算法
1.4_案例--基于协同过滤的电影推荐
1.5_推荐系统评估
1.6_推荐系统的冷启动问题
二 推荐系统算法
2.1_基于模型的协同过滤推荐
2.2_基于回归模型的协同过滤推荐
2.3_基于矩阵分解的协同过滤推荐
2.4_LFM算法实现
2.5_BiasSVD算法实现
2.6_基于内容的推荐算法
2.7_电影推荐(ContentBased)物品画像
2.8_电影推荐(ContentBased)用户画像
2.9_电影推荐(ContentBased)TOP-N用户推荐
三 Hadoop
3.1 Hadoop概述
01_什么是Hadoop
02_Hadoop核心组件
03_Hadoop优势
3.2 分布式文件系统HDFS
01_HDFS的使用
02_HDFS Shell操作
03_HDFS设计思路
04_HDFS架构
05_HDFS环境搭建
3.3 YARN&MapReduce
01_资源调度框架YARN
02_分布式计算框架MapReduce
03_MapReduce实战
04_MapReduce原理
3.4 Hadoop概念扩展
01_Hadoop生态系统
02_HDFS读写流程&高可用
03_Hadoop发行版选择
四 Hive
01_Hive基本概念
02_Hive的shell操作
03_Hive的函数和自定义函数
04_Hive综合案例
五 HBase
01_HBase简介与环境部署
02_Hbase数据模型
03_Hbase的安装与shell操作
04_HappyBase操作HBase
05_HBase组件
六 Spark Core
01_Spark入门
02_RDD概念介绍
03_RDD常用算子练习
04_Spark-Core实战案例_pv&uv统计
05_Spark-Core实战_ip统计
06_Spark安装部署&standalone模式介绍
七 Spark SQL
01_Spark SQL简介
02_DataFrame介绍
03_Spark SQL 处理JSON数据
04Spark SQL案例数据清洗
八 Spark Streaming
05_Spark Streaming简介
06_Spark Streaming实现WordCount
07_Spark Steaming的状态操作
九 电商推荐案例
01_个性化电商广告推荐系统介绍
02_根据用户行为数据创建ALS模型并召回商品
03_CTR预估数据准备
04_逻辑回归(LR)实现CTR预估
05_离线推荐处理
06_实时推荐
Published with GitBook
03_HDFS设计思路
2.3 HDFS设计思路
分布式文件系统的设计思路:
HDFS的设计目标
适合运行在通用硬件(commodity hardware)上的分布式文件系统
高度容错性的系统,适合部署在廉价的机器上
HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用
容易扩展,为用户提供性能不错的文件存储服务
results matching "
"
No results matching "
"