物品间具有先后关系的ItemCF算法实现
物品间具有先后关系的ItemCF算法实现语义 构件:SOA程序模型设计过程中以实现某种功能的程序片段或模块 流程:使用多个构件进行线性组合后的以实现某种特定功能的执行过程,即SOA工作流 背景SOA工作流中具有很多的构件,这些构件能以线性方式组合成一条流程(流程按照线性关系被依次执行)。在使用一个构件之后,可随之使用另一个后续的构件,前一个构件和后一个构件间具有严明的先后关系,即后一个构件不能反 ...
阅读更多
使用Spark DataFrame实现基于物品的协同过滤算法(ItemCF)
使用Spark DataFrame实现基于物品的协同过滤算法(ItemCF)简介当前spark支持的协同过滤算法只有ALS(基于模型的协同过滤算法),但ALS算法对于某些特定的问题,效果并不理想,不像mahout提供了各种推荐算法。为了享受到spark在速度上带来的提升同时为满足一些业务需求,遂使用spark构建ItemCF算法。同时spark提供了新的DataFrame数据类型,使算法开发更加清 ...
阅读更多
Ambari 2.6.x 本地仓库搭建和离线安装
Ambari 2.6.x 本地仓库搭建和离线安装ambari若从公网安装,速度缓慢而且成功几率为0(就我而言(捂脸))。所以最好的方式是创建离线仓库,加快安装速度,提高成功几率。本文以Ubuntu 16为列进行离线环境搭建。当然其它系统也ok,你可从公共仓库选择兼容自己系统的包文件进行下载。 前提你的集群中的所有主机都可通过ssh免密访问集群中的所有节点(包括自身)。若该步未完成,请参考https ...
阅读更多
Ubuntu16.0.4 手动安装 CDH 5.14.0 (二)cloudera manager安装
Ubuntu16.0.4 手动安装 CDH 5.14.0 (二)cloudera manager安装概述当前所使用的系统为Ubuntu 16.0.4,发行版本为 xenial 准备下载部署相关软件下载以下软件 Cloudera Manager安装包,这里使用5.14.0版本。 cloudera-manager-xenial-cm5.14.0_amd64.tar.gz CDH离线资源包(parc ...
阅读更多