2 Star 2 Fork 0

平台 / GoatSucker

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README
MulanPSL-2.0

GoatSucker

介绍

GoatSucker用户行为分析产品,通过对终端用户的行为数据分析,展现各项统计指标,为产品运维、产品优化提供决策依据,提高关键业务转化率,扩大客户范围,提高客户忠诚度,创造新的商机。

软件架构

输入图片说明

安装教程

运行环境准备

1、说明

安装手册中使用的test用户为示例用户,可以根据需要随意选择用户名和密码,但是必须保证所有节点用户名密码一致

安装过程中会关闭防火墙和selinux。安装完成后可以根据需要设置防火墙,但是需要保证所有节点可以无障碍通讯

安装过程中会将/etc/sudoers中的requiretty注释掉

在生产环境中,请妥善设置各组件的数据和日志存储位置,以避免硬盘空间不足或者硬盘IO成为性能瓶颈,最好能将不同组件的数据放置到不同的物理硬盘上,以免造成磁盘IO竞争。具体设置方法请参考附录A

默认情况下,安装过程中会将服务器原有的yum源文件移动到临时目录/tmp/repobak/,在安装结束后会移动到原来的位置。如果想在安装过程中使用原有的yum源,请设置conf.sh中的SKIP_EXISTING_REPO

安装过程中有问题可以参考附录B

2、系统要求

集群由一台主节点和多台从节点组成,各节点必须满足如下条件:

1.操作系统为Centos 6.8 minimal版,内存最小16G,硬盘最小50G

2.在所有节点上创建用户test,设置密码123456,要求test用户能够无密码sudo

3.所有节点设置正确的hostname和IPv4地址,设置正确的域名解析和反解析机制,将每个节点的hostname写入/etc/sysconfig/network,各个节点能够通过hostname互相访问

4.设置时间同步机制,使得各节点时间能够保持同步

5.如果需要邮件报警服务,则要求服务器能够连接到相应的邮件服务器

3、安装CDH

所有的后续步骤的命令行操作均使用用户test执行

1.将安装介质压缩包复制到主节点的用户目录下

2.运行tar xvf ci-*.tar.gz && cd ci,进入解压后的ci文件夹

3.修改ci文件夹下的conf.sh文件

1)设置WORKERS_HOSTNAME: 此项为所有节点的hostname数组,每行写一个hostname。主节点和所有的从节点都需要写入此处

2)CI大数据软件平台默认安装文件夹为/opt/test/,默认数据文件夹为/data/。所需所有软件会默认安装到/opt/test/,mongodb和kafka的数据则会默认分别放置在/data/mongodb/和/data/kafka/目录,可以设置TEST_HOME和DATA_DIR更改默认路径。

3)如果需要在安装过程中使用原有的yum源,请将此文件中的SKIP_EXISTING_REPO设置为FALSE

4.运行./prepareMaster.sh。最后控制台提示” CI master OK!”表示主节点准备完成。

5.运行./ssh.sh '123456',其中123456为该用户密码,需要使用单引号包含起来。最后控制台提示” SSH OK”表示无密钥登录准备成功。

6.运行./prepareWorkers.sh。最后控制台提示”CI workers OK!!”表示从节点安装成功,此时会显示cloudera manager登录url,使用用户名admin密码admin登录。

4、添加CDH集群

登录后选择免费版本,此时所有节点将出现在此处,选择所有的主机

安装方法选择Parcel

将出现如下选项

选择继续,JDK和单用户模式都不用勾选

安装完成后会提示选择添加的服务,选择自定义服务,注意合理分配每台服务器的角色

Cloudera Management Service中的Activity Monitor可以不添加,如果需要CDH提供邮件报警功能,需要进行邮件相关设置。在cloudera manager中的管理->警报功能中,可以发送测试邮件警报。

5、CDH中添加服务

CDH中随时可以添加服务,利用下图所示功能进行。

6、安装其他软件

在控制台中运行./weblauncher.sh,根据提示的url,进入其他软件的安装界面

6.1基本设置

在基本设置中进行其他软件和邮件提醒相关设置

6.2角色分配

在角色分配页面上方页面添加需要添加的服务,将其拖拽到下方的服务器上,表示该服务将被安装到该服务器上

6.3安装

在”配置预览及安装”tab页面点击安装。

6.4安装验证

安装日志提示”please verify CI cluster”后,根据提示在主节点验证各软件安装的正确性。

7、CDH服务配置

可以根据需要进行CDH中服务的设置

7.1 配置Kudu 存储路径

根据实际系统挂载的物理盘情况,指定数据和日志文件存放路径,合理规划尽量减少磁盘竞争。

7.2 配置Oozie服务

根据实际需求,填写报警邮件服务信息:

将邮件服务器地址,邮箱地址填入相应输入框。

8、附录A 存储

8.1CDH服务数据和日志的存储设置

例如设置HDFS的数据目录,如下图所示,将数据存储在/disk2上

例如设置HDFS的日志目录和日志保存,如下图所示,将日志存储在/disk2上,最多保留5个日志文件,每个日志文件最大10M

在设置zookeeper时,建议将事务日志目录设置在单独的磁盘上以提高性能

8.2Mongodb和kafka存储位置

CI大数据软件平台默认数据文件夹为/data/,mongodb和kafka的数据则会默认分别放置在/data/mongodb/和/data/kafka/目录,可以在conf.sh文件中设置数据存储路径和软件安装路径

9、附录B 常见问题

9.1RPM冲突

如果安装过程中出现了rpm冲突,可以用以下任意方法解决,然后重新运行安装命令

1.降级服务器上已经安装的版本过高的rpm

例如 yum downgrade openssl

2.移除服务器上无用的rpm包

例如 yum erase krb5-workstation

3.使用外部的yum源

例如在/etc/yum.repos.d/文件夹中添加163.repo文件,文件中输入

[163]

name=163

baseurl=http://mirrors.163.com/centos/6/os/x86_64/

gpgcheck=0

其中proxy是需要代理时的设置

然后请将conf.sh中的SKIP_EXISTING_REPO设置为FALSE

10、附录C 安装后常见问题

10.1主节点上的httpd服务有什么作用?如何停止?

该httpd是安装过程中使用的文件共享服务器和yum源,如果已经完成了安装,可以用如下命令将其停止.

sudo chkconfig httpd off

sudo service httpd stop

10.2如何自动启动服务?

在cloudera manager中添加的服务会被cloudera监控运行状态,并且能够服务异常状态检测和提醒除此之外,安装程序会利用crontab定时监控端口,并且自动重启相关进程.监控端口监听情况,需要修改/etc/test/tcpPorts

文件内容为端口#命令

例如

18080#/opt/test/spark/sbin/start-history-server.sh

表示如果系统检测到本机的18080端口没有被监听,则执行/opt/test/spark/sbin/start-history-server.sh

10.3如何从公网采集数据?

系统部署到内网后,往往需要从公网采集数据.

可以直接将内网的采集接口映射到公网上

也可以另外设置网络隔离区,将采集接口部署到隔离区,并保证隔离区内能够访问内部网络的9092和27017端口

11、运维FAQ

11.1怎么切换到root用户?

运行su - root或者sudo -s

11.2Cloudera manager无法正常工作怎么办?

切换到root用户,检查日志文件/var/log/cloudera-scm-server/cloudera-scm-server.log,用/etc/init.d/cloudera-scm-server status检查manager状态,用/etc/init.d/cloudera-scm-server start启动manager

11.3怎么登录Cloudera manager?

浏览器打开登录主节点的7180端口进行登录,用户名密码默认都是admin

11.4怎么修改某个服务的配置项?

例如要修改zookeeper的”自动清空时间间隔”,登录Cloudera manager之后,点击zookeeper,点击配置,在搜索框中搜索”自动”

11.5如何减少zookeeper的数据?

修改zookeeper服务的”自动清空时间间隔”和”自动清空快照保留计数”后,重启zookeeper服务

11.6如何重启某个服务?

可以在服务的”实例”页面,依次选中服务实例进行重启

也可以在服务页面重启整个服务,重启整个服务会引起相关服务重启

11.7Yum 冲突时降级安装包版本

Yum downgrade packageName

11.8更改hostname 之后重新登录一遍,使hostname 更改生效

11.9如果出错重新跑一遍脚本按照如下步骤

  1. 停止cloudera 服务,然后再重新跑一遍脚本

service cloudera-scm-server stop

service cloudera-scm-agent stop

  1. 删除etc/yum.d/ 下所有的cloudera开头的repo 文件后重试

  2. HDFS NFS GATEWAY 启动失败。连接端口号错误

sudo service rpcbind start

4.service ntpd start 开启服务器同步时钟

配置/etc/ntp.cpnf 文件,将其中一台设置为服务器

Ntpstat 查看同步状 或者 ntpq –p

安装运行

1、安装客户智能

1.将ci-installer-*-dist.tgz复制到主节点的用户目录下

2.运行tar xvf ci-installer-*-dist.tgz,cd进入解压后的文件夹

3.运行./startup.sh开启安装服务器,按照提示用浏览器打开链接

4.将需要安装的服务拖拽到相应服务器上

5.点击安装,安装日志中出现”please use CI on this url”表示安装完成

6.等待几分钟,以便系统自动启动相应服务

7.登录上述url使用客户智能系统

2、修改服务配置项

服务自动化部署后,需配置一些服务参数,以保证系统稳定运行:

1.oozie配置

在cloudrea manager上点击oozie->配置->高级

在“oozie-site.xml 的 Oozie Server 高级配置代码段(安全阀)”中添加:

oozie.processing.timezoneGMT+0800BeiJing

修改配置后,保存配置并重启oozie

2.配置提供稳定服务的最小内存

在cloudrea manager上点击YARN->配置,修改如下配置:

yarn.app.mapreduce.am.resource.mb=1

yarn.nodemanager.resource.memory-mb=3

yarn.scheduler.maximum-allocation-mb=3

mapreduce.map.memory.mb=2

mapreduce.map.java.opts.max.heap=1.6

mapreduce.reduce.memory.mb=2

mapreduce.reduce.java.opts.max.heap=1.6

修改配置后,保存配置并重启yarn,然后点击“操作”,部署客户端配置

3、常见问题

1查看kafka消息接收情况

需要在安装了kafka broker的服务器上运行以下命令:

查看手机客户端kafka数据接收情况

/opt/cloudera/parcels/jdt/bin/mobileViewer

查看网页客户端kafka数据接收情况

/opt/cloudera/parcels/jdt/bin/siteViewer

2提交storm拓扑

需要在主节点上运行以下命令:

提交手机客户端处理拓扑

/opt/test/submitMobile.sh

提交网页客户端处理拓扑

/opt/test/submitSite.sh

提交推荐和受众洞察处理拓扑

/opt/test/submitPS.sh

使用说明

  1. 注册账号登陆后,默认进入到“我的账户”。在“我的账户”里可以阅读帮助文档,设置着陆页,修改密码。

输入图片说明 2. 概要显示最近“今天”,“昨天”,“最近7天”,“最近30天”,“最近60天”统计指标。

输入图片说明 3. 新增用户,网站分析以CookieID为用户唯一标识,终端分析以设备ID为用户唯一标识。

输入图片说明

参与贡献

  1. Fork 本仓库
  2. 新建 Feat_xxx 分支
  3. 提交代码
  4. 新建 Pull Request
木兰宽松许可证, 第2版 木兰宽松许可证, 第2版 2020年1月 http://license.coscl.org.cn/MulanPSL2 您对“软件”的复制、使用、修改及分发受木兰宽松许可证,第2版(“本许可证”)的如下条款的约束: 0. 定义 “软件”是指由“贡献”构成的许可在“本许可证”下的程序和相关文档的集合。 “贡献”是指由任一“贡献者”许可在“本许可证”下的受版权法保护的作品。 “贡献者”是指将受版权法保护的作品许可在“本许可证”下的自然人或“法人实体”。 “法人实体”是指提交贡献的机构及其“关联实体”。 “关联实体”是指,对“本许可证”下的行为方而言,控制、受控制或与其共同受控制的机构,此处的控制是指有受控方或共同受控方至少50%直接或间接的投票权、资金或其他有价证券。 1. 授予版权许可 每个“贡献者”根据“本许可证”授予您永久性的、全球性的、免费的、非独占的、不可撤销的版权许可,您可以复制、使用、修改、分发其“贡献”,不论修改与否。 2. 授予专利许可 每个“贡献者”根据“本许可证”授予您永久性的、全球性的、免费的、非独占的、不可撤销的(根据本条规定撤销除外)专利许可,供您制造、委托制造、使用、许诺销售、销售、进口其“贡献”或以其他方式转移其“贡献”。前述专利许可仅限于“贡献者”现在或将来拥有或控制的其“贡献”本身或其“贡献”与许可“贡献”时的“软件”结合而将必然会侵犯的专利权利要求,不包括对“贡献”的修改或包含“贡献”的其他结合。如果您或您的“关联实体”直接或间接地,就“软件”或其中的“贡献”对任何人发起专利侵权诉讼(包括反诉或交叉诉讼)或其他专利维权行动,指控其侵犯专利权,则“本许可证”授予您对“软件”的专利许可自您提起诉讼或发起维权行动之日终止。 3. 无商标许可 “本许可证”不提供对“贡献者”的商品名称、商标、服务标志或产品名称的商标许可,但您为满足第4条规定的声明义务而必须使用除外。 4. 分发限制 您可以在任何媒介中将“软件”以源程序形式或可执行形式重新分发,不论修改与否,但您必须向接收者提供“本许可证”的副本,并保留“软件”中的版权、商标、专利及免责声明。 5. 免责声明与责任限制 “软件”及其中的“贡献”在提供时不带任何明示或默示的担保。在任何情况下,“贡献者”或版权所有者不对任何人因使用“软件”或其中的“贡献”而引发的任何直接或间接损失承担责任,不论因何种原因导致或者基于何种法律理论,即使其曾被建议有此种损失的可能性。 6. 语言 “本许可证”以中英文双语表述,中英文版本具有同等法律效力。如果中英文版本存在任何冲突不一致,以中文版为准。 条款结束 如何将木兰宽松许可证,第2版,应用到您的软件 如果您希望将木兰宽松许可证,第2版,应用到您的新软件,为了方便接收者查阅,建议您完成如下三步: 1, 请您补充如下声明中的空白,包括软件名、软件的首次发表年份以及您作为版权人的名字; 2, 请您在软件包的一级目录下创建以“LICENSE”为名的文件,将整个许可证文本放入该文件中; 3, 请将如下声明文本放入每个源文件的头部注释中。 Copyright (c) [Year] [name of copyright holder] [Software Name] is licensed under Mulan PSL v2. You can use this software according to the terms and conditions of the Mulan PSL v2. You may obtain a copy of Mulan PSL v2 at: http://license.coscl.org.cn/MulanPSL2 THIS SOFTWARE IS PROVIDED ON AN "AS IS" BASIS, WITHOUT WARRANTIES OF ANY KIND, EITHER EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO NON-INFRINGEMENT, MERCHANTABILITY OR FIT FOR A PARTICULAR PURPOSE. See the Mulan PSL v2 for more details. Mulan Permissive Software License,Version 2 Mulan Permissive Software License,Version 2 (Mulan PSL v2) January 2020 http://license.coscl.org.cn/MulanPSL2 Your reproduction, use, modification and distribution of the Software shall be subject to Mulan PSL v2 (this License) with the following terms and conditions: 0. Definition Software means the program and related documents which are licensed under this License and comprise all Contribution(s). Contribution means the copyrightable work licensed by a particular Contributor under this License. Contributor means the Individual or Legal Entity who licenses its copyrightable work under this License. Legal Entity means the entity making a Contribution and all its Affiliates. Affiliates means entities that control, are controlled by, or are under common control with the acting entity under this License, ‘control’ means direct or indirect ownership of at least fifty percent (50%) of the voting power, capital or other securities of controlled or commonly controlled entity. 1. Grant of Copyright License Subject to the terms and conditions of this License, each Contributor hereby grants to you a perpetual, worldwide, royalty-free, non-exclusive, irrevocable copyright license to reproduce, use, modify, or distribute its Contribution, with modification or not. 2. Grant of Patent License Subject to the terms and conditions of this License, each Contributor hereby grants to you a perpetual, worldwide, royalty-free, non-exclusive, irrevocable (except for revocation under this Section) patent license to make, have made, use, offer for sale, sell, import or otherwise transfer its Contribution, where such patent license is only limited to the patent claims owned or controlled by such Contributor now or in future which will be necessarily infringed by its Contribution alone, or by combination of the Contribution with the Software to which the Contribution was contributed. The patent license shall not apply to any modification of the Contribution, and any other combination which includes the Contribution. If you or your Affiliates directly or indirectly institute patent litigation (including a cross claim or counterclaim in a litigation) or other patent enforcement activities against any individual or entity by alleging that the Software or any Contribution in it infringes patents, then any patent license granted to you under this License for the Software shall terminate as of the date such litigation or activity is filed or taken. 3. No Trademark License No trademark license is granted to use the trade names, trademarks, service marks, or product names of Contributor, except as required to fulfill notice requirements in Section 4. 4. Distribution Restriction You may distribute the Software in any medium with or without modification, whether in source or executable forms, provided that you provide recipients with a copy of this License and retain copyright, patent, trademark and disclaimer statements in the Software. 5. Disclaimer of Warranty and Limitation of Liability THE SOFTWARE AND CONTRIBUTION IN IT ARE PROVIDED WITHOUT WARRANTIES OF ANY KIND, EITHER EXPRESS OR IMPLIED. IN NO EVENT SHALL ANY CONTRIBUTOR OR COPYRIGHT HOLDER BE LIABLE TO YOU FOR ANY DAMAGES, INCLUDING, BUT NOT LIMITED TO ANY DIRECT, OR INDIRECT, SPECIAL OR CONSEQUENTIAL DAMAGES ARISING FROM YOUR USE OR INABILITY TO USE THE SOFTWARE OR THE CONTRIBUTION IN IT, NO MATTER HOW IT’S CAUSED OR BASED ON WHICH LEGAL THEORY, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGES. 6. Language THIS LICENSE IS WRITTEN IN BOTH CHINESE AND ENGLISH, AND THE CHINESE VERSION AND ENGLISH VERSION SHALL HAVE THE SAME LEGAL EFFECT. IN THE CASE OF DIVERGENCE BETWEEN THE CHINESE AND ENGLISH VERSIONS, THE CHINESE VERSION SHALL PREVAIL. END OF THE TERMS AND CONDITIONS How to Apply the Mulan Permissive Software License,Version 2 (Mulan PSL v2) to Your Software To apply the Mulan PSL v2 to your work, for easy identification by recipients, you are suggested to complete following three steps: i Fill in the blanks in following statement, including insert your software name, the year of the first publication of your software, and your name identified as the copyright owner; ii Create a file named “LICENSE” which contains the whole context of this License in the first directory of your software package; iii Attach the statement to the appropriate annotated syntax at the beginning of each source file. Copyright (c) [Year] [name of copyright holder] [Software Name] is licensed under Mulan PSL v2. You can use this software according to the terms and conditions of the Mulan PSL v2. You may obtain a copy of Mulan PSL v2 at: http://license.coscl.org.cn/MulanPSL2 THIS SOFTWARE IS PROVIDED ON AN "AS IS" BASIS, WITHOUT WARRANTIES OF ANY KIND, EITHER EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO NON-INFRINGEMENT, MERCHANTABILITY OR FIT FOR A PARTICULAR PURPOSE. See the Mulan PSL v2 for more details.

简介

GoatSucker用户行为分析产品,通过对终端用户的行为数据分析,展现各项统计指标,为产品运维、产品优化提供决策依据,提高关键业务转化率,扩大客户范围,提高客户忠诚度,创造新的商机。 展开 收起
MulanPSL-2.0
取消

发行版 (1)

全部

贡献者

全部

近期动态

加载更多
不能加载更多了
Java
1
https://gitee.com/platform001/goat-sucker.git
git@gitee.com:platform001/goat-sucker.git
platform001
goat-sucker
GoatSucker
master

搜索帮助