古之立大事者,不惟有超世之才,亦必有坚忍不拔之志。

 分类:大数据与AI

阿里海量大数据平台的运维智能化实践

阿里海量大数据平台的运维智能化实践
转载自《阿里海量大数据平台的运维智能化实践》 徐小飞,阿里巴巴技术专家,目前就职于阿里计算平台大数据基础工程技术团队,主要负责支撑阿里大数据智能运维体系(公司内部产品名称——Tesla)的建设,团队致力于打造通用的智能化SRE中台,目前该中台运维体系承载阿里10w+规模节...

1周前 (01-19) 50℃ 0评论 2喜欢

mac安装kafka

mac安装kafka
1. 安装zookeeper brew install zookeeper 默认安装位置启动文件: /usr/local/Cellar/zookeeper/3.4.10/bin/配置文件: /usr/local/etc/zookeeper/  2. 启动zoo...

1个月前 (12-25) 77℃ 0评论 1喜欢

混沌工程初识

混沌工程初识
太长不读 分布式系统就是一种复杂系统,其活动规律是不可预知和非线性的。生产环境的动荡,来源于复杂系统内部所固有的“暗债”。见与不见,暗债就在那里,不增不减。具有“可证伪性”的科学实验,只关注所定义的稳态是否被证伪,而对于具体采取哪种方法保持稳态,不做要求,悉听尊便。要建立...

4个月前 (10-10) 257℃ 0评论 0喜欢

设备状态监测及故障预警,你了解多少?

设备状态监测及故障预警,你了解多少?
随着当代工业及科学技术的发展,现代设备发展的一个总体趋势是向复杂化、智能化和自动化方向发展,在役设备运行中故障导致恶性事故屡见不鲜。设备运行安全可靠性对国计民生、社会稳定以及国家资源和环境有重要影响, 保障设备安全可靠运行的迫切性日益突出,设备服役的安全性及维修保障问题愈发引起...

7个月前 (06-23) 392℃ 0评论 0喜欢

数据挖掘之特征工程

数据挖掘之特征工程
转自《特征工程以及特征工程的方法》 什么是特征工程 有这么一句话在业界广泛流传:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢?顾名思义,其本质是一项工程活动,目的是最大限度地从原始数据中提取特征以供算法和模型使用。通过总结...

10个月前 (03-30) 511℃ 0评论 0喜欢

流计算框架 Flink 与 Storm 的性能对比

流计算框架 Flink 与 Storm 的性能对比
转自美团技术团队流计算框架 Flink 与 Storm 的性能对比 1. 背景 Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm(以下简称“Storm”)在美团点评实时计算业...

10个月前 (03-30) 300℃ 0评论 0喜欢

转·百度智能磁盘故障预测

转·百度智能磁盘故障预测
磁盘故障预测是业界可谓是经久不衰的热门话题,其实除了百度、国内的腾讯、阿里、奇虎360、国外的IBM都做过磁盘故障预测的研究。 百度于2014年与南开大学联合发布了一篇论文《Proactive Drive Failure Prediction for Large Scal...

10个月前 (03-27) 888℃ 0评论 0喜欢

认识任务调度系统和工作流框架

认识任务调度系统和工作流框架
在大型系统中,任务调度是一项基础性的需求。对于一些需要重复、定时执行或者耗时比较长的任务经常会被剥离出来单独处理,而随着任务规模与复杂性的上升,任务调度系统也就随需而生。设计良好的任务调度系统具备可靠性及伸缩性,它可以管理并监控任务的执行流程,以保证任务的正确执行。当前,分布式...

2年前 (2019-05-06) 2197℃ 1评论 1喜欢