java吧 关注:1,309,259贴子:12,886,665

发现干我们这行的做数据处理很厉害啊(例如dba)

取消只看楼主收藏回复

rt,今天无意间在邮件看到一个关于数据挖掘的介绍,顿时觉得做数据库管理员的相当有前途(或者是精通oracle),于是把相关的介绍贴上来


IP属地:广东1楼2013-08-12 13:30回复
    BI(数据挖掘)又称商业智能,是以后的大趋势,BI工程师工作对象主要是海量数据,工作平台80%在金融业,另有一部分在制造业和电商平台。


    IP属地:广东3楼2013-08-12 13:32
    回复
      2026-09-17 02:39:52
      广告
      不感兴趣
      开通SVIP免广告
      随着IT技术的进步,传统的业务交易系统有了长足的发展,已经实现了业务信息化,每一笔业务数据都记录在数据库中,星转斗移,累积了以TB为计量单位的业务数据记录。也许你会问:这么多数据,占用了很多存储设备,耗费存储成本,却又不经常访问,留着它有什么用处?可以给你肯定的回答,留着这些历史数据意义巨大,挖掘业务的规律、支持决策。


      IP属地:广东4楼2013-08-12 13:33
      回复
        到底该怎样把这些占据大量存储空间的数据的价值挖掘出来,让这些数据从成本的消耗者变成利润的促进者呢?新的数据分析技术由此诞生了,完成了“数据”到“数据价值”转换的环节,同时给这项技术起了一个响亮而又神密的名字“BI”(Business Intelligence)


        IP属地:广东5楼2013-08-12 13:33
        回复
          BI是Business Intelligence的英文缩写,中文解释为商务智能,用来帮助企业更好地利用数据提高决策质量的技术集合,是从大量的数据中钻取信息与知识的过程。简单讲就是业务、数据、数据价值应用的过程。


          IP属地:广东6楼2013-08-12 13:34
          回复
            数据挖掘技术(Data Mining)
            DM的定义
            数据挖掘(Data Mining)是从大量数据中挖掘出隐含的、先前未知的、对决策有潜在价值的知识和规则,为决策、策划、金融预测等提供依据,使大型数据库作为一个丰富可靠的资源为知识归纳服务。
            DM的特点
            面向应用
            涉及数据库技术
            运用了统计分析、人工智能多种技术
            特征和规律描述
            预测和验证功能


            IP属地:广东7楼2013-08-12 13:35
            回复
              ODS
              ODS全称为Operational Data Store,即操作型数据存储,是“面向主题的、集成的、可变的、反映当前数据值的和详细的数据的集合,用来满足企业综合的、集成的以及操作型的处理需求”(Bill.Inmon)。ODS是数据仓库体系结构中的一个可选部分,ODS具备数据仓库的部分特征和OLTP系统的部分特征


              IP属地:广东8楼2013-08-12 13:36
              回复
                DATA WAREHOUSE
                概念产生标志:以Prism Solutions公司副总裁W.H.Inmon在1990年出版的《建立数据仓库(Building the Data Warehouse)》。
                数据仓库 —— 面向主题的、集成的、稳定的、不同时间的数据集合,用以支持经营管理中的决策制定过程。
                目的:解决在信息技术(IT) 发展中存在的拥有大量数据、然而有用信息贫乏(Data rich-Information poor)的问题。


                IP属地:广东9楼2013-08-12 13:37
                回复
                  2026-09-17 02:33:52
                  广告
                  不感兴趣
                  开通SVIP免广告
                  ETL
                  是数据抽取(Extract)、转换(Transform)、清洗(Cleansing)、装载(Load)的过程。是构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过 数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。


                  IP属地:广东10楼2013-08-12 13:38
                  回复
                    OLAP
                    (On-Line Analytical Processing)即联机分析处理,是 BI的一种全新的数据封装方式,直接产物是报表或Cube,是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。
                    OLAP展现在用户面前的是一幅幅多维视图。
                    维(Dimension):是人们观察数据的特定角度,是考虑问题时的一类属性,属性集合构成一个维(时间维、地理维等)。
                    维的层次(Level):人们观察数据的某个特定角度(即某个维)还可以存在细节程度不同的各个描述方面(时间维:日期、月份、季度、年)。
                    维的成员(Member):维的一个取值,是数据项在某维中位置的描述。(“某年某月某日”是在时间维上位置的描述)。


                    IP属地:广东11楼2013-08-12 13:38
                    回复
                      度量(Measure):多维数组的取值。(2000年1月,上海,笔记本电脑,0000)。
                      OLAP的基本多维分析操作有钻取(Drill-up和Drill-down)、切片(Slice)和切块(Dice)、以及旋转(Pivot)等。
                      钻取:是改变维的层次,变换分析的粒度。它包括向下钻取(Drill-down)和向上钻取(Drill-up)/上卷(Roll-up)。Drill-up是在某一维上将低层次的细节数据概括到高层次的汇总数据,或者减少维数;而Drill-down则相反,它从汇总数据深入到细节数据进行观察或增加新维。
                      切片和切块:是在一部分维上选定值后,关心度量数据在剩余维上的分布。如果剩余的维只有两个,则是切片;如果有三个或以上,则是切块。
                      旋转:是变换维的方向,即在表格中重新安排维的放置(例如行列互换)。


                      IP属地:广东12楼2013-08-12 13:39
                      回复
                        商业智能(BI、数据挖掘)的应用
                        典型行业:
                        银行
                        保险
                        证券
                        电信
                        零售
                        新应用行业:
                        税务
                        电力
                        汽车制造


                        IP属地:广东13楼2013-08-12 13:39
                        回复
                          BI现状-企业角度
                          BI(商业智能)在国内已经不是什么新鲜名词,而且和让人云雾缭绕的“云计算”这一技术不同,大多数企业对于BI的概念解读是基本一致的,即通过数据挖掘与分析,协助商业的决策过程。
                          虽然BI在国外的应用已经十分广泛,在国内也已经推广了十数年,但目前在国内却尚未十分普及。一方面,国内很多中小企业在这方面的意识不是很强,往往使用 Excel等工具就能够应付普通的业务需求;另一方面,专业BI套件和服务的价格也让大多数中小企业望而却步。BI在国内的落地基本上都是近几年开始的, 主要应用在大型企业,而人们所知道的也主要是IBM、微软、Oracle、SAP、SAS这五大巨头的产品,而且主要以综合解决方案为主。


                          IP属地:广东15楼2013-08-12 13:40
                          回复
                            采用了BI解决方案的企业,从企业老总、行政主管、分析员、到销售人员、DBA、开发者,甚至于最终端的消费者,都是BI系统的用户,而且根据数据统计,高层以下的BI系统用户的比重正在逐年上升,这也引发了IDC有关“全民BI”的一系列探讨。


                            IP属地:广东16楼2013-08-12 13:41
                            回复
                              2026-09-17 02:27:52
                              广告
                              不感兴趣
                              开通SVIP免广告
                              BI现状-个人发展
                              在所有管理软件市场中,BI软件是投资的热点,也是近年来的新亮点,其增长率一直排在所有管理软件中的前列。商业智能的开发和实施人员的待遇相比ERP、CRM等领域较高,即使是国内企业也有较好的待遇,目前已有越来越多的人想投身这个领域。
                              近年来商业智能领域的平均薪资水平呈下降趋势,但是具有多年工作经验和行业背景的高端商业智能人才非常缺乏,高薪需要有与之相匹配的业务和技术能力。有关业内专家表示,业内数据库方面的专业人才只有做BI的人才的收入年薪能达到百万级,这样的待遇普通数据库管理和维护的高级DBA是很难企及的。


                              IP属地:广东18楼2013-08-12 13:41
                              回复