ClickHouse的由来 ClickHouse是什么数据库?ClickHouse速度有多快?应用场景是怎么样的?ClickHouse是关系型数据库吗?ClickHouse目前是很火爆的一款面向OLAP的数据,可以提供秒级的大数据查询。 Google于2003~2006年相继发表了三篇论文“Google File System”“Google MapReduce”和“Google Bigtable”,将大数据的处理技术带进了大众视野。2006年开源项目Hadoop的出现,标志着大数据技术普及的开始,大数据技术真正开…

2023年 12月 11日 1条评论 5212点热度 5人点赞 frozencola 阅读全文

从事数仓工作,在工作学习过程也看了很多数据仓库方面的数据,此处整理了数仓中经典的,或者值得阅读的书籍,推荐给大家一下,希望能帮助到大家。建议收藏起来,后续有新的书籍清单会更新到这里。 书籍推荐 《数据仓库工具箱(第3版)——维度建模权威指南》 本书会介绍基本知识,然后逐个讨论具体实例内容,最后进行综合总体分析,在内容的结构方面很有特色。本书涉及的行业较多,但这些内容从不同角度体现了数据仓库的各个方面,因而对于完整的学习与掌握数据仓库知识显得十分必要。 这本书是数据维度建模的鼻祖,从这个意义上讲,就挺有了解的意义,当…

2023年 3月 28日 0条评论 2501点热度 6人点赞 frozencola 阅读全文

这边文章聊聊自己对数据治理开发实践的一些思路,就是聊聊怎么开始去做数据治理这件事情。说起数据治理,有时候虽然看了很多文章,看了很多的介绍,了解数据治理的理论,但是实际上需要我们去搞的时候,就会踩很多的坑。这里记一下自己做数据治理的一些思路,做做笔记,也分享给需要的同学。 当然,想要做数据治理,想要学习了解,一下数据治理的范围,理论等,最好可以看看别人怎么做的,了解数据治理可以参考:数据仓库(11)什么是大数据治理,数据治理的范围是哪些。 简单来说,包括下图列举部分。 那接下来就继续说说数据治理的一些思路心得。 接到…

2023年 3月 7日 0条评论 1783点热度 1人点赞 frozencola 阅读全文

什么是数据治理,数据治理包含哪些方面?大数据时代的到来,给了我们很多的机遇,也有很多的挑战。最基础的调整也是大数据的计算和管理,数据治理是一个特别重要的大数据基础,他保证着数据能否被最好的应用,保证着数据的安全,治理等。那么数据治理到底能治什么,怎么治? 数据治理主要包含七个方面。 主数据管理 即数据本身的管理,对于数据本身,基于数据仓库,我们做了数据的分层、数据域的划分、基于维度建模的架构、命名规范、对需要共享的数据建立统一视图和集中管理等,这些都是属于这个主数据管理的范围。 元数据管理 元数据,即数据的数据。包…

2023年 2月 7日 0条评论 2167点热度 1人点赞 frozencola 阅读全文

精益数据分析PDF下载 书籍简介 本书展示了如何验证自己的设想、找到真正的客户、打造能赚钱的产品,以及提升企业知名度。30多个案例分析,全球100多位知名企业家的真知灼见,为你呈现来之不易、经过实践检验的创业心得和宝贵经验,值得每位创业家和企业家一读。 深入理解精益创业、数据分析基础,和数据驱动的思维模式 如何将六个典型的商业模式应用到各种规模的新企业 找到你的第一关键指标 确定底线,找到出发点 在大企业中应用精益分析,打造新产品 书籍下载 大数据资料分享,失效可留言处理 链接:关注公众号"张飞的猪&qu…

2023年 2月 7日 0条评论 6964点热度 4人点赞 frozencola 阅读全文

拉链表是数据仓库中特别重要的一种方式,它可以保留数据历史变化的过程,这里分享一下拉链表具体的开发过程。 维护历史状态,以及最新状态数据的一种表,拉链表根据拉链粒度的不同,实际上相当于快照,只不过做了优化,去除了一部分不变的记录,通过拉链表可以很方便的还原出拉链时点的客户记录。 这里用商品价格的变化作为例子,具体的开发过程要按实际的来,不能照搬代码,编程重要的是了解背后的思路和原理,而不是ctrl+c和ctrl+v。那对我们学习提升的帮助有限,虽然可能对完成工作的效率帮助很大。 在开始介绍之前,这里的数据仓库的环境是…

2023年 2月 7日 0条评论 1554点热度 2人点赞 frozencola 阅读全文

大数据Spark企业级实战版PDF下载 书籍下载 大数据资料分享,失效可留言处理 下载链接:关注公众号"张飞的猪",回复"大数据Spark企业级实战版",领取电子书 扫描二维码关注: 书籍封面:

2023年 2月 6日 0条评论 1832点热度 3人点赞 frozencola 阅读全文

Flink CDC 新一代数据集成框架-技术原理、入门与生产实践PDF下载 书籍下载 数据仓库资料分享,失效可留言处理 下载链接:关注公众号"张飞的猪",回复"FlinkCDC",领取电子书 扫描二维码关注: 书籍封面:

2023年 2月 6日 0条评论 2237点热度 2人点赞 frozencola 阅读全文

书籍下载 数据仓库资料分享,失效可留言处理 链接:关注公众号"张飞的猪",回复"数据仓库",领取电子书 扫描二维码关注: 分享的资料截图如下,共11本。 书籍推荐 从事数仓工作,在工作学习过程也看了很多数据仓库方面的数据,此处整理了数仓中经典的,或者值得阅读的书籍,推荐给大家一下,希望能帮助到大家。建议收藏起来,后续有新的书籍清单会更新到这里。 《数据仓库工具箱(第3版)——维度建模权威指南》 本书会介绍基本知识,然后逐个讨论具体实例内容,最后进行综合总体分析,在内容的结构方…

2023年 2月 6日 0条评论 3542点热度 2人点赞 frozencola 阅读全文

  数据仓库的重要特点之一是反映历史变化,所以如何处理维度的变化是维度设计的重要工作之一。缓慢变化维的提出是因为在现实世界中,维度的属性并不是静态的,它会随着时间的流逝发生缓慢的变化,与数据增长较为快速的事实表相比,维度变化相对缓慢。阴齿这个就叫做缓慢变化维。   这里介绍的就是这些维度变化的处理,这边整理了一下目前主流的缓慢变化维的处理方式。 原样保留或者重写,这种方式理论上都是取最新的值作为维度的最终的取值,每个维度保留一条数据。这种处理方式是最简单的,直接将原系统的维度同步过来使用就可以,不用做过多的处理。 …

2023年 2月 6日 0条评论 1699点热度 1人点赞 frozencola 阅读全文