Hadoop学习（一）：之虚拟机集群搭建遇到的那些坑 前言 环境：CentOS7系统，JDK1.8，Hadoop-3.1.0.tar.gz； 可以先看一下下面的坑 整个搭建过程参考网上的文章(https://blog.csdn.net/pucao_cug/article/details/71698903) 整个过程遇到的坑系列 虚拟机名称不能有下划线，如centos_145是不行的，永久更改主机名[root@centos145 hadoop]# hostnamectl set-hostname centos145，改完过后reboot虚拟机; jdk版本不能使用1.9，需要使用1.8版本的，否则提示很多javax API找不到； 虚拟机的/etc/hosts文件中必须将ip与主机名进行映射，切记不要将主机名与127.0.0.1也进行了映射，否则副本节点链接不上，一直重试； [root@centos145 sbin]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.locald....

Spring Cloud 学习笔记（一） 一、Spring Cloud是什么？ 简单来说Spring Cloud就是个框架集合，它里面包含了一系列的技术框架。在微服务如此普及的时代，如何快速构建一系列的稳定服务是比较重要的。 Spring Cloud利用Spring Boot的开发便利性巧妙地简化了分布式系统基础设施的开发，如服务发现注册、配置中心、消息总线、负载均衡、断路器、数据监控等，都可以用Spring Boot的开发风格做到一键启动和部署。 二、服务注册与发现Eureka 之前写过一篇的服务注册与发现的文章，写的是Consul，这次写下Spring的服务注册组件Eureka。 在SpringBoot网站自动下载代码，主要选择相关的版本，目前SpringBoot最新版本为2.0，但是还不够稳定，建议还是用1.3.5.RELEASE。亲测过2.0版本的，不够稳定。依赖中包含eureka-server。 pom.xml文件如下 <parent> <groupId>org.springframework.boot</groupId> <art....

前言 说好的尽量一周一篇，这周又拖到周五了。。。 简单记录下这周都做了写什么，然后给大家分享一篇我觉得挺不错的文章，看了跟我一样有感悟的当然很好，没有的话就全当我是用来凑字数的。 工作 这周工作比较繁杂，因为接近年底项目要在年前发布最后一个大版本，而且这次改动的比较多，而且杂，所以测试时间预留了接近两周，边测试边修改bug（搞笑我写的代码会有bug么，如果有那肯定是没清缓存）。 上次提到的调度中心目前在测试环境已经运行了一周了，由于初次使用，目前只配置了三个任务，每天不同时刻执行，效果还可以，除了出现了一次内存不足挂了之外其他一切正常，这次发版也会发布正式了。 这次的一个大的改动之一是统一配置管理的功能，之前准备用Consul，但是年底大家比较忙，没时间搭建，所以采用临时解决方案redis来解决。这块涉及到的模块比较多，所以对很多项目模块都进行了重构。 另外一个重大的改进是对设备的报备功能进行改进，之前针对本家设备和第三方设备采用的报备流程是不一样的。本家设备是通过公司大数据那边同步过来的，第三方设备是自动报备；此次做了下调整，将本家设备也通过自动报备的流程来实现，不从大数据那边同步。....

前言 断更一个月，不解释，就是懒，好几次打开编辑器又给关上了。 这两天反省了一下下，觉得不能在这样了，要坚持。 所以，写点啥呢？ 写写这个月都干了啥吧，想想好像又啥都没干。。。 工作 这个月的工作总结起来主要是在原有系统的架构上做了一些调整，把以前一些写死的定时任务以及一些简单的功能，通过一个开源的任务调度中心(xxl-job)提出来。通过使用Java或者Python脚本的方式动态的配置调度。 使用开源框架必先了解这个框架，之前看了一周的框架代码，以为自己看懂了，然后老大随便问了几个问题就答不出来了。。。然后又看了一周的代码。框架了代码其实不复杂，复杂的是理解框架作者的思想，怎么样才能跟着作者的思路去想问题，解决问题，实现功能，在实现了功能的基础上如何能进行优化，以及在原有的框架不能满足先有的项目需求的时候如何能实现自己扩展而不改变原有的功能。 说到自己扩展开源框架的话需要考虑的更多一点，怎样扩展？主要有下面两点。 给作者提PR 拉取稳定版本定制化 显然这两点各有各的优缺点，针对第一点，那必须深入了解框架原理，在实现满足自己的业务需求的时候不能影响原有功能，而且代码要规范，毕竟如果作者....

前段时间订阅了两个专栏，一个是陈皓网名左耳朵耗子的专栏《左耳听风》；另一个是徐飞博士的《大航海时代》。记录一下收听了好几个星期后的感悟。 《左耳听风》专栏比较切近程序员，因为讲到的都是作者的经历、看法以及感悟。作者耗子哥本身就是计算机科班出身，先后在亚马逊、阿里等大公司工作过，给很多公司做过内部项目优化培训，目前在创业。对于一个创业人员还能坚持每周三篇的周更，表示真的很佩服。以前虽然会在个人网站酷壳分享很多内容，但是毕竟没有强制输出要求，经常是一个月一篇的样子，但是现在却是一周三篇专栏。最近的一篇《如何成为一个大家愿意追随的Leader》原文有版权。。。偷偷摘要下下（文章来自极客时间《左耳听风》专栏） 说白了，Leader 是大家跟我一起上，而 Boss 则是大家给我上，一个在团队的前面，一个在团队的后面。 具体上来说，这两者的不同点如下。 Boss 是驱动员工，Leader 是指导员工。在面对事情或是项目的时候，Boss 制定时间计划，并且推动（push）和鞭策员工完成工作，而 Leader 则是和员工一起讨论工作细节，指导员工关注工作的重点，和员工一起规划出（work out）工作....

背景 线上某项目有三个实例同时从Kafka集群某topic消费数据，该topic有六个分区，每个实例的代码都是一样，都是开线程去消费数据。项目中数据消费下来会生成一个文本文件，之前由于没有部署多实例，所以只会生成一个文件，前段时间考虑国庆期间数据量会增大，就部署了多实例，今天发现并不是每个实例都生成了文件，只有一个实例正常生成了文件，另外两个实例都没有生成文件，实例状态都是正常的没有任何问题。 分析 今天发现问题的时候，我觉得很奇怪，理论是不应该会出现这个现象的。但是最后突然想起来每个实例开的是六个线程。这就能解释了，因为Kafka同一个topic的最大并发数是不能超过分区数量的。也就是说该topic有六个分区，最多也就只能有六个线程去消费，三个实例，每个实例六个线程，就是18个，必然有两个实例是消费不到数据的。 问题 那么就有一个问题了，那就是为什么刚好是第一个实例能消费数据，剩余的两个实例却没有消费到呢？ 请教 发现了问题那么接下来就是解决问题了，自己解决不了，那自己就是找专业人士。经过在Kafka中国社区群里有人给了回答。 之所以第一个实例能消费数据，剩余两个实例消费不到数据，是....

“如果你不知道怎么满足用户的需求，那么就给他们自我满足的条件” 作为一个终极美学总监，乔布斯对产品总是有着无比的挑剔。 在Macintosh桌面装饰小程序还没有正式开发的时候，Chris Espinosa用QuickDraw画了一个自己认为还不错的计算器，没想到拿个乔布斯看的时候，乔布斯却说道：“嗯，这只是一个开始，但基本上，它蛮丑的。背景颜色太暗了，有些线条粗细不对，按键也太大了。”单纯的Chris说他会继续改，直到乔布斯满意为止。 咦，怎么感觉这几句话这么熟悉，难道全世界所有的产品经理都是这些套路吗？ 对于Chris的每次修改乔布斯都能挑出新的毛病。最后Chris不再修改了，而是提供各种组件，让乔布斯自己挑选线条的粗细、按键的大小、背景图案等。这样乔布斯在试了十几分钟后终于找到了自己喜欢的风格，设计了一款自己喜欢的样式。最后在实现计算器的时候就采用了乔布斯的设计，作为标准计算器一直沿用到OS 9。 就是这么机智的程序员，你行你上吧。嗯，又学了一招，以后有机会就这样跟产品说，不过现在用不上，没办法，老大自己是产品。。。

最近在阅读一本关于苹果公司早期产品Macintosh的书，这本书并不是介绍这个产品的功能，而是介绍这个产品创造过程乔布斯与团队工程师之间发生的一系列故事。 有原本计划下周一完成的任务，工程师们却在周五晚加班到8点，完成demo，就因为乔布斯说如果能在周五晚上就完成的话，他请客吃披萨。 有不想在印名片的时候挂个"xxx资深技术员"的头衔，给自己取名"软件术士"、"硬件精灵"、"开拓者"。。。 有在遇到车祸后对警察说"帮我打电话给Larry Tesler，告诉他我开会会迟到"，然后。。。就昏迷了的Bill。 ... 经得起生命考验的专注 那个时候的Macintosh团队成员在乎的不是金钱，不是头衔而是单纯的热爱技术，喜欢自己动手去实现一个产品的从无到有，单纯的沉浸在自己技术的世界里不带有一点点杂质。 书中提到有次一些经理决定使用工程师每周编写的代码行数来跟踪他们的进度，通过每周五让工程师们提交一个表格，里面有一项就是记录这周的代码行数。Bill在优化了QuickDraw的区域计算功能后代码减少了2000行，所以最后他写上了-2000，最后的结果就是经理再也不用他提交代码行数了。。。 无疑不....

python3 笔记一 Python输入input()函数 name = input('please input your name:') Python还允许用r''表示''内部的字符串默认不转义 print(r'\\t\') Python允许用'''...'''的格式表示多行内容 >>> print('''line1 ... line2 ... lin33''') line1 line2 lin33 Python 精确除法用‘/’，取整除法用‘//’，取余用‘%’ >>> 10 / 3 3.3333333333333335 >>> 10 // 3 3 >>> 10 % 3 1 >>> 11 // 3 3 >>> 11 // 2 5 >>> Python编码函数ord()，chr() >>> ord('A') 65 >>> ord('中') 20013 >>> chr(66) 'B' >&g....

之前由于视频的声音有的大，有的小，导致有部分用户会投诉，所以近期对视频的声音控制进行了研究，通过参数"-af 'volume=xx'"对声音进行了控制。 通过网上查询，最后查到能够根据 ./ffmpeg -i $temp_file -af 'volumedetect' -f null ../null [Parsed_volumedetect_0 @ 0x4fe8fa0] n_samples: 1320960 [Parsed_volumedetect_0 @ 0x4fe8fa0] mean_volume: -22.9 dB [Parsed_volumedetect_0 @ 0x4fe8fa0] max_volume: -10.0 dB [Parsed_volumedetect_0 @ 0x4fe8fa0] histogram_10db: 194 [Parsed_volumedetect_0 @ 0x4fe8fa0] histogram_11db: 3036 mean_volume值为标准电平值，可以通过调整该值判断声音是偏大还是偏小。 经过多次测试以及和其他同事协商，最后制定了mean....

许三观卖血记 妻子：许玉兰 第一次因为无知卖血； 第二次因为不是亲生儿子胜过亲生儿子的一乐打破了方铁匠儿子的头而卖血； 第三次为了林芬芳卖血； 第四次因为灾荒一家五口没得吃卖血； 第五次因为二乐的生产队长要来吃晚饭，为了提前让二乐回城卖血； 第六、七、八。。。次因为一乐得了肝炎连续好几天卖血； 小说塑造的主人公因为生活所迫为了家人不得不一次次卖血来挣钱，幸运的是不像阿方不像根龙，一个为了稀释血液撑破了尿肚子，一个脑溢血死亡。作为一个父亲不管在什么样的环境下都会为了自己的孩子做出所有能做的。 父爱如山，致敬！ 数学之美 一个人想要在自己的领域里做到世界一流，他的周围必须有非常多的一流人物。 网络爬虫细节 使用BFS(广度优先搜索)是DFS(深度优先搜索) 页面的分析URL的提取 记录已经下载过的网页 网络的爬虫不是简单的BFS或者DFS，有调度系统根据优先队列进行调度；页面的URL并不是简单的通过HTML编写的，可能是使用JavaScript动态生成的，所以需要浏览器内核解析功能；进行下载的服务器需要分工明确，防止多个下载服务器对同一个网页进行下载，然后单个下载服务器批量更新URL散列表....

背景 在开发的过程中，浏览器会有缓存，每次发布的新的代码，js和css都得不到及时的更新，必须清除缓存才能正常使用。关于前端页面优化的功能网上有很多介绍，不管是更新文件的版本号还是对文件进行Hash，本质上都是更改文件名，让浏览器重新下载文件。 很多前端构建工具都支持这个功能，但是对于部分前后端代码并没有分离的项目来说，并不是很好实现。这里提供一个较好的解决方案，利用maven插件，在项目打包的时候将文件进行Hash，这样每次在发布版本的时候，只要文件本身发生了变化，文件的名称就会变化。 思路 整个实现的思路主要如下： 复制webapp下的文件到临时文件夹； 遍历临时文件夹里面的js和css文件，并进行Hash值计算，保存在Map中； 遍历页面文件，替换里面的引用的js和css文件名。 插件主要的工作是完成2，3两步，第1步有插件已经实现了，拿来用就好。 maven插件代码 package com.coocaa.salad.maven.plugin; import com.origin.eurybia.utils.MD5Encode; import org.apache.maven.....

今天在公司突然发现一个问题，数据记录少了两天的量。。。从周五开始就没有了，奇怪的是这几天并没有动过正式环境，包括服务器，数据库，代码啥的都没有动过。将问题反映给老大，老大也表示很奇怪，说要去运维查一下。 我们的数据是从kafka消息队列消费下来，进行处理在保存到数据库一张临时表，然后通过这个临时表上面的触发器根据唯一主键写入另一张表的。刚开始发现kafka消费者是没有问题的，临时表的数据也写入成功了，所以就怀疑是触发器没有执行成功。将触发器删除重建，发现还是不行。最后发现是插入的表的id已经达到最大值了，导致无法插入。 插入的表的主键，采用的是int类型，一共能插入21亿条数据。现在是数据量已经达到了最大值。 找到了问题的所在就好解决，将字段类型改成了bigint，将java实体改成了Long类型。 最初在建立数据库的时候并没有考虑到数据量会这么多，而且也没有想到才这么短的时间数据量就已经达到21亿条了。

初次使用 前段时间项目中使用了kafka作为消息队列，对大数据量的日志文件进行处理，保存存储MySQL和文件写入。具体参考kafka 消费者代码示例 分析 由于最近项目的需要，重新对kafka进行的研究，可能由于是第二次学习，对kafka有了一个更深的了解，比起第一次来说了也有了更多的感悟。其中最重要的就是对kafka分区数和消费者数目的对应关系有了更深的了解。经过再次的学习，我发现上面blog中的kafka使用方式其实并不完美，因为上面的例子在对kafka topic进行数据消费的时候采用的是单线程消费的。这个在一定程度上就会有问题，真正的生产环境下，数据量是非常大的，而且单个topic是有一定量的分区数的，具体的分区数需要看kafka是如何配置的，关于kafka具体分区数的配置请参考如何确定Kafka的分区数、key和consumer线程数、以及不消费问题解决。 kafka的分区有一个特性，就是每个分区只能被一个线程消费但是反过来不成立，也就是说每个线程可以消费多个分区的数据。kafka只能保证每个分区消费是顺序的，单多个分区之间并不保证顺序。 通过上面的说明，在真正消费的时候我们....

Spark初体验 最近老大突发奇想，准备让我们自己搭建spark集群来处理数据，既然有需求就有学习的动力。带着激动的心情最近看起了spark的学习文档。在虚拟机上装了spark，使用java代码跑了一个Word Count例子，用来学习。 Work Count maven依赖 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <version>1.2.0</version> </dependency> </dependencies> java代码 public class WordCount { public static void main(String[] args) { SparkConf conf = new SparkConf(); conf.setMaster("local"); conf.set....