分类: 技术杂谈 | Odin的自我修养

文章分类
                            
                            一年一语言之2016
                        
                                背景曾经给自己定下一个目标，每年学会一门新编程语言，尽管可能没办法作为工作语言使用，但我始终认为任何语言(特别是现代语言)都有自己的特点，了解其他语言有什么更新更好的解决方案对自己的平时工作还是很有帮助的。毕竟没有任何一门语言是完美的，用最
                            
                                2017-01-07
                            
                                    技术杂谈
                                
                            Scala
                        
                            Go
                        
                            一年一语言
                        
                            小试Apache Kudu之基础篇
                        
                                缘起kudu是Cloudera贡献给Apache的项目，号称是新一代的Hadoop存储，目前还在Beta阶段，但已经有一些企业在用了，比如小米，就曾经给kudu站过台，小米和Cloudera有一些合作的。
最早知道这个东西，是在某次面试，面
                            
                                2016-12-27
                            
                                    技术杂谈
                                
                            hadoop
                        
                            kudu
                        
                            大数据
                        
                            Java/Scala杂记之三
                        
                                Overview话说前段时间在用spring-boot的时候，还想专门写一篇学习笔记，不过后来嫌麻烦就弃坑了，所以挪到这里简单谈一下好了。最近做了一个服务，最开始用spring-boot，写起来还算简单，但是感觉spring各种约定俗成太多
                            
                                2016-03-28
                            
                                    技术杂谈
                                
                            Java
                        
                            Scala
                        
                            sbt
                        
                            spring-boot
                        
                            Hikari-CP
                        
                            finatra
                        
                            slick
                        
                            future
                        
                            promise
                        
                            最近搞Hadoop集群迁移踩的坑杂记
                        
                                Overview最近一段时间都在搞集群迁移。最早公司的hadoop数据集群实在阿里云上的，机器不多，大概4台的样子，据说每个月要花7000多。从成本的角度，公司采购了4台2手服务器(E5-2420 v2 * 2+96G内存)在办公室自己搭数
                            
                                2016-02-02
                            
                                    技术杂谈
                                
                            Phoenix
                        
                            HBase
                        
                            Spark
                        
                            Hadoop
                        
                            CDH
                        
                            HDP
                        
                            ambari
                        
                            cloudera
                        
                            Hive
                        
                            Hue
                        
                            集群迁移
                        
                            hadoop流水账之HBase网页库设计
                        
                                Overview话说之前挖了一套Naive-Qie的坑，然而Naive-PageDB的坑还没填好呢，我就在脑海里重构了一遍。主要问题在于系统用于生产环境时，随着数据量的增长，就必然会面临单机服务能力有限的问题，虽然数据拆分倒是不难，但是有现
                            
                                2016-01-04
                            
                                    技术杂谈
                                
                            hadoop
                        
                            hadoop流水账
                        
                            HBase
                        
                            数据库设计
                        
                            数据模型
                        
                            网页库
                        
                            pagedb
                        
                            小试ESXi做虚拟化
                        
                                Overview之前家里的机器做虚拟化用的是KVM，后来听小胖推荐了ESXi，之前用KVM比较不爽的是clone虚拟机实在太慢了，而且没有啥好用的管理软件，virt-manager需要有x-window软件，而mac os上那货又不太好使(
                            
                                2015-12-07
                            
                                    技术杂谈
                                
                            虚拟化
                        
                            ESXi
                        
                            syslinux
                        
                            isolinux
                        
                            U盘启动
                        
                            hadoop流水账之HBase,Spark和在Spark上操作HBase
                        
                                Overview话说最近搜索相关工作没啥改进空间，所以正好抽出时间来学习一下hadoop的上层工具，这边用的挺多的，但是之前在某搜索引擎大厂基本都是在用hadoop streaming，对于Hadoop上的上层工具基本上没用过，也不了解，而
                            
                                2015-11-20
                            
                                    技术杂谈
                                
                            Scala
                        
                            hadoop
                        
                            hadoop流水账
                        
                            分布式存储
                        
                            HBase
                        
                            Go
                        
                            Spark
                        
                            SBT
                        
                            在CentOS 6上安装部署KVM虚拟机
                        
                                Overview很多新的开源库对kernel的要求是3.0+，对gcc的要求是4.8+，但是我的开发机用的是旧版本的CentOS 6，升级kernel和gcc比较麻烦，因此在由于要不要一步到位升级成CentOS 7。CentOS 7修改了一
                            
                                2015-11-11
                            
                                    技术杂谈
                                
                            虚拟化
                        
                            KVM
                        
                            虚拟机
                        
                            CentOS6
                        
                            Linux
                        
                            Xen
                        
                            大型坑之naive-qie抓取系统设计
                        
                                Overview话说最近工作中有一些去别人网站抓数据的需求，一般就是写俩脚本搞定，一两个需求还好，多了挺麻烦的，而且网页就丢硬盘上，太多了的话速度也慢。话说做了5年搜索一直都没做过spider，只是有一些了解，所以想尝试着自己设计一套抓取系
                            
                                2015-11-09
                            
                                    技术杂谈
                                
                            spider
                        
                            抓取系统
                        
                            分布式
                        
                            总体设计
                        
                            大型坑
                        
                            naive系列
                        
                            naive-spider
                        
                            naive-pagedb
                        
                            naive-crawlcenter
                        
                            吐槽一下Lucene的Field接口变化(更新再吐槽)
                        
                                Lucene是老牌搜索引擎索引工具了，我最早接触是10年夏天在淘宝实习的时候，作为一个小本科生，那是第一次接触到搜索引擎技术，当时的项目是基于Solr做的。再之后的工作虽然都是搜索相关的，但都是自己实现的索引系统。月初入职小麦公社，这边的搜
                            
                                2015-11-02
                            
                                    技术杂谈
                                
                            Java
                        
                            Lucene
                        
                            搜索引擎
                        
                            索引
                        
                            TextField
                        
                            StringFeild
                        
                            Field
                        
                            Filter
                        
                            BooleanClause.Occur.FILTER
                        
                            BooleanClause
                        
                            FilteredQuery