(template): Update branch with changed from master

Makefile

@@ -21,6 +21,9 @@ ci: lint test ## Run all the tests and code checks
 build: ## Build a dev version of fakedata
 	go build
 
+corpora: ## Import the latest data from dariusk/corpora
+	go run cmd/importcorpora/main.go
+
 # Absolutely awesome: http://marmelab.com/blog/2016/02/29/auto-documented-makefile.html
 help:
 	@grep -E '^[a-zA-Z_-]+:.*?## .*$$' $(MAKEFILE_LIST) | awk 'BEGIN {FS = ":.*?## "}; {printf "\033[36m%-30s\033[0m %s\n", $$1, $$2}'

cmd/importcorpora/main.go

@@ -0,0 +1,96 @@
+package main
+
+import (
+	"encoding/json"
+	"fmt"
+	"io/ioutil"
+	"log"
+	"net/http"
+	"os"
+	"path/filepath"
+)
+
+// relative package data dir
+const targetDir = "pkg/data"
+
+// Content of a Go file
+const fileTemplate = `package data
+
+// %s is an array of %s
+var %s = %#v
+`
+
+var tasks = []struct {
+	URL, Key, Var, File string
+}{
+	{
+		URL:  "https://raw.githubusercontent.com/dariusk/corpora/master/data/words/nouns.json",
+		Key:  "nouns",
+		Var:  "Nouns",
+		File: "nouns.go",
+	},
+	{
+		URL:  "https://raw.githubusercontent.com/dariusk/corpora/master/data/animals/common.json",
+		Key:  "animals",
+		Var:  "Animals",
+		File: "animals.go",
+	},
+	{
+		URL:  "https://raw.githubusercontent.com/dariusk/corpora/master/data/animals/cats.json",
+		Key:  "cats",
+		Var:  "Cats",
+		File: "cats.go",
+	},
+	{
+		URL:  "https://raw.githubusercontent.com/dariusk/corpora/master/data/words/emoji/emoji.json",
+		Key:  "emoji",
+		Var:  "Emoji",
+		File: "emoji.go",
+	},
+}
+
+func main() {
+	// Check if running in repository directory
+	_, err := os.Stat(targetDir)
+	if err != nil && !os.IsNotExist(err) {
+		log.Fatal(err)
+	}
+	if err != nil {
+		log.Fatalf("the data directory cannot be found at %s. Ensure the importer is running in the correct location: %v", targetDir, err)
+	}
+
+	for _, task := range tasks {
+		// Get JSON from URL
+		resp, err := http.Get(task.URL)
+		if err != nil {
+			log.Fatal(err)
+		}
+		defer func() {
+			if err := resp.Body.Close(); err != nil {
+				panic(err)
+			}
+		}()
+
+		var jsonData map[string]json.RawMessage
+		if err := json.NewDecoder(resp.Body).Decode(&jsonData); err != nil {
+			log.Fatal(err)
+		}
+
+		var data []string
+		if err := json.Unmarshal(jsonData[task.Key], &data); err != nil {
+			log.Fatal(err)
+		}
+
+		file := filepath.Join(targetDir, task.File)
+		if err := os.MkdirAll(filepath.Dir(file), 0777); err != nil {
+			log.Fatal(err)
+		}
+
+		content := fmt.Sprintf(fileTemplate, task.Var, task.Key, task.Var, data)
+
+		// Write to Go file
+		if err := ioutil.WriteFile(file, []byte(content), 0644); err != nil {
+			log.Fatal(err)
+		}
+	}
+}

integration/cli_test.go

@@ -120,6 +120,11 @@ func TestCliArgs(t *testing.T) {
 			args:    []string{"-f=sql", "-t=USERS", "int,42..42", "enum,foo..foo"},
 			fixture: "sql-format-with-table-name.golden",
 		},
+		{
+			name:    "unknown format",
+			args:    []string{"-f=sqll", "-t=USERS", "int,42..42", "enum,foo..foo"},
+			fixture: "unknown-format.golden",
+		},
 	}
 
 	for _, tt := range tests {

integration/generators.golden

@@ -1,3 +1,5 @@
+animal            random animal name
+animal.cat        random cat breed
 color             one word color
 country           Full country name
 country.code      2-digit country code
@@ -7,6 +9,7 @@ domain.name       example|test
 domain.tld        name|info|com|org|me|us
 double            double number
 email             email
+emoji             random emoji
 enum              a random value from an enum. Defaults to "foo..bar..baz"
 event.action      clicked|purchased|viewed|watched
 file              Read a random line from a file. Pass filepath with 'file,path/to/file.txt'.
@@ -20,6 +23,7 @@ mac.address       mac address
 name              name.first + " " + name.last
 name.first        capitalized first name
 name.last         capitalized last name
+noun              random noun
 product.category  Beauty|Games|Movies|Tools|..
 product.name      invented product name
 state             Full US state name

integration/unknown-format.golden

@@ -0,0 +1,9 @@
+unknown format: sqll
+
+Usage: fakedata [option ...] field...
+
+  -f, --format string   generators rows in f format. Available formats: csv|tab|sql
+  -g, --generators      lists available generators
+  -l, --limit int       limits rows up to n (default 10)
+  -t, --table string    table name of the sql format (default "TABLE")
+  -v, --version         shows version information

main.go

@@ -13,25 +13,20 @@ import (
 
 var version = "master"
 
-var generatorsFlag = flag.BoolP("generators", "g", false, "lists available generators")
-var limitFlag = flag.IntP("limit", "l", 10, "limits rows up to n")
-var formatFlag = flag.StringP("format", "f", "", "generators rows in f format. Available formats: csv|tab|sql")
-var versionFlag = flag.BoolP("version", "v", false, "shows version information")
-var tableFlag = flag.StringP("table", "t", "TABLE", "table name of the sql format")
-var templateFlag = flag.StringP("template", "", "", "Use template as input")
-
-func getFormatter(format string) (f fakedata.Formatter) {
+func getFormatter(format, table string) (f fakedata.Formatter, err error) {
 	switch format {
 	case "csv":
 		f = fakedata.NewSeparatorFormatter(",")
 	case "tab":
 		f = fakedata.NewSeparatorFormatter("\t")
 	case "sql":
-		f = fakedata.NewSQLFormatter(*tableFlag)
-	default:
+		f = fakedata.NewSQLFormatter(table)
+	case "":
 		f = fakedata.NewSeparatorFormatter(" ")
+	default:
+		err = fmt.Errorf("unknown format: %s", format)
 	}
-	return f
+	return f, err
 }
 
 func generatorsHelp() string {
@@ -61,6 +56,20 @@ func isPipe() bool {
 }
 
 func main() {
+	var (
+		generatorsFlag = flag.BoolP("generators", "g", false, "lists available generators")
+		limitFlag      = flag.IntP("limit", "l", 10, "limits rows up to n")
+		formatFlag     = flag.StringP("format", "f", "", "generators rows in f format. Available formats: csv|tab|sql")
+		versionFlag    = flag.BoolP("version", "v", false, "shows version information")
+		tableFlag      = flag.StringP("table", "t", "TABLE", "table name of the sql format")
+		templateFlag   = flag.StringP("template", "", "", "Use template as input")
+	)
+	flag.Usage = func() {
+		fmt.Fprintf(os.Stderr, "Usage: fakedata [option ...] field...\n\n")
+		flag.PrintDefaults()
+	}
+	flag.Parse()
+
 	if *versionFlag {
 		fmt.Println(version)
 		os.Exit(0)
@@ -108,17 +117,14 @@ func main() {
 		os.Exit(0)
 	}
 
-	formatter := getFormatter(*formatFlag)
+	formatter, err := getFormatter(*formatFlag, *tableFlag)
+	if err != nil {
+		fmt.Printf("%v\n\n", err)
+		flag.Usage()
+		os.Exit(0)
+	}
 
 	for i := 0; i < *limitFlag; i++ {
 		fmt.Print(fakedata.GenerateRow(columns, formatter))
 	}
 }
-
-func init() {
-	flag.Usage = func() {
-		fmt.Fprintf(os.Stderr, "Usage: fakedata [option ...] field...\n\n")
-		flag.PrintDefaults()
-	}
-	flag.Parse()
-}

pkg/data/animals.go

@@ -0,0 +1,4 @@
+package data
+
+// Animals is an array of animals
+var Animals = []string{"aardvark", "alligator", "alpaca", "antelope", "ape", "armadillo", "baboon", "badger", "bat", "bear", "beaver", "bison", "boar", "buffalo", "bull", "camel", "canary", "capybara", "cat", "chameleon", "cheetah", "chimpanzee", "chinchilla", "chipmunk", "cougar", "cow", "coyote", "crocodile", "crow", "deer", "dingo", "dog", "donkey", "dromedary", "elephant", "elk", "ewe", "ferret", "finch", "fish", "fox", "frog", "gazelle", "gila monster", "giraffe", "gnu", "goat", "gopher", "gorilla", "grizzly bear", "ground hog", "guinea pig", "hamster", "hedgehog", "hippopotamus", "hog", "horse", "hyena", "ibex", "iguana", "impala", "jackal", "jaguar", "kangaroo", "koala", "lamb", "lemur", "leopard", "lion", "lizard", "llama", "lynx", "mandrill", "marmoset", "mink", "mole", "mongoose", "monkey", "moose", "mountain goat", "mouse", "mule", "muskrat", "mustang", "mynah bird", "newt", "ocelot", "opossum", "orangutan", "oryx", "otter", "ox", "panda", "panther", "parakeet", "parrot", "pig", "platypus", "polar bear", "porcupine", "porpoise", "prairie dog", "puma", "rabbit", "raccoon", "ram", "rat", "reindeer", "reptile", "rhinoceros", "salamander", "seal", "sheep", "shrew", "silver fox", "skunk", "sloth", "snake", "squirrel", "tapir", "tiger", "toad", "turtle", "walrus", "warthog", "weasel", "whale", "wildcat", "wolf", "wolverine", "wombat", "woodchuck", "yak", "zebra"}

pkg/data/cats.go

@@ -0,0 +1,4 @@
+package data
+
+// Cats is an array of cats
+var Cats = []string{"Abyssinian", "Aegean", "American Bobtail", "American Curl", "American Shorthair", "American Wirehair", "Arabian Mau", "Asian", "Asian Semi-longhair", "Australian Mist", "Balinese", "Bambino", "Bengal", "Birman", "Bombay", "Brazilian Shorthair", "British Longhair", "British Semi-longhair", "British Shorthair", "Burmese", "Burmilla", "California Spangled", "Chantilly-Tiffany", "Chartreux", "Chausie", "Cheetoh", "Colorpoint Shorthair", "Cornish Rex", "Cymric", "Cyprus", "Devon Rex", "Donskoy", "Dragon Li", "Dwarf cat", "Egyptian Mau", "European Shorthair", "Exotic Shorthair", "Foldex", "German Rex", "Havana Brown", "Highlander", "Himalayan", "Japanese Bobtail", "Javanese", "Khao Manee", "Korat", "Korean Bobtail", "Korn Ja", "Kurilian Bobtail", "LaPerm", "Lykoi", "Maine Coon", "Manx", "Mekong Bobtail", "Minskin", "Munchkin", "Napoleon", "Nebelung", "Norwegian Forest cat", "Ocicat", "Ojos Azules", "Oregon Rex", "Oriental Bicolor", "Oriental Longhair", "Oriental Shorthair", "PerFold", "Persian (Modern)", "Persian (Traditional)", "Peterbald", "Pixie-bob", "Raas", "Ragamuffin", "Ragdoll", "Russian Blue", "Russian White, Black and Tabby", "Sam Sawet", "Savannah", "Scottish Fold", "Selkirk Rex", "Serengeti", "Serrade Petit", "Siamese", "Siberian", "Singapura", "Snowshoe", "Sokoke", "Somali", "Sphynx", "Suphalak", "Thai", "Thai Lilac", "Tonkinese", "Toyger", "Turkish Angora", "Turkish Van", "Ukrainian Levkoy"}

pkg/data/emoji.go

@@ -0,0 +1,4 @@
+package data
+
+// Emoji is an array of emoji
+var Emoji = []string{"🀄", "🃏", "🅰", "🅱", "🅾", "🅿", "🆎", "🆑", "🆒", "🆓", "🆔", "🆕", "🆖", "🆗", "🆘", "🆙", "🆚", "🇦", "🇧", "🇨", "🇩", "🇪", "🇫", "🇬", "🇭", "🇮", "🇯", "🇰", "🇱", "🇲", "🇳", "🇴", "🇵", "🇶", "🇷", "🇸", "🇹", "🇺", "🇻", "🇼", "🇽", "🇾", "🇿", "🈁", "🈂", "🈚", "🈯", "🈲", "🈳", "🈴", "🈵", "🈶", "🈷", "🈸", "🈹", "🈺", "🉐", "🉑", "🌀", "🌁", "🌂", "🌃", "🌄", "🌅", "🌆", "🌇", "🌈", "🌉", "🌊", "🌋", "🌌", "🌍", "🌎", "🌏", "🌐", "🌑", "🌒", "🌓", "🌔", "🌕", "🌖", "🌗", "🌘", "🌙", "🌚", "🌛", "🌜", "🌝", "🌞", "🌟", "🌠", "🌰", "🌱", "🌲", "🌳", "🌴", "🌵", "🌷", "🌸", "🌹", "🌺", "🌻", "🌼", "🌽", "🌾", "🌿", "🍀", "🍁", "🍂", "🍃", "🍄", "🍅", "🍆", "🍇", "🍈", "🍉", "🍊", "🍋", "🍌", "🍍", "🍎", "🍏", "🍐", "🍑", "🍒", "🍓", "🍔", "🍕", "🍖", "🍗", "🍘", "🍙", "🍚", "🍛", "🍜", "🍝", "🍞", "🍟", "🍠", "🍡", "🍢", "🍣", "🍤", "🍥", "🍦", "🍧", "🍨", "🍩", "🍪", "🍫", "🍬", "🍭", "🍮", "🍯", "🍰", "🍱", "🍲", "🍳", "🍴", "🍵", "🍶", "🍷", "🍸", "🍹", "🍺", "🍻", "🍼", "🎀", "🎁", "🎂", "🎃", "🎄", "🎅", "🎆", "🎇", "🎈", "🎉", "🎊", "🎋", "🎌", "🎍", "🎎", "🎏", "🎐", "🎑", "🎒", "🎓", "🎠", "🎡", "🎢", "🎣", "🎤", "🎥", "🎦", "🎧", "🎨", "🎩", "🎪", "🎫", "🎬", "🎭", "🎮", "🎯", "🎰", "🎱", "🎲", "🎳", "🎴", "🎵", "🎶", "🎷", "🎸", "🎹", "🎺", "🎻", "🎼", "🎽", "🎾", "🎿", "🏀", "🏁", "🏂", "🏃", "🏄", "🏆", "🏇", "🏈", "🏉", "🏊", "🏠", "🏡", "🏢", "🏣", "🏤", "🏥", "🏦", "🏧", "🏨", "🏩", "🏪", "🏫", "🏬", "🏭", "🏮", "🏯", "🏰", "🐀", "🐁", "🐂", "🐃", "🐄", "🐅", "🐆", "🐇", "🐈", "🐉", "🐊", "🐋", "🐌", "🐍", "🐎", "🐏", "🐐", "🐑", "🐒", "🐓", "🐔", "🐕", "🐖", "🐗", "🐘", "🐙", "🐚", "🐛", "🐜", "🐝", "🐞", "🐟", "🐠", "🐡", "🐢", "🐣", "🐤", "🐥", "🐦", "🐧", "🐨", "🐩", "🐪", "🐫", "🐬", "🐭", "🐮", "🐯", "🐰", "🐱", "🐲", "🐳", "🐴", "🐵", "🐶", "🐷", "🐸", "🐹", "🐺", "🐻", "🐼", "🐽", "🐾", "👀", "👂", "👃", "👄", "👅", "👆", "👇", "👈", "👉", "👊", "👋", "👌", "👍", "👎", "👏", "👐", "👑", "👒", "👓", "👔", "👕", "👖", "👗", "👘", "👙", "👚", "👛", "👜", "👝", "👞", "👟", "👠", "👡", "👢", "👣", "👤", "👥", "👦", "👧", "👨", "👩", "👪", "👫", "👬", "👭", "👮", "👯", "👰", "👱", "👲", "👳", "👴", "👵", "👶", "👷", "👸", "👹", "👺", "👻", "👼", "👽", "👾", "👿", "💀", "💁", "💂", "💃", "💄", "💅", "💆", "💇", "💈", "💉", "💊", "💋", "💌", "💍", "💎", "💏", "💐", "💑", "💒", "💓", "💔", "💕", "💖", "💗", "💘", "💙", "💚", "💛", "💜", "💝", "💞", "💟", "💠", "💡", "💢", "💣", "💤", "💥", "💦", "💧", "💨", "💩", "💪", "💫", "💬", "💭", "💮", "💯", "💰", "💱", "💲", "💳", "💴", "💵", "💶", "💷", "💸", "💹", "💺", "💻", "💼", "💽", "💾", "💿", "📀", "📁", "📂", "📃", "📄", "📅", "📆", "📇", "📈", "📉", "📊", "📋", "📌", "📍", "📎", "📏", "📐", "📑", "📒", "📓", "📔", "📕", "📖", "📗", "📘", "📙", "📚", "📛", "📜", "📝", "📞", "📟", "📠", "📡", "📢", "📣", "📤", "📥", "📦", "📧", "📨", "📩", "📪", "📫", "📬", "📭", "📮", "📯", "📰", "📱", "📲", "📳", "📴", "📵", "📶", "📷", "📹", "📺", "📻", "📼", "🔀", "🔁", "🔂", "🔃", "🔄", "🔅", "🔆", "🔇", "🔈", "🔉", "🔊", "🔋", "🔌", "🔍", "🔎", "🔏", "🔐", "🔑", "🔒", "🔓", "🔔", "🔕", "🔖", "🔗", "🔘", "🔙", "🔚", "🔛", "🔜", "🔝", "🔞", "🔟", "🔠", "🔡", "🔢", "🔣", "🔤", "🔥", "🔦", "🔧", "🔨", "🔩", "🔪", "🔫", "🔬", "🔭", "🔮", "🔯", "🔰", "🔱", "🔲", "🔳", "🔴", "🔵", "🔶", "🔷", "🔸", "🔹", "🔺", "🔻", "🔼", "🔽", "🕐", "🕑", "🕒", "🕓", "🕔", "🕕", "🕖", "🕗", "🕘", "🕙", "🕚", "🕛", "🕜", "🕝", "🕞", "🕟", "🕠", "🕡", "🕢", "🕣", "🕤", "🕥", "🕦", "🕧", "🗻", "🗼", "🗽", "🗾", "🗿", "😀", "😁", "😂", "😃", "😄", "😅", "😆", "😇", "😈", "😉", "😊", "😋", "😌", "😍", "😎", "😏", "😐", "😑", "😒", "😓", "😔", "😕", "😖", "😗", "😘", "😙", "😚", "😛", "😜", "😝", "😞", "😟", "😠", "😡", "😢", "😣", "😤", "😥", "😦", "😧", "😨", "😩", "😪", "😫", "😬", "😭", "😮", "😯", "😰", "😱", "😲", "😳", "😴", "😵", "😶", "😷", "😸", "😹", "😺", "😻", "😼", "😽", "😾", "😿", "🙀", "🙁", "🙂", "🙅", "🙆", "🙇", "🙈", "🙉", "🙊", "🙋", "🙌", "🙍", "🙎", "🙏", "🚀", "🚁", "🚂", "🚃", "🚄", "🚅", "🚆", "🚇", "🚈", "🚉", "🚊", "🚋", "🚌", "🚍", "🚎", "🚏", "🚐", "🚑", "🚒", "🚓", "🚔", "🚕", "🚖", "🚗", "🚘", "🚙", "🚚", "🚛", "🚜", "🚝", "🚞", "🚟", "🚠", "🚡", "🚢", "🚣", "🚤", "🚥", "🚦", "🚧", "🚨", "🚩", "🚪", "🚫", "🚬", "🚭", "🚮", "🚯", "🚰", "🚱", "🚲", "🚳", "🚴", "🚵", "🚶", "🚷", "🚸", "🚹", "🚺", "🚻", "🚼", "🚽", "🚾", "🚿", "🛀", "🛁", "🛂", "🛃", "🛄", "🛅", "‼", "⁉", "™", "ℹ", "↔", "↕", "↖", "↗", "↘", "↙", "↩", "↪", "#", "⌚", "⌛", "⏩", "⏪", "⏫", "⏬", "⏰", "⏳", "Ⓜ", "▪", "▫", "▶", "◀", "◻", "◼", "◽", "◾", "☀", "☁", "☎", "☑", "☔", "☕", "☝", "☺", "♈", "♉", "♊", "♋", "♌", "♍", "♎", "♏", "♐", "♑", "♒", "♓", "♠", "♣", "♥", "♦", "♨", "♻", "♿", "⚓", "⚠", "⚡", "⚪", "⚫", "⚽", "⚾", "⛄", "⛅", "⛎", "⛔", "⛪", "⛲", "⛳", "⛵", "⛺", "⛽", "✂", "✅", "✈", "✉", "✊", "✋", "✌", "✏", "✒", "✔", "✖", "✨", "✳", "✴", "❄", "❇", "❌", "❎", "❓", "❔", "❕", "❗", "❤", "➕", "➖", "➗", "➡", "➰", "➿", "⤴", "⤵", "⬅", "⬆", "⬇", "⬛", "⬜", "⭐", "⭕", "0", "〰", "〽", "1", "2", "㊗", "㊙", "3", "4", "5", "6", "7", "8", "9", "©", "®", "\ue50a"}